CIFAR10_Tensorflow.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 105
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 17911,
     "status": "ok",
     "timestamp": 1525441595213,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "eZ3xO8XDZBfy",
    "outputId": "3e209c5f-b267-471d-e08b-5380bae0a027"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Please, open the following URL in a web browser: https://accounts.google.com/o/oauth2/auth?client_id=32555940559.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&response_type=code&access_type=offline&approval_prompt=force\r\n",
      "··········\n",
      "Please, open the following URL in a web browser: https://accounts.google.com/o/oauth2/auth?client_id=32555940559.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&response_type=code&access_type=offline&approval_prompt=force\n",
      "Please enter the verification code: Access token retrieved correctly.\n"
     ]
    }
   ],
   "source": [
    "!apt-get install -y -qq software-properties-common python-software-properties module-init-tools\n",
    "!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null\n",
    "!apt-get update -qq 2>&1 > /dev/null\n",
    "!apt-get -y install -qq google-drive-ocamlfuse fuse\n",
    "from google.colab import auth\n",
    "auth.authenticate_user()\n",
    "from oauth2client.client import GoogleCredentials\n",
    "creds = GoogleCredentials.get_application_default()\n",
    "import getpass\n",
    "!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL\n",
    "vcode = getpass.getpass()\n",
    "!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 2858,
     "status": "ok",
     "timestamp": 1525450370484,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "D00Qk8m3ZF7N",
    "outputId": "3a9bf77a-4ac8-4105-c35a-38d2777215e1"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/bin/sh: 1: google-drive-ocamlfuse: not found\r\n"
     ]
    }
   ],
   "source": [
    "!mkdir -p drive\n",
    "!google-drive-ocamlfuse drive"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1 - Import Libraries\n",
    "\n",
    "Veri setinin elde edilmesi için keras kütüphanesi,\n",
    "\n",
    "Matematiksel işlemler ve matrislerin düzenlenmesi için numpy kütüphanesi,\n",
    "\n",
    "Konvolüsyonel sinir ağının oluşturulması ve eğitilmesi için tensorflow kütüphanesi import edildi.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 34
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 7676,
     "status": "ok",
     "timestamp": 1525444769358,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "F_AD0Kg7ZIav",
    "outputId": "efd4bf6c-c624-4a67-c492-4ef6679ee2e1"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/zekikus/anaconda3/lib/python3.6/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  from ._conv import register_converters as _register_converters\n",
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import numpy as np     # Matematiksel işlemler\n",
    "import pandas as pd    # Veri setinin düzenlenmesi\n",
    "import tensorflow as tf  # Sinir ağının kurulması ve eğitilmesi\n",
    "from sklearn.model_selection import train_test_split    # Eğitim ve Test verilerinin ayrıştırılması\n",
    "from keras.utils import to_categorical  # Çıktıların kategorize edilmesi\n",
    "import matplotlib.pyplot as plt # Grafik çizimi\n",
    "import keras \n",
    "from keras.datasets import cifar10  # Veri setini elde etmek için"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2 - Data Preprocessing\n",
    "\n",
    "Verinin model tarafından işlenebilecek hale getirilmesi için düzenlenmesi gerekir. \n",
    "\n",
    "- İstenen Girdi Formatı:\n",
    "[Filtre sayısı, Girdi Yüksekliği, Girdi Genişliği, Kanal Sayısı]\n",
    "\n",
    "Format belirledikten sonra veri seti test,cross_Validation ve train olarak ayrılır.\n",
    "Aynı zamanda çıktılar 10 sınıftan oluştuğu etiketler one-hot vektöre dönüştürülür."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 51
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 72988,
     "status": "ok",
     "timestamp": 1525444842471,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "hDLtWk3YgZZ6",
    "outputId": "a0f59aa5-1fb2-466f-c38d-60b4c2e8fe5a"
   },
   "outputs": [],
   "source": [
    "(x_train, y_train), (x_test, y_test) = cifar10.load_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "NLA2494IZPJX"
   },
   "outputs": [],
   "source": [
    "input_shape = [None, 32, 32, 3]\n",
    "number_of_classes = 10\n",
    "\n",
    "# Çıktı etiketlerinin one-hot vektöre çevrilmesi\n",
    "y_train = to_categorical(y_train, number_of_classes)\n",
    "y_test = to_categorical(y_test, number_of_classes)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3 - Dataset Information"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "CIFAR(Canadian Institute For Advanced Research) veri seti, bilgisayarlı görü(computer vision)\n",
    "çalışmaları için geliştirilen bir veri setidir. Veri seti Alex Krizhevsky, Vinod Nair ve Geoffrey Hinton\n",
    "tarafından toplandı. <br/>\n",
    "\n",
    "CIFAR-10 veri seti 32x32 boyutunda renkli küçük görüntülerden oluşmaktadır. Veri seti 10 sınıf\n",
    "içermektedir ve sınıf başına 6.000 olmak üzere toplamda 60.000 görüntüden oluşmaktadır.\n",
    "Bunların 50.000’i eğitim, 10.000’i test için kullanılmaktadır. CIFAR-10 Veri seti şu sınıfları içermektedir:\n",
    "- Uçak  \n",
    "- Otomobil\n",
    "- Kuş\n",
    "- Kedi\n",
    "- Geyik\n",
    "- Köpek\n",
    "- Kurbağa\n",
    "- At\n",
    "- Gemi\n",
    "- Tır\n",
    "\n",
    "    <img src=\"images/cifar10.jpg\" style=\"width:800px;height:500px;\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 364
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 555,
     "status": "ok",
     "timestamp": 1525444859785,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "rtF8G7YZZ8IJ",
    "outputId": "01b296e1-3445-4935-9f62-b64b718c62e6"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "y =  [0. 0. 0. 0. 0. 0. 0. 0. 0. 1.]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAP8AAAD8CAYAAAC4nHJkAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDIuMS4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvNQv5yAAAIABJREFUeJztnVuQXWeV3//r3Pp+b7XUklpqSZaEbNmWjFBs7AAZZrAhpAw1AwUPxA/UaCoFlVCZPLiYqkCq8sCkAhQPCSkTXGMSgiEDDC7DZHCMwTDGNvJNF8vW/d7durb6du5n5aGPq2T5+3/dUkun5ez/r0rVR98639nr7LPX3ud8/73WMneHECJ5pBbbASHE4qDgFyKhKPiFSCgKfiESioJfiISi4BcioSj4hUgoCn4hEoqCX4iEklnIZDN7AMC3AKQB/Hd3/1rs+R2dXd43sDRoKxVm6LxKqRAcdzc6J5trprZcE7elszlqS6XC2yvkp+icUjFPbV6tUpuBv7dUOs3npcLn87b2DjqnKbI/vFqhtnyef2ZA+M7RmtfojEKe76tqxI/YXarMVKlwP2q12OvxeZkMD6dMhn9mjvBxELv5tkbcyM/kUSyW+MFzuU/zeVIIM0sD+C8A/gTASQB/MLMn3P11NqdvYCn+6hv/NWg7+cZLdFtnj+wLjler3P2lq95DbavWbaK2nmWrqK25Jby9/Xufo3OOHdxFbeVJftJIR95bZ08XtWWaW4Pj2+/9AJ1zywa+rwqXLlDb3j2vUFutVgqOl8rhEzkAvL53N7VNjJ+jtmKpSG3lUjjoLpznJ66pGe5jpcq3tWRJL7X19LZTW9Unw9sq0yko5MNnhl8/8zyfdAUL+dq/HcBBdz/s7iUAjwN4cAGvJ4RoIAsJ/hUATlz2/5P1MSHEu4CFBH/od8U7vouY2Q4z22lmOycnLi1gc0KI68lCgv8kgKHL/r8SwOkrn+Tuj7j7Nnff1tHJf6sKIRrLQoL/DwDWm9kaM8sB+AyAJ66PW0KIG801r/a7e8XMvgjgHzAr9T3q7ntjc6rVKiYuhleP+7r5SqkvCcuDnumkcwZXreV+1PgyaqrGV4FrM2G5qXDxPJ3jeb5yvKJ/gNpWDd1CbUO3rKa25StWBscHiMQKANlsE7VVusPqAQAMrVzG51XCq/2FApfzxi9y9ePcOa46ZCKyLiy82t/Tx99zcxv38dLERWpraubhVHMuVWYzYV8mLo3TOaVieLXfmQYYYEE6v7v/AsAvFvIaQojFQXf4CZFQFPxCJBQFvxAJRcEvREJR8AuRUBa02n/VuAPlsMxWKnL5bWYmLBsNb+B3E09NT1NbLLmktz+SNJMNnyvXr99A57z/7m3UtmJpWJYDgK6uJdRWzvBswNbmsGyUiWSIWSWSuTfN5bci+SwBoLUlLBH2dHN5c93aW6lt3743qQ3G/SgWw9JtV2cPnRNJ7MSliTFqc4SPUyCeKXjxYvhYzc/wJCKW8Xc1fTh05RcioSj4hUgoCn4hEoqCX4iEouAXIqE0dLXfazVUSGKHVfgKdlOuJTh+6Rwv7dS3jK+kr7qNJ80MDC2ntixbBo7UWypXuLLwxghPCJo5fJa/ZoqvKr+5+7Xg+Ps28ZX0D2x/H7XFVo8nIvUZjh97R3Y3ACCXjdRWzPFErf4lXNk5fuIAf01S1mwqz9WgiQl+XGWyvDxeZydPgorVO2TlCWN1Bpuawseizat63yy68guRUBT8QiQUBb8QCUXBL0RCUfALkVAU/EIklIZLfcWZsMTS3sIloM7ecJLLXXduoXOG1q6ntslIIsubh09Q28RMWK6ZGue11s6PczlvZJTXg+uMJPYgxRM+nvzhj4Pj2U/z8/wH77mP2rJZLmMuW8ZlUXhYLhu/GO5OAwAvv8K7G2UidQbbOrhEWKmGpcrSFP/M0pFLYqwrT7XKJdjzF7h8mEJYIoy1/+ruDiegpSNtwd65XSFEIlHwC5FQFPxCJBQFvxAJRcEvREJR8AuRUBYk9ZnZUQCTAKoAKu7OC9YBsJShqSkbtJXTHXRevqU9OH5kgrdVevV3L1LbhfO8Lt2p07xGWzYdTpnKpnj2VZG0rQKAQoHbBpfwj+bM6DFq6yTZXpPjE3TO/iNHuB+D/dSWzXIfB4fCrbyWk3EAOD7KZdY3d3PbwCCXRY8eJxJbmX9mtRK3VSP1E5tzXI5syoSPewDIF8Kv2dnJJcwMafFlV3E9vx46/z9zJ6KuEOKmRV/7hUgoCw1+B/BLM3vJzHZcD4eEEI1hoV/773X302Y2AOApM3vD3Z+9/An1k8IOAOju4bdGCiEay4Ku/O5+uv73DICfAtgeeM4j7r7N3be1tYcX7oQQjeeag9/M2sys463HAD4CYM/1ckwIcWNZyNf+pQB+arMVAzMA/pe7/5/YhFQqg9bWpUHbmXGeaXfwRFjmeX0vP9ekIjJUNdIaLD/JCzumiaSXL3IZbXyS2yYjrbCOntxHbW0tXBbduG5j2BCRHP/xt7+mttVr1lDbho28TVlfXzjrrKmZfy5dnVwqS1V4sdDpIr+GsZZX+XGeXVit8qKrzS1cspua4K/ZGck8bGoOZ+KVSrEWduEM01qNy5RXcs3B7+6HAdx5rfOFEIuLpD4hEoqCX4iEouAXIqEo+IVIKAp+IRJKQwt4ptMZdPeGs8QOnthP540cDWedtWZ5IctL07w45tTEGWqziFQyPhmW5sbzXBrKkCxGAOhfOkBtLR1hqQwAVgxzkWWIyEZHXvs9nZM2LgOWqzyL7ew5Xpz09ts3BcdvWb+WzhmKZOe1372V2na9cZzaioVwYdhiNpLVBy7L1ZxL0qOj4f6EAJBr4jJmVw87DrjsnM+HM1prPn+pT1d+IRKKgl+IhKLgFyKhKPiFSCgKfiESSkNX+4vFaRw6FK6t98ahg3Te6ZFDwfFqJAmno6uN2jauH6a2zZs2U9vI2fAK67Gz3I8ly8KJTACweh1Pmuno40rA2EW+PT8XVkaOH+Mr4mcjLcU23UpN+JMN4RV9AJieIqvRXDyAl7jqsPd5rlas38jbti1d0R0cf/7FZ4PjADA6xpOxymW+2l/Ic/8vRtqUtbSHfYyt3E+TtndXk9ijK78QCUXBL0RCUfALkVAU/EIkFAW/EAlFwS9EQmmo1Dc9NYHnn30q7MhSUnsOwLpNtwfHWyJtlTbdup7aNm5YSW3VQjgxBgA8FZavpsEbFmWy4cQSAEinwxIPAJQrPBFkevICtXWVwlJUpep0zvEzPAmquf0U31ZnD7WtXTccHPfI9SY/Hq5LBwBvvPAqtXmeHweb738gOH77HTzBKL+TS32HDh6lttZWXp26q7uP2ma73b2TiQn+uRSL4X3lkvqEEHOh4BcioSj4hUgoCn4hEoqCX4iEouAXIqHMKfWZ2aMAPg7gjLtvro/1AvghgGEARwF82t25LlGnXKrgzImwLLb1zn9O5zU1hWu79XJVDoPLeR22C5FWTScOchmtVAvLbynjqWrpDJdeqs5rEKISazcWlhwBwKvh7bV3hWsnAsD5KZ4lmMrx7Miac/lwtnt7aBKf0d7MP7Ph5UPU1pzmfqQQrrt4+2aeUdndzSXYJ/K/pLbRER4CKwaWU1vVwjUgs5GWcxMTYTlyXzbc2i7EfK78fwPgSrH0YQBPu/t6AE/X/y+EeBcxZ/C7+7MArrwcPgjgsfrjxwB84jr7JYS4wVzrb/6l7j4CAPW/vPKEEOKm5Ibf3mtmOwDsAIBsltewF0I0lmu98o+Z2SAA1P/SLhju/oi7b3P3bZlMQ1MJhBARrjX4nwDwUP3xQwB+dn3cEUI0ivlIfT8A8CEA/WZ2EsBXAHwNwI/M7PMAjgP41Hw2lkpl0NreG7RlI6rR+Hj4i0VTL5dkZipcUyrw7lpo6emgtqaakRfkUp9H9nChzLPYmlv4xFSkvVYtFZ7X3selppxzeTPdwjP3PMe11pqF35tVuXSYSvP3nG3LUVtLO7dVimFZ9/ypMTqnr423DXvwY/dT287XjlLbVKS4Z6F4NjheJC25AKC7I3zsZ9IR/fvK5871BHf/LDF9eN5bEULcdOgOPyESioJfiISi4BcioSj4hUgoCn4hEkpD77rJ5ZowuCqcTWUpfh4qFMIZTGMT3P1cN89iK1e4NGSRuxDzU+EMsbJz3zMZXoizkua21k6e4TbQN05tfiEsD5UiPeasxv1vaWmhtlREVap5eHvVKpdFU9lI8dQ093FqmmdpGilo2RQ53ibOchmwpTUsVQPAB+65g9rePHSM2va8Phocn5rg2ZY5Uhi2VotlWr4dXfmFSCgKfiESioJfiISi4BcioSj4hUgoCn4hEkpDpT43wC0s55QjUtTMZFjKaYrIUJMTkUKcBV44c2aCy0ZZktTX0cYluyU9XBrq7OUZbku6+XurZrqoLd8U3o8XVvOsvmJ1hNoQyTysViLZhSQDspri2ZYWkfq6e3l2Ya0a8ZEcV11dfP/mjMtl45MRmbUcloIBYMumZdTW3RE+fp58khcLPTsWLoRbicTRlejKL0RCUfALkVAU/EIkFAW/EAlFwS9EQmlsOV13gKwQZ2p85bgrnMOAoS6y/A7gPWt5fb/2Zr7SmzZ+PpyeCK/0FmYu0TktbWVq27ieKwFDq1dSWyq7mtqmxsM+Dg0Ocj+O0OLL6OwlOx9Abw9PPspkwslTsbwTjyQKNbe1UlulwFe4U2R72VgiGbga1NffTm1TM1x1mB4PJ+8AwIol4ZqBn/gXH6Fz/u7n/zc4nsnMv4afrvxCJBQFvxAJRcEvREJR8AuRUBT8QiQUBb8QCWU+7boeBfBxAGfcfXN97KsA/hzAW32Gvuzuv5jrtTraWvHBe94btK299U467/SpU8HxFcu5VLZh/TpqW7aEdxRPO5cPJ0lSRzGS/GIp/nrtbTyxp72dS2zpHJcqs0QyzU+HW0IBwF2buXQ4vGGY2so1LmM6ua5UalyW8zTfV+ksP1TLBa4f1kiiSyrDr3vWzP1AZF6xzPdHJs1rQ1ZL4eNqSURWvO+fvi84/vsXd9M5VzKfK//fAHggMP5Nd99S/zdn4Ashbi7mDH53fxYAz48VQrwrWchv/i+a2S4ze9TMeLK1EOKm5FqD/9sA1gHYAmAEwNfZE81sh5ntNLOdU9O82IEQorFcU/C7+5i7V929BuA7ALZHnvuIu29z923tbXwBQwjRWK4p+M3s8iyRTwLYc33cEUI0ivlIfT8A8CEA/WZ2EsBXAHzIzLYAcABHAfzFfDbW2tqC997xnqDttq1c6stvDst2bV08q4xXigPcuJSTikgyvW3hOmyRbl3Rs2uNtJIC5qjFFpGUisVwu651t6yic1pyXHLMT/OMRU9FDh8L2zxSH6/m3FaNfGaxFlWlfHh/VGv8PacykeMj8olOnueS77EjJ6jt3vu2BsdnyryeZCuRIyPK8juYM/jd/bOB4e/OfxNCiJsR3eEnREJR8AuRUBT8QiQUBb8QCUXBL0RCaWgBz1QqhRaSydbezFtetbUSNyPFCmOFIi0m9cUkJQ9Lc7Uyl+xi8pVFikhWImJlTM5xUoC0vZtnQFaqfFvVWqQgJGnJBQCOanA8FXO+ym3VDJdgHZEPmxSMtVrYPwBoirznbJV/Zm0FPs/HwpIjAJw9PBYcX7mRF3E9lwrfLXs1Up+u/EIkFAW/EAlFwS9EQlHwC5FQFPxCJBQFvxAJpaFSXzqdRkdXWHLySDbdTDEs13iR91QrkjkAMD01TW2lMp9XLIaz6SoVLpWVIxl45ci2ZiJ932amebZXhWQKdvR20TkdXbyvYXdHP7U158L9+ACgynovWqSvHrito4MXND1/hu/HQj4sidVqvPiUgb+vWpUfc50dXK5evWopteVnwsejR4qddnWEJfN0RD6+El35hUgoCn4hEoqCX4iEouAXIqEo+IVIKA1d7R8fn8DfPfH3QVs1+1s67+LFcOLD1KVzdE4qkusRUwLGxsLbAoAqyRbqjbT/6unvo7amNN/90xfCLZwAYP+BfdQ2MRVe3R5aw1typbNcaens4P6vWcPrAq4cCtc7XLN2BZ3T28SzUjqauY+1SC1HpMPJNuUqX0lPR1pypSM+Lh2OKCOdXAkoezjJKM1FB/T2ht9zJpLsdiW68guRUBT8QiQUBb8QCUXBL0RCUfALkVAU/EIklPm06xoC8D0AyzDbBesRd/+WmfUC+CGAYcy27Pq0u1+MvdbE5BSeeua5oK175UY6z6th+eqV556hc1av5PXP+vu4fHXq5Ci1VUjdt9ZenhhTSvGkn7GTvIXTh7ffQ21b7riN2maKheB4Kss/6iPHj1Hb/gOHqG33nleorbsr3JT1T//sk3TOvbdtoLZcpCfaysEhaisRqc8ixe5idRfLpDYhAKQykbqA3TwxqYUk49TSXJJmwmekBOU7mM+VvwLgL919E4C7AXzBzG4F8DCAp919PYCn6/8XQrxLmDP43X3E3V+uP54EsA/ACgAPAnis/rTHAHziRjkphLj+XNVvfjMbBrAVwAsAlrr7CDB7ggDAb3MTQtx0zDv4zawdwI8BfMndJ65i3g4z22lmO0slXghBCNFY5hX8ZpbFbOB/391/Uh8eM7PBun0QwJnQXHd/xN23ufu2XI7f3yyEaCxzBr/Ntrf5LoB97v6Ny0xPAHio/vghAD+7/u4JIW4U88nquxfA5wDsNrNX62NfBvA1AD8ys88DOA7gU3O9UE9vHz712X8ZtDUNrKfzZibD8tuB3a/ROYPLuPyTitQ5a2nmGWKlWrjl0obN3PeeQb4UMtPP68h9/KN/TG2tHS3UNk2kvkhnLVRIGzIAKFTCrwcAZ85coLZjR04Hx1tb+f4dPXme2o7uPUBtqQL38fBo8Asptn9kG52zeng5tcWyAVPNkTS8LJcBjdXqMz4nZ+HP7GqkvjmD391/B4C95IfnvykhxM2E7vATIqEo+IVIKAp+IRKKgl+IhKLgFyKhNLSApxnQlAufb/a/sYfOm7gUlvo8ln1V4hlRU5F2XRbRSpqbwrlU5RnePuvSWe7j2HGe1ff3/xAudAoAFycj25u6FBzv6OQSW1dPuIUaALRFCk+ePBmW8wBgoD9cqLO5k0ufv/05f88XDuyitmqJt0Q7OBouyHoy0vJs/SYu3XZ1tnJbD2+J1tLKs/q62sLHVbaZF+NsbQ1/Lu7z1/p05RcioSj4hUgoCn4hEoqCX4iEouAXIqEo+IVIKA2V+mqVMibPh2W7X/3s53TeidGTwfFUOZxlBwC7dkXqjUTkvEqFZ22BZFI99eSv6JRclktlW7beRW2lXAe1TRRnqO3w8XAW2/nzvL9fqcCz+k6PHqW2I0f5a27b+t7g+L/+wr+lc158/vfUVrnEM/4mirxITB5hqfXwTi6z/valEWpry3BZMZvj0ly6iR8HHUTqW7l6mM558E8/ExwvVeZ/PdeVX4iEouAXIqEo+IVIKAp+IRKKgl+IhNLQ1f5sNofBpYNB2/rhNXSeI7wanYm0wkpHVvRTaX7O8xpPxMk1t4UNWZ60sXx5OMEFAD50//3U1tEaSSBp5rX/Xt8Trmu4/yBvu7VsxTC1FSJtstIt3Mc9+98Ijr++fz+d0zq8idpOn+bvuaeb2wZy4bp6re28DuKFUd6+7Pypg9R29lw4iQgACtVIEhopsDgyzsPz/R8Oz6nwsn/vQFd+IRKKgl+IhKLgFyKhKPiFSCgKfiESioJfiIQyp9RnZkMAvgdgGYAagEfc/Vtm9lUAfw7gbP2pX3b3X8Req1Kp4MLZcIunu//J++m893/wg8HxpiaeSJGJyHmxdl21SOuqNMLbK5e4vpIv8SSc8yePUNuFAk8guXCOt8k6TCS902fCCVUA0D7A21OhicuYluNSX6kSTrZ56je/o3NWr7ud2oZ6uWTanOKHcStJrCoWeA2/wxN7qa29g9dCrDpPChu9OEVt/f3DwfGZMj8Wf/WbF4Pjk5O8PuWVzEfnrwD4S3d/2cw6ALxkZk/Vbd909/88760JIW4a5tOrbwTASP3xpJntA8BPw0KIdwVX9ZvfzIYBbAXwQn3oi2a2y8weNTN+m5UQ4qZj3sFvZu0AfgzgS+4+AeDbANYB2ILZbwZfJ/N2mNlOM9s5OcV/ZwkhGsu8gt/MspgN/O+7+08AwN3H3L3q7jUA3wGwPTTX3R9x923uvq2jnVenEUI0ljmD32Zb2HwXwD53/8Zl45dn6HwSAG+5I4S46ZjPav+9AD4HYLeZvVof+zKAz5rZFgAO4CiAv5jrhVIpQxtpM3R+okDnvbLrpeD4wABfZlg60E9t5TKX0S5eHKc2FMI+Zmr89Vas4TLaUA//JnRqP68jNz3Fa9YNLF0WHG/t66Zz0s1cvprJ889lcHAVtY2eDtddPHc+3E4MAAaXR9qoRVqzTRX5/kcmfLyVa1yebWoh2ZsAmiLZoqXzZ6kNqXCdPgBYSrIqS0Xeco7tDr6X3sl8Vvt/ByD0jqOavhDi5kZ3+AmRUBT8QiQUBb8QCUXBL0RCUfALkVAaWsAzZUBTNpypVCxwie25554OjnuZy1CdrbxAY7nMs68Ked4CLEPOlauHh+iczXffSm3rVnEZcPxEWCoDgNGL56gt1xKWttb1hSVAADh7lmec3b5xM7XddvtGanv8f34vOJ5BuKAmAJSn+edZKnGbx6pWNoc/61j7rOE1a6ntzIk3+bZSPMu0pY1vb9OmDcHxwgz/XIYGB4Ljv8lxSfFKdOUXIqEo+IVIKAp+IRKKgl+IhKLgFyKhKPiFSCgNlfpqtRpm8qSgZaSo5v0f/Xj49Uo8CywdkfNqVV4Y0dNcrklnwjJVcxsvZDk6zqXDyXHet+5Cnvtvzbyo5puvHg6On/89zzhbu4ZLdu+7ZT21lSIZfy25sLTlkYzKWAZhKs0PVdLqDgCQr5E+j1W+f1ev5FJfYeo8td3aybMBX3zpFWo7fSwsH+an+fHtMxeD46Uiz/i8El35hUgoCn4hEoqCX4iEouAXIqEo+IVIKAp+IRJKY7P6Uoa29rBc1hWpPNixJJz1VIzIGs2R81rOeGaZt/BswKbW8LxagWdfTU5OUFu6lRfOHFjHC26ua+VZfQeOhHv1wbiEmSVFVQHg1Mhxauvr5wVUma2U5/JVsciLe05HMv6Kkey3cjEsLWeauTy7dPkSajs2MkZtY8fJvgdQmOLv7dDeV4PjfX3cD+/pDY9HCp1eia78QiQUBb8QCUXBL0RCUfALkVAU/EIklDlX+82sGcCzAJrqz/9bd/+Kma0B8DiAXgAvA/icu/P+QgBqtQJmJkkyS42fh7LWHhwfG+MrqAdeP0ptzRm+op/r4qvs/aQ92PL+LjonE0lY6uvqo7ZI7hEK+XBSBwAMDIQVhBXLw6vDADAyOkpt+/fvo7bh0hpqY0rM5CT/zGZm+Er6xCWumsRW+6ulcGJVuokn4ezdw1u9xVpoDQwspbYVd/BaiANLwvP6l/C6i83E/6f/8Rk650rmc+UvAvgjd78Ts+24HzCzuwH8NYBvuvt6ABcBfH7eWxVCLDpzBr/P8tapNVv/5wD+CMDf1scfA/CJG+KhEOKGMK/f/GaWrnfoPQPgKQCHAIy7+1tJ0ScBrLgxLgohbgTzCn53r7r7FgArAWwHsCn0tNBcM9thZjvNbOfkJCnkIYRoOFe12u/u4wB+DeBuAN1m9taC4UoAp8mcR9x9m7tv6+jgt1QKIRrLnMFvZkvMrLv+uAXAHwPYB+AZAH9Wf9pDAH52o5wUQlx/5pPYMwjgMTNLY/Zk8SN3f9LMXgfwuJn9RwCvAPjunK9Uc9RI26VU5DyUKYeTUjpJ6y8AeOn531Db6BhPjLEsT3LZvv29wfH77tlG51y6xKWtXS+/QG3TBZ7Isv/4CWo7fPRocDw/w39yufMieM2dPLlkYmKS2iZJS7HpCS5TRkrxIZPm1q7IN8rla8JyZE/fIJ0zsJxLbMu33k5tvZEafrlYbUhmiyRjwcPxkoq0DLuSOYPf3XcB2BoYP4zZ3/9CiHchusNPiISi4BcioSj4hUgoCn4hEoqCX4iEYldT82vBGzM7C+BY/b/9ALjm1jjkx9uRH2/n3ebHanfn+uxlNDT437Zhs53uzgVy+SE/5McN9UNf+4VIKAp+IRLKYgb/I4u47cuRH29Hfryd/2/9WLTf/EKIxUVf+4VIKIsS/Gb2gJm9aWYHzezhxfCh7sdRM9ttZq+a2c4GbvdRMztjZnsuG+s1s6fM7ED9L++FdWP9+KqZnarvk1fN7GMN8GPIzJ4xs31mttfM/k19vKH7JOJHQ/eJmTWb2Ytm9lrdj/9QH19jZi/U98cPzSJ95+aDuzf0H4A0ZsuArQWQA/AagFsb7Ufdl6MA+hdhux8AcBeAPZeN/ScAD9cfPwzgrxfJj68C+HcN3h+DAO6qP+4AsB/ArY3eJxE/GrpPMJvd3F5/nAXwAmYL6PwIwGfq4/8NwL9ayHYW48q/HcBBdz/ss6W+Hwfw4CL4sWi4+7MALlwx/CBmC6ECDSqISvxoOO4+4u4v1x9PYrZYzAo0eJ9E/GgoPssNL5q7GMG/AsDl1SgWs/inA/ilmb1kZjsWyYe3WOruI8DsQQhgYBF9+aKZ7ar/LLjhPz8ux8yGMVs/4gUs4j65wg+gwfukEUVzFyP4QyVZFktyuNfd7wLwUQBfMLMPLJIfNxPfBrAOsz0aRgB8vVEbNrN2AD8G8CV35106Gu9Hw/eJL6Bo7nxZjOA/CWDosv/T4p83Gnc/Xf97BsBPsbiVicbMbBAA6n/PLIYT7j5WP/BqAL6DBu0TM8tiNuC+7+4/qQ83fJ+E/FisfVLf9lUXzZ0vixH8fwCwvr5ymQPwGQBPNNoJM2szs463HgP4CIA98Vk3lCcwWwgVWMSCqG8FW51PogH7xMwMszUg97n7Ny4zNXSfMD8avU8aVjS3USuYV6xmfgyzK6mHAPzVIvmwFrNKw2sA9jbSDwA/wOzXxzJmvwl9HkAfgKcBHKj/7V0kP/4HgN0AdmE2+AYb4Md9mP0KuwvAq/V/H2v0Pon40dB9AuAOzBbF3YXZE82/v+yYfRHAQQD/G0DTQrajO/yESCgQZ2WCAAAALUlEQVS6w0+IhKLgFyKhKPiFSCgKfiESioJfiISi4BcioSj4hUgoCn4hEsr/Az6+nRTMMMi5AAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7f10ac0efe80>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Veri setinden örnek görüntü ve çıktı\n",
    "plt.imshow(x_train[1])\n",
    "print(\"y = \",y_train[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "y =  [0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]\n"
     ]
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAP8AAAD8CAYAAAC4nHJkAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDIuMS4yLCBodHRwOi8vbWF0cGxvdGxpYi5vcmcvNQv5yAAAH4RJREFUeJztnWtsXdeV3//rvnh5SUqkRD0oiXpYtvysX1EdTx24qdMGniCAk+nMIPkQGGgwHhQTtAGmH4wUaFKgHzJFkyAFihTKxBjPIJNHJ8nEMzDqcd1J3ExS27JjS45lx7IsyxIpUiLF1+V939UPvA5kev83aVG6tLv/P0DQ5V53n7POvmedc+/+n7W2uTuEEOmRWW8HhBDrg4JfiERR8AuRKAp+IRJFwS9Eoij4hUgUBb8QiaLgFyJRFPxCJEpuLZ3N7F4AXweQBfCn7v7l2PsHikUfHhgI2trtyJOGRpoLedqlmeHXtVKWbBBAfXGR2mbKlWB76xJ8X8EEi/ifzfGPLUu6FSNjNdBforbYE6DNVpvaLJMNtldqddpnfr5MbdFxjNiyxJiJ9GnHnnqNPRAbOw0iTrZJxyYfXhjZ12KthnqjETu1fsMlB7+ZZQH8NwD/AsBpAM+Y2SPu/hLrMzwwgC/+zieDtkqZnxTZXPiMttER2mem1EttN28sUNupI7+ktr/5xfPhfdUatE+WRSPiJ0S+p0htm7YMU9uG3vD+rtm9hfb58F13UFuzwY/t/OwCteUHhoLtx46/Qfs88ZNfUBvIOQAAPXlu25gPX/QKuRbtU48cczMWV86jtSfbQ22LHj73L1T51SRDXPw/L7xI+7xjG6t+5zu5A8Bxdz/h7nUA3wVw3xq2J4ToImsJ/p0A3rzo79OdNiHE+4C1BH/o+887vqeY2QNmdtjMDs9Xq2vYnRDicrKW4D8NYPSiv3cBGFv+Jnc/5O4H3f3gQJH/jhVCdJe1BP8zAK4xs31mVgDwKQCPXB63hBBXmkue7Xf3ppl9DsBjWJL6HnL3X8X6NBs1XDjzetiRiGyUz4VnPc94jfZ5tcJnbG++/ipqa9f5NrcNh2fZeyP7iuk/sdn+xRr3Y3b6ArUtWHgWu1YNy5QAcMvtH6S2xiL/qXZ+ivuxrRhWW9r1Odqnt4ePVRv8/Ng60E9tN111dbD93OQZ2qdSmae2hQWucCDD5dSeXJPadmzfGGxvFLbSPsdfOhl2IaZhLmNNOr+7Pwrg0bVsQwixPugJPyESRcEvRKIo+IVIFAW/EImi4BciUdY02/9uqbczeL0aTnBYrMzSfgUjclMrLJEAQMZ48s75Nyao7dmx09T28mRY2vIal3Ficl4x8tBTo8kTTxDJ+Cv2hsd3psKlsqePvkptI5v5GNeaMVkpLNv1RM64fD6WasdN1+7fT217d+8Jtg8O8EzGs+MnuRsNLn32D/FEs1aeJ5qVesLy4Y5hLmG+mQ37b7b6+7nu/EIkioJfiERR8AuRKAp+IRJFwS9EonR1tr9tQIXUz5vO8Nlta4WTXDZHatn1bwiXkQKAapkrCzPzPKFmrhpO4PGI760Wt2XJ9gAgF7suN3gCTJkkJvVH6tI9/cIRajtwdTgxBgCu27+b2nKF8Gz03r18Zr7c5okxE+PnqG1unictodgXbD549820y/PP/JTaKk2u7Mw3uIIwVebn46ZKWEHYmeUJRtWFcBxFKom9A935hUgUBb8QiaLgFyJRFPxCJIqCX4hEUfALkShdlfoMTfTYdNA2UuISyiDCEtCmIZ4s8bpzmaSvN7KyClsHCUDJwsPV6OOrsTSaXM6rRur0tSLX5d4Sl5QKPeGx2h5Z3WjHrlFqO7/AE1nOznGJ7YMfDK8CND1xlvb5nX95F7U9+rePUdsvfv5/qW33TbcH2++5+QO0z2tnTlDb6//wDLXN1sNL0QHAQmTtrev/cdjHSoPXSBweDieF5XI8oW05uvMLkSgKfiESRcEvRKIo+IVIFAW/EImi4BciUdYk9ZnZSQDzAFoAmu5+MPr+jKHQF97lVQN8aaJ9Hu6zsRBZ+HOW1+IrDXJprlxYpLZ2Ppyhd/DWsFQDANu28uM6cfw4tb15ii8nlcny7DdvhqW5YiTz8Lc+yP0/x4cDT//0J9T2yivhjL9WJbLBPp75NlPmsuhCg9/Djo9PBdvL7SztU27y7U3OcD9qRV5z75o9fIm4wW07gu3npsK+A8A999wYbH/s2f9F+yzncuj8/8zdz1+G7Qghuoi+9guRKGsNfgfwd2b2rJk9cDkcEkJ0h7V+7b/L3cfMbCuAx83sZXd/8uI3dC4KDwDAAKkpL4ToPmu687v7WOf/SQA/AvCOB7rd/ZC7H3T3g73kuXMhRPe55OA3sz4zG3jrNYCPAnjxcjkmhLiyrOVr/zYAP+osR5UD8Jfu/j9jHdpuWKiH7/4bs+FCiwDQOB/ObnpzhsthH7rlOmqr1MvUtjNSALFYCmf83TnIfb9hyzC1LbZ5BuH5Hv4TaXGWZ3u16uH2XJ1nOe459Tq19c7wbMtNWwaprfHiL4PtMZnyFy8do7ZXxsaordrk8tuZU2HJd3KKFwS947Y7qW3PIM+A/K9/+dfUVq/wbMZnnwmLZRMTr9E+t38kfH5n23wslnPJwe/uJwDccqn9hRDri6Q+IRJFwS9Eoij4hUgUBb8QiaLgFyJRulrAM4cMtmTDmXg7wbOsNmwIF0Z8/gLP3LtQ4+vx7dnOi1n+7uQ+asvPhSXCza9yP3peG6e2VpsX99wbXoptyY8WN2Zy4fFtGZfYak8/R20bIzJae5hLnC1WsHKOZxduyPKsuFqZy7Ob+KmDkoeLjM6dfYP22Xn9AWob6OOZpHfs30ltk7NEgwVwdiGc6bi4GC52CwAnXn012F6LFIVdju78QiSKgl+IRFHwC5EoCn4hEkXBL0SidHW2v5jN4LqB8FJTfVO8Elg2E545PrBrF+0zP8ETN+B8tnxnbLmuQrhfNjIra5HkHT7/C9QyketygSf95D28v1xkuah8hqsOjQE+le6LfGa5WQv70QIf+20ZPiL39HJloW58iarWjm3B9uLJk7TPYmzFK6I8AcCN111NbSOL/NhGGuHkqQP7w7X9AODq4bAyUnzsZ7TPcnTnFyJRFPxCJIqCX4hEUfALkSgKfiESRcEvRKJ0VeprNWqYHjsRtNWaXAKqZMMy1eJGngjSu8jlq+oxXhutleWJJ02y1Fgmy2WcnojEZuBJIs2IHNlq8216PpzAwwXHuC23lS8zNTDD7x1Vcmj1PXxJrqHmArX1VfkYNyN1Bhcmwwlei2P/QPuMH36B2jbcyJN+ps5yeble2kRtzXDuERaneK3GuXx4PFotPhbL0Z1fiERR8AuRKAp+IRJFwS9Eoij4hUgUBb8QibKi1GdmDwH4OIBJd7+p07YJwPcA7AVwEsDvuzvXJTo0Wy1MLcwEbW+Wq7xfOyxfFGw77VMa4stkTVX40lXbszxjrrcavla25risWKtzG4a5j30HeIZYNSKJLZyfC7b3tLl0mI3Ufaud42OFHi7b2WBYhs1Fsibbc/wc6L2RS44ocMm3NBnW0cpn+FJvMy8fp7b2qQlqG9jEM/6mB7k8O3U2/HmOT/LakPsK4TqUrWbkfFvGau78fwbg3mVtDwJ4wt2vAfBE528hxPuIFYPf3Z8EsDxh/T4AD3dePwzgE5fZLyHEFeZSf/Nvc/dxAOj8v/XyuSSE6AZXfMLPzB4ws8NmdnixyR+dFUJ0l0sN/gkzGwGAzv+T7I3ufsjdD7r7wVIusrqCEKKrXGrwPwLg/s7r+wH8+PK4I4ToFquR+r4D4MMAhs3sNIAvAvgygO+b2WcBnALwe6vZWdPbuFANyzlnF7l81SDLZA1v20L7+CifhugZ4pJMzxzPisqNhbO26mS5JQBYAJd4Wv291Jbfs5v7YfznU99g2JfGr0/RPo2IHFmNFPccuPsGalucIQVZX3mZ9kEzci8a5wVea+2wfAwA+e3hIpjb/+mdtE9PL/+GOv1rnhE6uMj7bdzDJeRTZ8PyYW+Wy6L5fLjKqFlknbdlrBj87v5pYvrIqvcihHjPoSf8hEgUBb8QiaLgFyJRFPxCJIqCX4hE6WoBz0KhgNHR8Pp6mdd5llUvKXDYqnMppMfChSwB4EI5nPkGAD9/k2dS7aiGM9yuA3EQ8ay+SiSzrP7cS7xfpOSm7dwZbK8e4BmQi83w+okAcPN+LueVMzybrjJ2MthemI1kb27gi+TVT0WkyomwFAwA+a3h588Wt3EpOL9pI7UNfeR2apt5c5zaBoe5DHh7/55g++M/44myPYNhmTuTXX1I684vRKIo+IVIFAW/EImi4BciURT8QiSKgl+IROmq1JfP57B9x7agbf4Mz9oqDZFMJeOZUvkMz24aPz9FbX/6wq+o7drNYWnr3xT7aJ9S5PLqZZ7JOH2US33TW7gUdaIWlr3qEXlwx4Fw5hsA7B7i+6qP82KW/UT2sjZfcw/z/DPryfAMyLkKz6psnQivDeljZ2mfCwP8vOq7NixVA8COffuprUoy9wBgSyl8/tx2Ey/iOrov7Ee+h8uly9GdX4hEUfALkSgKfiESRcEvRKIo+IVIlK7O9re8hdlWOFkh57O0Xz4XdrMeqXE20+TJNtMV3q/pfEjm8uEZ5zN5nhgz6LwmYD3Dbe58Ca3ZNp/dPj0Znu3fkCnSPhf4RDoeOfMItV1LkogAYP+m8P429/AEo/JJnujUqvDkHW/xcbxwIVx30Vv8HKgX+Wx/Y5arUvUjr1JbKaK21IrhJLQ9N9zI/Rh7I9jujYiasgzd+YVIFAW/EImi4BciURT8QiSKgl+IRFHwC5Eoq1mu6yEAHwcw6e43ddq+BOAPALylo3zB3R9dcVtwFDy8fFWuzWvdDWfCUkg9G1laKyJ5LFb5Elo7t/AlwHbtGw22n1ngsiKcSzwFIvEAgDX5R1NvcxlwZPNwsD3Hhwpz53iSi09zWXFsistvs6VwgsnuGv+cM+e51IcKP4BMZJmvSjPs42KLnx8ekUVLlUjC2Ble/7EUWUar3Awf22CNH/PwzQfChgYf3+Ws5s7/ZwDuDbR/zd1v7fxbMfCFEO8tVgx+d38SwHQXfBFCdJG1/Ob/nJkdMbOHzGzosnkkhOgKlxr83wCwH8CtAMYBfIW90cweMLPDZnZ4oRr54SmE6CqXFPzuPuHuLXdvA/gmgDsi7z3k7gfd/WB/saupBEKICJcU/GY2ctGfnwTw4uVxRwjRLVYj9X0HwIcBDJvZaQBfBPBhM7sVgAM4CeAPV7OzTDuD3ko4A26syWvFbc2El3gaqszQPrlJvnRSc54vg3T9Dfuobfe11wTbp194hfYZMb5ME/JcBsw7vy73LnCJLUeyx0olnrr369dOUttwmftx1d5N1Ha6EJacJo7zz6V3ns8rWzOyRFmLj3GVyMH1DD+uepn/PJ1uhZdsA4BSaQO1zde5PFuuhY9t+gyv+5fbHc6ObLVatM87trHSG9z904Hmb616D0KI9yR6wk+IRFHwC5EoCn4hEkXBL0SiKPiFSJTuFvBsO2bLYQnoJ7NcXmluDrffFVn6qXeSZ6oVGzxT7bYP3ENtO0bDyyf9zdNHaZ/ZWlimBIBWjmdgNSISYa/zDLHq6fBxZzdxWe6qoXAmIABUW7ywaq6PLw1184fCz31Nc8UL089OUlutzaW+do4X3KyQserrIycVAPTy5dcqBf65tDfzp9yr4P3OngtLnLMzvFjohZfDxULLVX6+LUd3fiESRcEvRKIo+IVIFAW/EImi4BciURT8QiRKV6U+bzVQnxsL2o5P8QymSiMsKQ3u4hLVLXkuow1EqlnuGw0X6QSADf1huawWKQZZW+S2Qp5nYFU90i/DJbZCPXxslWmeMZchayECQDuyHuLEFJdTLxx7KdheKnLJa77Yz229fD3EWv8AtZXL4QzI0jCXPqfrXC6bb/LPLNPghVzHzy7wfsWwtDgXKULbNxeWYJvvIqtPd34hEkXBL0SiKPiFSBQFvxCJouAXIlG6Otu/oSeDj+4Jz2yem+Yzvc+8Hk7EefwkTzrpvYonZ5T6eSLIQJbPKjfmw7PALeMzrOVIYk8xy4e/lY1cl43b2qQ23XSZzzZ7pKR6ocz9b8xElrx67VSwvRS539QjNfCONnlG0MnzPCGoSFZmK7T5zHw+UmXaGpGkqhmuqJSdKxK5/vCyba0839eeocFgeyHLlwxbju78QiSKgl+IRFHwC5EoCn4hEkXBL0SiKPiFSJTVLNc1CuDPAWwH0AZwyN2/bmabAHwPwF4sLdn1++7O18ECUMwbDuwI7/JflXbTfqM9Z4Lt//sVLl89cZIn9ty6Zwe1Lbz2OrXNkGtltk30JAAzdV4vcEuJyz8t5wkwjTY/tnMe9uV8iUup1Uii04DxU6RvI/e/TRKMMDVH+/T0cHn2dJVLc1Mtnny0PR+W0Up9fDwG+rgfXuHS5/k69zGX5edBdjpsu8l5Alf/fPgcyERqHb7jvat4TxPAH7v79QDuBPBHZnYDgAcBPOHu1wB4ovO3EOJ9worB7+7j7v5c5/U8gGMAdgK4D8DDnbc9DOATV8pJIcTl51395jezvQBuA/AUgG3uPg4sXSAAbL3czgkhrhyrDn4z6wfwAwCfd3f+w+2d/R4ws8NmdvjcIv9tKYToLqsKfjPLYynwv+3uP+w0T5jZSMc+AiD4gLW7H3L3g+5+cEupq6kEQogIKwa/mRmAbwE45u5fvcj0CID7O6/vB/Djy++eEOJKsZpb8V0APgPgqJk932n7AoAvA/i+mX0WwCkAv7fShtreRo1IX5uKPIPptw6Ea/WdL3OJ7dkzPOPv2ARXJK+JSEr1Qni4vM2vofNVno3mNS7lxDLLPCbnEFtvT5F2mXcuX83t3kZtm2+8jtqy5KM5+thPaZ/RyFjtGtpCbajx7MJiLuzIbKTeXnmKy3LbI5LpjmG+BFghwz/P/HT4XN0zz6Xs0UGW1cfjaDkrBr+7/wwA2+JHVr0nIcR7Cj3hJ0SiKPiFSBQFvxCJouAXIlEU/EIkSlefujEYjBSttEiBxpHBsEz1T/ZtpH3mIksunZzhUs5iRCrZSpbyyhZ40c9qk8ty1fl5ass1eFHQQr6X2tiINCfO0T4bWvzJy9ocH6vpBpdaB4eGwu2R4qP5Kt/XzkimXSFyD7O+cLFWy/PtZRa4dLgtxz/riFqNTI1/novkPNgYyQTcvzscEz3Prv5+rju/EImi4BciURT8QiSKgl+IRFHwC5EoCn4hEqWrUp8DcA/rId6OSFvtsAx4wybu/rkRnn1VrnFZsRkp0Di8OZxZVuznkuNMJAOvUeeFOJsRWy3LfcxYuPDnhshlnuf7AfU5nh2JKvfDz4bXz9tFc8SAfDZSSLTC/dia5dLnBSLr9gyEpUgAaDf4YDUXZ6htrsaluYjSh3atHGwfuYEXx9q3O3wu9pDM0xC68wuRKAp+IRJFwS9Eoij4hUgUBb8QidLlcrqGNknsaIEvT4VmeOZ7Y47PHN82Gq77BwBT89PUVp8Yp7ZGOTwrW+jjs83VSCJLw7ktE1mSqxVJ+rFWeEyaET/q+VjdNz4Db03uRytL6hNm+L5aTb4vjygLxVZ4SS4A8EY4Sedskc/aN3p4bcV2OE8IAJDv434sLvJkoQJZYm3L7u20TzEX9jFjq6/hpzu/EImi4BciURT8QiSKgl+IRFHwC5EoCn4hEmVFqc/MRgH8OYDtANoADrn7183sSwD+AMBbxeG+4O6PRreVyaDQG66dli3y2mj1mfCyRTHJa8cg394/muWy0bGZCWo7O3Yq2D5X4YsWL7R5nbtqJlLPLpIQ1HR+3BkPf6TliAS0SJKtACAXuT+0a/zY2rXwGFtE6mNLjQFANcePuR2RCMtkm9UentyFDN9XMc+1vnaLy3l9JDkNAK7eNhBsHyrw8VicCkuV7Yj8upzV6PxNAH/s7s+Z2QCAZ83s8Y7ta+7+X1a9NyHEe4bVrNU3DmC883rezI4B2HmlHRNCXFne1W9+M9sL4DYAT3WaPmdmR8zsITPjCdJCiPccqw5+M+sH8AMAn3f3OQDfALAfwK1Y+mbwFdLvATM7bGaHzy/yR1aFEN1lVcFvZnksBf633f2HAODuE+7ecvc2gG8CuCPU190PuftBdz84XOLPPgshusuKwW9mBuBbAI65+1cvah+56G2fBPDi5XdPCHGlWM1s/10APgPgqJk932n7AoBPm9mtWCrNdxLAH65qj5lw9t7SlwviJEmaq2b4z4h8RCbZPcJlwNdPc7mmTmqttdq8z0yT284bH/6BLM9yNOfHZkTSm+WqHM7WI9JhJBswG5EI6fYitnwks3MikuU4C+7/AjnunRHJcTAiIWen+RJr23K8GuIHRnmG3v7R8AleqoQlbgCoEVmx3bqMUp+7/wwIVl2MavpCiPc2esJPiERR8AuRKAp+IRJFwS9Eoij4hUiUrhfwRDt8valV+FJHTFKKZYh5ZLmr/r5wZiEADG/g0tz0ufASVPNkaSoAmM3y6+vPI/LVEFfzsCEii/YRqa+R4Ruca0ay6SIyWkzoy5KMxUJEwizFt0gtOeM6Zokcd7vBMwHrpAgqAPRGxmNjP98mGpHMzwth/+c28M/ZSFHbViQzcjm68wuRKAp+IRJFwS9Eoij4hUgUBb8QiaLgFyJRuiz1cSnCIxKFEbmsQNYrAwCvRAqHRNSQrX18m88dDWctT42dC7YDQDOSuXcuIm3NRbIBS62ItEU22RORHL3AjzkTKTLKMggBIJcLy1Qtsi4dAMy1+GfWjBSm9Mg2C8z9iNTXjoxVJsdPnja4/zMLfG3ArId96cmEC3sCgLXD51UrUjB2ObrzC5EoCn4hEkXBL0SiKPiFSBQFvxCJouAXIlG6K/WZIZMPS0D5iPxmxGbZiPuRQoatMi+MODLAi3tuzoe3ma9WaJ8NbS6HVSPFMWOFM5s5LueUidRTiSV7RSS2bCTjzyJSZYZIlR4pPuqR7LxYvl/eeMZfnpwjvZHx7Y/cEvuMn1fk9OjAjbVKuDBs5DRFKRM+T2OS+XJ05xciURT8QiSKgl+IRFHwC5EoCn4hEmXF2X4zKwJ4EkBP5/1/5e5fNLN9AL4LYBOA5wB8xt15NkqHTC68y6xHrkMscSM62x9Z/itS+6/f+CHcfeOOYPvsIu/zy1Pnqe18jSeXVCOztrXI3HebjEk7cp2P1X3LMKkFQCSvB5lIzUBGNjIDH8mnQW+GnwelTPg8GMhx5wcyXHXYHDnlSpEByYN/1gUyVt6KnB9EYWpHkpyWs5o7fw3APe5+C5aW477XzO4E8CcAvubu1wC4AOCzq96rEGLdWTH4fYm3FMd8558DuAfAX3XaHwbwiSvioRDiirCq3/xmlu2s0DsJ4HEArwGYcf9NIvJpADuvjItCiCvBqoLf3VvufiuAXQDuAHB96G2hvmb2gJkdNrPD58srTgkIIbrEu5rtd/cZAD8BcCeAQbPflKnZBWCM9Dnk7gfd/eBwpEqOEKK7rBj8ZrbFzAY7r3sB/HMAxwD8PYDf7bztfgA/vlJOCiEuP6tJ7BkB8LCZZbF0sfi+u/+tmb0E4Ltm9p8A/BLAt1bcUiYDFIrEyGUNY8kgRDYEgCZZzggA2pHDjskrIyTn5+O38OmObXkuvRyf4Es4TZS5/xeakWShdjjJpRaRyprGj9ljyUeRpbeyxBZN0IlIjpFcJvRFJN8e4n9PJIloQ5Yn4QxFJMK+SO2/Yp77mCPD2Gjwc2CRJBi130UNvxWD392PALgt0H4CS7//hRDvQ/SEnxCJouAXIlEU/EIkioJfiERR8AuRKBarqXbZd2Z2DsAbnT+HAfCUt+4hP96O/Hg77zc/9rj7ltVssKvB/7Ydmx1294PrsnP5IT/kh772C5EqCn4hEmU9g//QOu77YuTH25Efb+f/Wz/W7Te/EGJ90dd+IRJlXYLfzO41s1fM7LiZPbgePnT8OGlmR83seTM73MX9PmRmk2b24kVtm8zscTN7tfP/0Dr58SUzO9MZk+fN7GNd8GPUzP7ezI6Z2a/M7N922rs6JhE/ujomZlY0s6fN7IWOH/+x077PzJ7qjMf3zGxtBTLcvav/AGSxVAbsKgAFAC8AuKHbfnR8OQlgeB32ezeA2wG8eFHbfwbwYOf1gwD+ZJ38+BKAf9fl8RgBcHvn9QCAXwO4odtjEvGjq2OCpczn/s7rPICnsFRA5/sAPtVp/+8A/vVa9rMed/47ABx39xO+VOr7uwDuWwc/1g13fxLA9LLm+7BUCBXoUkFU4kfXcfdxd3+u83oeS8VidqLLYxLxo6v4Ele8aO56BP9OAG9e9Pd6Fv90AH9nZs+a2QPr5MNbbHP3cWDpJASwdR19+ZyZHen8LLjiPz8uxsz2Yql+xFNYxzFZ5gfQ5THpRtHc9Qj+UCmU9ZIc7nL32wH8NoA/MrO718mP9xLfALAfS2s0jAP4Srd2bGb9AH4A4PPuzsscdd+Pro+Jr6Fo7mpZj+A/DWD0or9p8c8rjbuPdf6fBPAjrG9logkzGwGAzv+T6+GEu090Trw2gG+iS2NiZnksBdy33f2Hneauj0nIj/Uak86+33XR3NWyHsH/DIBrOjOXBQCfAvBIt50wsz4zG3jrNYCPAngx3uuK8giWCqEC61gQ9a1g6/BJdGFMzMywVAPymLt/9SJTV8eE+dHtMela0dxuzWAum838GJZmUl8D8O/XyYersKQ0vADgV930A8B3sPT1sYGlb0KfBbAZwBMAXu38v2md/PgLAEcBHMFS8I10wY8PYekr7BEAz3f+fazbYxLxo6tjAuBmLBXFPYKlC81/uOicfRrAcQD/A0DPWvajJ/yESBQ94SdEoij4hUgUBb8QiaLgFyJRFPxCJIqCX4hEUfALkSgKfiES5f8B0F6dZjHTlyAAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7f10ac06ee48>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Veri setinden örnek görüntü ve çıktı\n",
    "plt.imshow(x_train[5])\n",
    "print(\"y = \",y_train[5])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 85
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 586,
     "status": "ok",
     "timestamp": 1525444856773,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "0X-ZefV4hi1z",
    "outputId": "a4343bf0-b510-4836-e930-37ead00e0e33"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Shape of training features: (50000, 32, 32, 3)\n",
      "Shape of training lables: (50000, 10)\n",
      "Shape of testing features: (10000, 32, 32, 3)\n",
      "Shape of testing lables: (10000, 10)\n"
     ]
    }
   ],
   "source": [
    "print(\"Shape of training features: {}\".format(x_train.shape))\n",
    "print(\"Shape of training lables: {}\".format(y_train.shape))\n",
    "print(\"Shape of testing features: {}\".format(x_test.shape))\n",
    "print(\"Shape of testing lables: {}\".format(y_test.shape))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 51
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 1506,
     "status": "ok",
     "timestamp": 1525444862531,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "5An8SAuhaQF7",
    "outputId": "b1c2ff02-c272-4324-9bcc-e1ecb36062d9"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Number of examples in training set: 45000\n",
      "Number of examples in cross validation set: 5000\n"
     ]
    }
   ],
   "source": [
    "x_train, cv_x, y_train, cv_y = train_test_split(x_train, y_train, \n",
    "                                                test_size = 5000, random_state = 42)\n",
    "\n",
    "print(\"Number of examples in training set: {}\".format(x_train.shape[0]))\n",
    "print(\"Number of examples in cross validation set: {}\".format(cv_x.shape[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "6wuLKvcRkamg"
   },
   "outputs": [],
   "source": [
    "x_train = x_train.astype('float32')\n",
    "x_test = x_test.astype('float32')\n",
    "x_train /= 255\n",
    "x_test /= 255"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4 - Define Functions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "dusSPSGEhQ0v"
   },
   "outputs": [],
   "source": [
    "# Hiper parametreler\n",
    "learning_rate = 0.01\n",
    "epoch = 50\n",
    "batch_size = 32"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#Konvolüsyon katmanındaki ilk ağırlıkların standart sapması 0.1 olan normal dağılıma göre ataması yapılır.\n",
    "def init_weights(shape):\n",
    "    init_random_dist = tf.truncated_normal(shape, stddev=0.1)\n",
    "    return tf.Variable(init_random_dist)\n",
    "\n",
    "#Bias değerleri 0.1 olarak atanır.\n",
    "def init_bias(shape):\n",
    "    init_bias_vals = tf.constant(0.1, shape=shape)\n",
    "    return tf.Variable(init_bias_vals)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.1 Convolution Layer\n",
    "\n",
    "Bu bölümde konvolüsyon işleminden ve konvolüsyon katmanından bahsedeceğiz. Konvolüsyon katmanı temelde şu adımlardan oluşur:\n",
    "\n",
    "- Belirli bir boyuta sahip girdi alır.\n",
    "- Girdinin her pozisyonuna filtre uygular.\n",
    "- Belirlenen parametrelere göre farklı veya aynı boyutta bir çıktı verir.\n",
    "\n",
    "Konvolüsyon işlemi verilen girdi üzerindeki özellik haritalarının keşfedilmesi için kullanılır. Bu özelliklerin doğru bir şekilde keşfedilmesi için filtre boyutu ve adım sayısı gibi parametreler çok önemlidir.\n",
    "\n",
    " - **Adım Sayısı(Stride):** Filtre adım sayısını belirtir.\n",
    " - **Dış boşluk(Padding):** Filtrele eklenecek dış boşluk sayısını belirtir. Padding genel olarak girdi ile çıktı boyutunun aynı olmasının istendiği durumlarda eklenir.\n",
    " - Son olarakta filtre boyutu belirlenir.\n",
    " \n",
    "**Bu Parametreler Nasıl Seçilmeli:** Konvolüsyon katmanında seçilen parametreler sonucu doğrudan etkilemektedir. Adım sayısının ve filtre boyutunun büyük seçilmesi, girdi üzerindeki birçok özelliğin kaybedilmesine neden olabilir. Aynı zamanda adım sayısı ve filtre boyutunun küçük seçilmesi özelliklerin yakalanmasını sağlayabilir fakat hesaplama süresini ve işlem yükünü arttırabilir. Bu nedenlerden dolayı bu parametrelerin doğru bir şekilde seçilmesi çok önemlidir.\n",
    "\n",
    "Aşağıdaki şekilde tek kanaldan oluşan bir girdi için konvolüsyon işlemi gösterilmektedir.\n",
    "\n",
    "<img src=\"images/Convolution_schematic.gif\" style=\"width:400px;height:300px;\">\n",
    "\n",
    "Aşağıdaki şekilde kanal sayısı 3 olan bir girdi üzerine 3x3x3 boyutunda bir filtre uygulanması sonucu elde edilen\n",
    "3x3x2 boyutunda çıktı görülmektedir. Çıktı boyutuna bakıldığında, 3-> genişlik, 3->yükseklik ve 2->filtre sayısını temsil etmektedir\n",
    "\n",
    "<img src=\"images/1.gif\" style=\"width:600px;height:400px;\">\n",
    "<img src=\"images/rgb.gif\" style=\"width:600px;height:400px;\">\n",
    "\n",
    "\n",
    "**Hatırlatıcı:**\n",
    "    Konvolüsyon işleminden sonra elde edilecek çıktıların boyutu şu işlemlere göre hesaplanır:\n",
    "    $$ n_H = \\lfloor \\frac{n_{H_{prev}} - f + 2 \\times pad}{stride} \\rfloor +1 $$\n",
    "    $$ n_W = \\lfloor \\frac{n_{W_{prev}} - f + 2 \\times pad}{stride} \\rfloor +1 $$\n",
    "    $$ n_C = \\text{Konvolüsyonda kullanılan filtre sayısı}$$\n",
    "    \n",
    "### 4.2 Rectifier Linear Unit (ReLu)\n",
    "- Her konvolüsyon katmanından sonra uygulanır.\n",
    "- Girdi içerisindeki bütün negatif piksel değerlerini, sıfır ile değiştirir.\n",
    "\n",
    "<img src=\"images/relu.png\" style=\"width:300px;height:200px;\">\n",
    "\n",
    "ReLu, tanh ve eş değelerinden birkaç kat daha hızlı çalışır.<br/><br/>\n",
    "ReLu'nun daha iyi olmasının nedeni kabaca doyum noktası olmamasıdır(non-saturating). ReLu aktivasyon fonksiyonu f(x) = max(0,x) şeklinde formüle edilir. Yani bütün değerler [0, +sonsuz] aralığındadır.<br/><br/>\n",
    "Fakat diğer aktivasyon fonksiyonlarına baktığımızda;<br/><br/>\n",
    "Sigmoid = [0,1] aralığına ve tanh = [-1,1] aralığına noktaları indirger. Çok derin sinir ağlarında bu fonksiyonlar belirli bir noktadan sonra doyuma ulaşır. Fakat ReLu'da durum böyle değildir. Bu yüzden tercih edilir."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Konvolüsyon işlemini gerçekleştiren fonksiyon tanımlanır.\n",
    "# Parametreler:\n",
    "# Stride: Adım sayısı her zaman 1 olarak seçilmiş. Değiştirilebilir.\n",
    "# Padding: SAME olarak seçilmiş. Yani konvolüsyon işlemi uygulandıktan sonra çıktı boyutu küçülmeyecek.\n",
    "# Girdi ve çıktı boyutu aynı kalacak. Resim boyutu küçük olduğu için kullanıldı.\n",
    "def conv2d(x, W):\n",
    "    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')\n",
    "\n",
    "    \n",
    "# Konvolüsyon katmanı işlemleri gerçekleştirilir.\n",
    "# Konvolüsyon -> ReLu\n",
    "def convolutional_layer(input_x, shape):\n",
    "    W = init_weights(shape)\n",
    "    b = init_bias([shape[3]])\n",
    "    return tf.nn.relu(conv2d(input_x, W) + b)\n",
    "\n",
    "# Alternatif olarak Tensorflow son versiyon ile gelen fonksiyon kullanılabilir. \"nn.conv2d\" ve \"layers.conv2d\"\n",
    "# neredeyse aynıdır. Fakat \"layers.conv2d\" yapılandırıcısı çok daha fazla parametreye sahiptir ve daha esnektir.\n",
    "tf.layers.conv2d(inputs=x,filters=32, kernel_size = [3,3], padding=\"same\", activation=tf.nn.relu)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.3 Pooling Layer\n",
    "Havuzlama(Pooling) katmanı, girdinin yüksekliğini ve genişliğini azaltır. Hesaplama yükünü azaltmaya yardımcı olur. Sıklıkla kullanılan iki tür havuzlama(pooling) yöntemi vardır:\n",
    "\n",
    "- **Max-pooling layer:** Maksimum havuzlama yönteminde, belirli bir adım değerine(stride) göre havuzlama filtresi girdi üzerinde dolaşır ve girdi üzerinde filtrenin bulunduğu alana karşılık gelen kısım içerisindeki maksimum değeri, çıktıda karşılık gelen alana yerleştirir.\n",
    "- **Average-pooling layer:** Aynı işlem ortalama havuzlama işlemi için de geçerlidir. Fakat bu sefer maksimum eleman yerine girdide filtrenin bulunduğu alana karşılık gelen kısımdaki değerlerin ortalaması çıktı olarak verilir.\n",
    "<img src=\"images/Stride_2_Max_Avg_Pooling.png\" style=\"width:600px;height:300px;\"><br/>\n",
    "<img src=\"images/pooling.gif\" style=\"width:400px;height:200px;\">\n",
    "\n",
    "**Hatırlatıcı:**\n",
    "    Dış boşluk(padding) olmadığı için havuzlama işlemi sonrası elde edilecek çıktı boyutu aşağıdaki formüllere göre hesaplanır. Dikkat edilirse havuzlama işleminden sonra kanal sayısı değişmemektedir. Ayrıca konvolüsyon katmanından farklı olarak havuzlama katmanından öğrenilmesi gereken bir parametre yoktur. Sadece adım sayısı ve filtre boyutu belirlenir. Konvolüsyon işleminde ise filtre katsayıları belirli bir öğrenme algoritmasına göre öğrenilip, güncellenir.\n",
    "    $$ n_H = \\lfloor \\frac{n_{H_{prev}} - f}{stride} \\rfloor +1 $$\n",
    "    $$ n_W = \\lfloor \\frac{n_{W_{prev}} - f}{stride} \\rfloor +1 $$\n",
    "    $$ n_C = n_{C_{prev}}$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Maksimum havuzlama işlemini gerçekleştiren fonksiyon tanımlanır.\n",
    "# Parametreler:\n",
    "# Stride: Adım sayısı her zaman 2 olarak seçilmiş. Değiştirilebilir.\n",
    "# ksize: Kernel size, Filter size aynı şey. Filtre boyutu seçilmiş.\n",
    "def max_pool_2by2(x):\n",
    "    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1])\n",
    "\n",
    "# Alternatif\n",
    "tf.layers.max_pooling2d(inputs=convo_2, pool_size=[2, 2], strides=2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.4 Fully Connected Layer\n",
    "\n",
    "Çok katmanlı yapay sinir ağlarında olduğu gibi birbirlerine tamamen bağlı olan nöronları içerir. Daha önceki katmanda öğrenilen özelliklere göre girdinin sınıflandırılması yapılır. \n",
    "\n",
    "<img src=\"images/fully_connected.png\" style=\"width:600px;height:300px;\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Tam Bağlantılı Katman fonksiyonu oluşturulur.\n",
    "def normal_full_layer(input_layer, size):\n",
    "    input_size = int(input_layer.get_shape()[1])\n",
    "    W = init_weights([input_size, size])\n",
    "    b = init_bias([size])\n",
    "    return tf.matmul(input_layer, W) + b\n",
    "\n",
    "# Alternatif\n",
    "tf.layers.dense(inputs=flatten, units = 512, activation=tf.nn.relu)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4.5 Softmax\n",
    "\n",
    "Softmax fonksiyonu yapay sinir ağı tarafından üretilen skor değerlerini kullanarak olasılık temelli loss değeri üretmektedir. Softmax sonucunda test girdisinin her bir sınıfa ait benzerliği için olasılık değeri üretilir. Yapay sinir ağı modelinin çıktı olarak verdiği skor değerler normalize edilmemiş değerlerdir. Softmax bu değerleri normalize ederek olasılık değerlerine dönüştürmektedir. Olasılık değerine dönüştürme işlemini istatistikte sıkça kullanılan en çok olabilirlik (maximum likelihood) fonksiyonuyla yapmaktadır. Değerler çok büyük değerler olduğu için likelihood fonksiyonun log'nu alarak dağılımın yapısını korumaktadır.\n",
    "<img src=\"images/softmax.png\" style=\"width:600px;height:300px;\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5 - Create Model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "wjUQYHBSiPik"
   },
   "outputs": [],
   "source": [
    "#Tensorflow Graph Oluşturulması\n",
    "\n",
    "# Graph Reset\n",
    "tf.reset_default_graph()\n",
    "\n",
    "# Placeholder tanımlama\n",
    "x = tf.placeholder(tf.float32,shape=[None,32,32,3])\n",
    "y_true = tf.placeholder(tf.float32,shape=[None,10])\n",
    "train_mode = tf.placeholder(tf.bool)\n",
    "\n",
    "config = tf.ConfigProto(allow_soft_placement=True)\n",
    "config.gpu_options.allow_growth = True\n",
    "config.gpu_options.allocator_type = 'BFC'\n",
    "\n",
    "with tf.name_scope('Model'):\n",
    "    #Convolutional Layer 1 + RELU\n",
    "    convo_1 = tf.layers.conv2d(inputs=x,filters=32, kernel_size = [3,3], padding=\"same\", activation=tf.nn.relu)\n",
    "    #Convolutional Layer 2 + RELU\n",
    "    convo_2 = tf.layers.conv2d(inputs=convo_1,filters=32, kernel_size = [3,3], activation=tf.nn.relu)\n",
    "    #Pooling Layer 1\n",
    "    pooling_1 = tf.layers.max_pooling2d(inputs=convo_2, pool_size=[2, 2], strides=2)\n",
    "    dropout_1 = tf.layers.dropout(pooling_1,rate=0.25, training= train_mode)\n",
    "    \n",
    "    #Convolutional Layer 3 + RELU\n",
    "    convo_3 = tf.layers.conv2d(inputs=dropout_1,filters=64, kernel_size = [3,3], padding=\"same\", activation=tf.nn.relu)\n",
    "    #Convolutional Layer 4 + RELU\n",
    "    convo_4 = tf.layers.conv2d(inputs=convo_3,filters=64, kernel_size = [3,3], activation=tf.nn.relu)\n",
    "    #Pooling Layer 2\n",
    "    pooling_2 = tf.layers.max_pooling2d(inputs=convo_4, pool_size=[2, 2], strides=2)\n",
    "    dropout_2 = tf.layers.dropout(pooling_2,rate=0.25, training= train_mode)\n",
    "    \n",
    "    #Flattening\n",
    "    flatten = tf.reshape(dropout_2,[-1,6*6*64])\n",
    "    #Fully Connected 1 + RELU\n",
    "    full_layer_one = tf.layers.dense(inputs=flatten, units = 512, activation=tf.nn.relu)\n",
    "    #Dropout Layer 1\n",
    "    full_one_dropout = tf.layers.dropout(full_layer_one,rate=0.5, training= train_mode)\n",
    "    #Output Layer,containing 2 output nodes.\n",
    "    y_pred = tf.layers.dense(inputs=full_one_dropout,units=10)\n",
    "\n",
    "# Kayıp Fonksiyonu\n",
    "# Softmax girdinin her bir sınıfa ne kadar benzediğine dair olasılık değeri üretmektedir.\n",
    "with tf.name_scope('Loss'):\n",
    "    loss = tf.losses.softmax_cross_entropy(y_true, y_pred)\n",
    "\n",
    "# Optimizer Fonksiyonu\n",
    "with tf.name_scope('ADAM'):\n",
    "     train_op = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)\n",
    "\n",
    "# Performans Metriği\n",
    "with tf.name_scope('Accuracy'):\n",
    "    accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(y_pred, 1), tf.argmax(y_true, 1)), tf.float32))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     },
     "base_uri": "https://localhost:8080/",
     "height": 918
    },
    "colab_type": "code",
    "executionInfo": {
     "elapsed": 956371,
     "status": "ok",
     "timestamp": 1525448284607,
     "user": {
      "displayName": "Zeki Kuş",
      "photoUrl": "https://lh3.googleusercontent.com/a/default-user=s128",
      "userId": "113800785453624523681"
     },
     "user_tz": -180
    },
    "id": "hyTMyp27korl",
    "outputId": "715e4442-0fbb-4d2f-ae7f-16167d3452ae"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Training:Start\n",
      "Epoch: 1 Cost: 1.8016789558941066 accuracy: 0.3664490049751244 \n",
      "Epoch: 2 Cost: 1.440381073256475 accuracy: 0.5108386638237384 \n",
      "Epoch: 3 Cost: 1.3126959957150612 accuracy: 0.5708733120113717 \n",
      "Epoch: 4 Cost: 1.2200947013467678 accuracy: 0.6069207533759773 \n",
      "Epoch: 5 Cost: 1.1501501446343418 accuracy: 0.6351057213930348 \n",
      "Epoch: 6 Cost: 1.0902257096631767 accuracy: 0.6599147121535182 \n",
      "Epoch: 7 Cost: 1.0366249620744887 accuracy: 0.6813921464108031 \n",
      "Epoch: 8 Cost: 0.9880126613175038 accuracy: 0.7002931769722814 \n",
      "Epoch: 9 Cost: 0.9494544973922827 accuracy: 0.7168843283582089 \n",
      "Epoch: 10 Cost: 0.9173929581304702 accuracy: 0.7320318052594172 \n",
      "Epoch: 11 Cost: 0.8806857776167043 accuracy: 0.74613539445629 \n",
      "Epoch: 12 Cost: 0.8513323084516172 accuracy: 0.7569740582800284 \n",
      "Epoch: 13 Cost: 0.8198776644671795 accuracy: 0.7707444918265813 \n",
      "Epoch: 14 Cost: 0.7936121667516689 accuracy: 0.7823605188343994 \n",
      "Epoch: 15 Cost: 0.7675969636075697 accuracy: 0.7938210732054015 \n",
      "Epoch: 16 Cost: 0.743044464614449 accuracy: 0.802860696517413 \n",
      "Epoch: 17 Cost: 0.7185856009572532 accuracy: 0.8120780028429282 \n",
      "Epoch: 18 Cost: 0.697229328293719 accuracy: 0.8244713930348259 \n",
      "Epoch: 19 Cost: 0.6792683290426287 accuracy: 0.832089552238806 \n",
      "Epoch: 20 Cost: 0.6511343993341939 accuracy: 0.8420620113717129 \n",
      "Epoch: 21 Cost: 0.6403129976852181 accuracy: 0.8511904761904762 \n",
      "Epoch: 22 Cost: 0.6167436417822817 accuracy: 0.8607631485429993 \n",
      "Epoch: 23 Cost: 0.6009267282011159 accuracy: 0.8672707889125799 \n",
      "Epoch: 24 Cost: 0.585570932897192 accuracy: 0.8764214641080312 \n",
      "Epoch: 25 Cost: 0.5706987387128439 accuracy: 0.8850613006396588 \n",
      "Epoch: 26 Cost: 0.5510483353397415 accuracy: 0.8911247334754797 \n",
      "Epoch: 27 Cost: 0.530840742479941 accuracy: 0.8980099502487562 \n",
      "Epoch: 28 Cost: 0.526216300652173 accuracy: 0.9034292821606255 \n",
      "Epoch: 29 Cost: 0.5082899419588182 accuracy: 0.9094482942430704 \n",
      "Epoch: 30 Cost: 0.4909200363687821 accuracy: 0.9187100213219617 \n",
      "Epoch: 31 Cost: 0.4785166472238972 accuracy: 0.923751776830135 \n",
      "Epoch: 32 Cost: 0.46785062886933515 accuracy: 0.9292821606254442 \n",
      "Epoch: 33 Cost: 0.45619080758853625 accuracy: 0.9338352878464818 \n",
      "Epoch: 34 Cost: 0.44119419515726405 accuracy: 0.9400764036958067 \n",
      "Epoch: 35 Cost: 0.43110497407138265 accuracy: 0.9454957356076759 \n",
      "Epoch: 36 Cost: 0.42414210016334464 accuracy: 0.9496268656716418 \n",
      "Epoch: 37 Cost: 0.41059417864718445 accuracy: 0.9536469438521677 \n",
      "Epoch: 38 Cost: 0.39458403421584437 accuracy: 0.9570007107320541 \n",
      "Epoch: 39 Cost: 0.38882558819325175 accuracy: 0.9613761549395877 \n",
      "Epoch: 40 Cost: 0.3811166330530794 accuracy: 0.9649298152096659 \n",
      "Epoch: 41 Cost: 0.37549246107340706 accuracy: 0.9675728500355366 \n",
      "Epoch: 42 Cost: 0.3622921103900391 accuracy: 0.9705490405117271 \n",
      "Epoch: 43 Cost: 0.3540057951218818 accuracy: 0.9734808102345416 \n",
      "Epoch: 44 Cost: 0.35064526728935974 accuracy: 0.9753242714996446 \n",
      "Epoch: 45 Cost: 0.338355511919745 accuracy: 0.9779450959488273 \n",
      "Epoch: 46 Cost: 0.3276565738531044 accuracy: 0.9797885572139303 \n",
      "Epoch: 47 Cost: 0.3295526101411576 accuracy: 0.9815653873489695 \n",
      "Epoch: 48 Cost: 0.3167244526577496 accuracy: 0.9835421108742004 \n",
      "Epoch: 49 Cost: 0.3105434710689811 accuracy: 0.9857853589196873 \n",
      "Epoch: 50 Cost: 0.3042967631872399 accuracy: 0.986362828713575 \n",
      "Cross validation loss: 175.25784301757812 accuracy: 0.6575999855995178\n",
      "Test set accuracy 0.7860000133514404\n"
     ]
    }
   ],
   "source": [
    "with tf.Session(config=config) as sess:\n",
    "    sess.run(tf.global_variables_initializer())\n",
    "    \n",
    "    # Create mini batches and train data\n",
    "    \n",
    "    total_size = x_train.shape[0]\n",
    "    number_of_batches = int(total_size/batch_size)\n",
    "    \n",
    "    print(\"Training:Start\")\n",
    "    for e in range(epoch):\n",
    "        epoch_cost = 0\n",
    "        epoch_accuracy = 0\n",
    "        for i in range(number_of_batches):\n",
    "            mini_x = x_train[i*batch_size:(i+1)*batch_size, :, :, :]\n",
    "            mini_y = y_train[i*batch_size:(i+1)*batch_size, :]\n",
    "            _, cost = sess.run([train_op,loss], feed_dict={x:mini_x, y_true:mini_y,train_mode:True})\n",
    "            train_accuracy = sess.run(accuracy, feed_dict={x:mini_x, y_true:mini_y,train_mode:False})\n",
    "            epoch_cost += cost\n",
    "            epoch_accuracy += train_accuracy\n",
    "        \n",
    "        #If the total number of training examles is not exactly divisible by batch_size, \n",
    "        #we have one more batch of size (total_size - number_of_batches*batch_size)\n",
    "        if total_size % batch_size != 0:\n",
    "            mini_x = x_train[number_of_batches*batch_size:total_size, :, :, :]\n",
    "            mini_y = y_train[number_of_batches*batch_size:total_size, :]\n",
    "            _, cost = sess.run([train_op, loss], feed_dict={x:mini_x, y_true:mini_y, train_mode:True})\n",
    "            train_accuracy = sess.run(accuracy, feed_dict={x:mini_x,y_true:mini_y, train_mode:False})\n",
    "            epoch_cost += cost\n",
    "            epoch_accuracy += train_accuracy\n",
    "        \n",
    "        epoch_cost /= number_of_batches\n",
    "        \n",
    "        if total_size % batch_size != 0:\n",
    "            epoch_accuracy /= (number_of_batches+1)\n",
    "        else:\n",
    "            epoch_accuracy /= number_of_batches\n",
    "        print(\"Epoch: {} Cost: {} accuracy: {} \".format(e+1, np.squeeze(epoch_cost), epoch_accuracy))\n",
    "    \n",
    "    #Cross validation loss and accuracy\n",
    "    cv_loss, cv_accuracy = sess.run([loss, accuracy], {x:cv_x, y_true:cv_y, train_mode: False})\n",
    "    print(\"Cross validation loss: {} accuracy: {}\".format(np.squeeze(cv_loss), cv_accuracy))\n",
    "    \n",
    "    #prediction for test set\n",
    "    test_accuracy = sess.run(accuracy,{x:x_test, y_true:y_test,train_mode:False})\n",
    "    print(\"Test set accuracy {}\".format(test_accuracy))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "1baX46wBlCSi"
   },
   "source": [
    "## 6. Plots\n",
    "\n",
    "Konvolüsyonel sinir ağlarında parametrelerin doğru seçilmesi başarıyı doğrudan etkilemektedir. Bu bölümde farklı parametrelerin sonucu nasıl etkilediğine dair grafikler verilmiştir ve doğru sinir ağı tasarımının nasıl olması gerektiğine yoğunlaşılmıştır.\n",
    "\n",
    "Parametre değişikliklerini temsil etmek için aksi belirtilmedikçe aynı model kullanılmıştır. Kullanılan model 4 konvolüsyon, 2 havuzlama, 3 droput, 5 ReLu ve 1 gizli katmandan oluşmaktadır.\n",
    "\n",
    "**Konvolüsyonel Sinir Ağı Mimarisi:** <br/>\n",
    "Input --> Conv --> ReLu --> Conv --> ReLu --> Pooling --> Dropout --> Conv --> ReLu --> Conv --> ReLu --> Pooling\n",
    "        --> Flatten --> Hidden Layer 1 --> ReLu --> Output\n",
    "\n",
    "### 6.1 Different Filter Size\n",
    "\n",
    "<img src=\"Plots/CIFAR10_Filter_3_5.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR-10_Diff_Filter_Size.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_Filter_3_5_7_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/Different_Fİlter_Tİme.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** Farklı filtre sayıları sonucu farklı olarak etkilemiştir. Filtre boyutunun küçük seçilmesi görüntü üzerindeki özelliklerin daha iyi yakalanmasını sağlar fakat hesaplama zamanını arttırır. Aynı zamanda filtre boyutunun büyük seçilmesi görüntü üzerideki bazı özelliklerin kaybedilmesine neden olur. Bu yüzden filtre boyutu doğru bir şekilde seçilmelidir.\n",
    "\n",
    "<br/>\n",
    "### 6.2 Different Channel Count\n",
    "\n",
    "<img src=\"Plots/CIFAR10_ChannelCount.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_ChannelCount_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/Different_ChannelCount_Tİme.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** İdeal konvolüsyonel sinir ağ tasarımına bakıldığında derinlik arttıkça görüntü boyutunun küçültülmesi, kanal sayısının arttırılması gerekmektedir. Kanal sayısının arttırılması elde edilen özellik sayısını arttıracaktır. Daha fazla özellik çıkarımı sağlanarak sinir ağı daha iyi eğitilecektir. Fakat bunu yaparken görüntü boyutunun belirli bir değere kadar küçültülmesi gerekir. Aksi halde çok fazla hesaplama yükü gerekir.\n",
    "\n",
    "### 6.3 Different Batch Size\n",
    "\n",
    "<img src=\"Plots/CIFAR10_BatchSize.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_BatchSize_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/Different_Batch_Tİme.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** Batch değerinin yüksek seçilmesi eğitim sırasında bazı bilgilerin kaybına ve ağırlıkların doğru bir şekilde güncellenememesine, yani yanlış öğrenmeye neden olabilir. Küçük batch değerleri doğruluk oranını arttırabilir fakat hesaplama zamanını da arttırır. Bu yüzden batch değerleri veri setine ve oluşturulan mimariye uygun olarak seçilmelidir.\n",
    "\n",
    "### 6.4 Pooling Method\n",
    "\n",
    "<img src=\"Plots/CIFAR10_PoolingMethod.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_PoolingMethod_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "\n",
    "### 6.5 Different Models\n",
    "\n",
    "<img src=\"Plots/CIFAR10_Model1vsModel2.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_Model1vsModel2_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** Bu bölümde, bölümün başında varsayılan olarak belirtilen Model1 ile havuzlama katmanının yerinin değiştirilmesi ile oluşan Model2 karşılaştırılmıştır. Model2, Model1 den farklı olarak şu şekilde tasarlanmıştır:\n",
    "\n",
    "**Conv + ReLu --> Pooling --> Conv + ReLu  --> Dropout --> Conv + ReLu --> Pooling --> Conv + ReLu --> Dropout**\n",
    "\n",
    "### 6.6 Different Kernel Initializer\n",
    "\n",
    "<img src=\"Plots/CIFAR10_Initializers.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_Initializers_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "\n",
    "### 6.7 Different Regularization\n",
    "\n",
    "<img src=\"Plots/CIFAR10_Regularization.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_Regularization_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "### 6.8 Different Dropout Rate\n",
    "\n",
    "<img src=\"Plots/CIFAR10_Dropouts.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/CIFAR10_Dropouts_Bar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** Aşırı öğrenmeyi(Overfitting) azaltmak için kullanılan Dropout yönteminde \"dropout rate\" değeri doğru bir şekilde seçilmelidir. Kullanılan veri seti ve katmanlarda kullanılan düğüm sayısına göre dropout rate değeri belirlenmelidir. Daha az derin ağlarda ve düğüm sayısının az olduğu katmanlarda dropout değeri 0.5 değerinin üzerinde tutulmamalıdır. Düşük \"dropout rate\" değeri overfitting, yüksek \"dropout rate\" değeri underfitting oluşturmaktadır.\n",
    "\n",
    "### 6.9 Different Models\n",
    "\n",
    "<img src=\"Plots/3Modelvs.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/3ModelvsBar.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "<img src=\"Plots/Different_Model_Tİme.png\" style=\"width:600px;height:400px;\"><br/>\n",
    "\n",
    "**Yorum:** \n",
    "- **Model1:**<br/>\n",
    "    Flatten(6x6x128)<br/>\n",
    "    Hidden Layer 1 + ReLu (512 Unit)<br/>\n",
    "    Dropout Layer(0.5 Dropout Rate)<br/>\n",
    "    Hidden Layer 2 + ReLu (1024 Unit)<br/>\n",
    "    Dropout Layer(0.5 Dropout Rate)<br/>\n",
    "    Output <br/>\n",
    "    \n",
    "  **Model2:**<br/>\n",
    "    Flatten(6x6x128)<br/>\n",
    "    Hidden Layer 1 + ReLu (512 Unit)<br/>\n",
    "    Dropout Layer(0.25 Dropout Rate)<br/>\n",
    "    Hidden Layer 2 + ReLu (1024 Unit)<br/>\n",
    "    Dropout Layer(0.75 Dropout Rate)<br/>\n",
    "    Output\n",
    "    \n",
    "  **Model3:**<br/>\n",
    "    Flatten(6x6x128)<br/>\n",
    "    Hidden Layer 1 + ReLu (512 Unit)<br/>\n",
    "    Dropout Layer(0.25 Dropout Rate)<br/>\n",
    "    Output\n",
    "    \n",
    "    Sonuçlarda görüldüğü gibi kompleks veya daha derin modeller kurmak her zaman başarı sonuçlar elde edileceği anlamına gelmez. Hatta klasik konvolüsyonel sinir ağlarında ard arda dizilen çok katmandan oluşan modellerin, derinlik arttıkça belirli bir yere kadar başarılı değerler verdiği, fakat belirli bir derinlikten sonra beklenenin aksine hatanın arttığı görülmüştür. Bunun nedeni derinlik arttıkça ilk katmanlarda öğrenilen özelliklerin ileriye gidildikçe kaybedilmesindendir. Bunu çözmek için geliştirilen ResNet ve DenseNet gibi mimariler vardır. Bu mimariler özellik paylaşımını arttırmaktadır."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "colab": {
     "autoexec": {
      "startup": false,
      "wait_interval": 0
     }
    },
    "colab_type": "code",
    "id": "5exEfYTM0PZE"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "collapsed_sections": [],
   "default_view": {},
   "name": "CIFAR10.ipynb",
   "provenance": [],
   "version": "0.3.2",
   "views": {}
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}