CNN_Cifar10.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "zJMS8p3wfPXO"
   },
   "source": [
    "## Stage 1: Installing dependencies and notebook gpu setup"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "lRHFdNYAfWKJ"
   },
   "source": [
    "## Stage 2: Importing dependencies for the project"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 36
    },
    "colab_type": "code",
    "id": "tS5xFeQwe9Xu",
    "outputId": "d8d4ac72-edb5-4ab8-afe8-d82021a9ab1b"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'2.0.0'"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import tensorflow as tf\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "from tensorflow.keras.datasets import cifar10\n",
    "\n",
    "%matplotlib inline\n",
    "tf.__version__"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "e8zYubaPfy-S"
   },
   "source": [
    "## Stage 3: Dataset preprocessing"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "AOAGjiPogF0w"
   },
   "source": [
    "### Loading the Cifar10 dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "v1N6LbS-e9a1"
   },
   "outputs": [],
   "source": [
    "#Setting class names for the dataset\n",
    "class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 74
    },
    "colab_type": "code",
    "id": "f13-8-m_fqKP",
    "outputId": "c351dcea-605f-4ea6-9a02-61b1d1c9a0a2"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz\n",
      "170500096/170498071 [==============================] - 170s 1us/step\n"
     ]
    }
   ],
   "source": [
    "#Loading the dataset\n",
    "(X_train, y_train), (X_test, y_test) = cifar10.load_data()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "XqDIpsJWgUkz"
   },
   "source": [
    "### Image normalization"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "-QFncPlpgNmU"
   },
   "outputs": [],
   "source": [
    "X_train = X_train / 255.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 36
    },
    "colab_type": "code",
    "id": "L1rFHX67gc6G",
    "outputId": "84ea3231-0789-44d3-e304-b79312e048c6"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(50000, 32, 32, 3)"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "Ve2WbRGWgc3I"
   },
   "outputs": [],
   "source": [
    "X_test = X_test / 255.0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 288
    },
    "colab_type": "code",
    "id": "7jwvNZ82gh9d",
    "outputId": "fc76a683-1350-41ff-d76d-c13daf495a73"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<matplotlib.image.AxesImage at 0x202e80b2948>"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAPsAAAD5CAYAAADhukOtAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4yLjEsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+j8jraAAAZd0lEQVR4nO2dXWxc13HH/3N3l9/6okRJlGSZiqOgsd1EDlgjgIvAbdpADQI4eUiQPAR+MKI8xEADpEANF2jct/QjCfJQBFVqI0qRJjHqpDYKo41htDACBG5oxZYVK/FXKYsSRYoiRYrf3L3Th70GZOfMcHmXe5fR+f8AguQZnntnz97Zuzz/nRlRVRBCbn6SdjtACCkGBjshkcBgJyQSGOyERAKDnZBIYLATEgnlZiaLyHEA3wJQAvDPqvo17++7evq0d+fuZk65KUjuieGZ/vFsadOfl89Lw0UXX3zNK81ufK08W34fc/jvTrG9zDkNpvztHdA43vVr01hemA9acwe7iJQA/COAPwUwBuAXIvKUqr5izenduRvHH/jLPOfa8JzEmSNJvjc0lh8Vx72Sps7x7HmJ46OIbUtK1hViXzn+Ry2cec6s1PCxy5lUcSJi1VmsmqyZtjKqwXFNnceVetebvfY157FpYh+zWquFj1ezrx1rqf79n/7enNLM2/i7Abyuqm+q6iqAHwK4r4njEUJaSDPBfhDAhRt+H8vGCCFbkGaCPfRG4rfeyIjICREZEZGR5YX5Jk5HCGmGZoJ9DMAtN/x+CMCld/+Rqp5U1WFVHe7q7WvidISQZmgm2H8B4KiIHBGRDgCfBfDU5rhFCNlscu/Gq2pVRB4E8F+oS2+Pqeqv1puXlMKnFE+iyqMneT7k3I23ts8TZ6c1cXbO85wLAFJn+9wyuWvouCiOUcT2o9N4PsveJeetlXMu1Q7TlqaV4HilFN6lB4COir2739dj+79zR79pq6Jk2kbHLgfHF1bMKdDE8sN+npvS2VX1aQBPN3MMQkgx8BN0hEQCg52QSGCwExIJDHZCIoHBTkgkNLUbnwdTAcqRjOElcLgZVE5yijfTsnhSWG7V0DlmmuZLrrFwk248WdHxAxqWtqreM+OcK01sOcxLXEnT8CVuJwwBvR328YYGd5i2gYF9pm30wqRpQ3U1PK7285InF5F3dkIigcFOSCQw2AmJBAY7IZHAYCckEgrdjRcRMzEk1XBpnmymcTz/XEWhzqnSnGWdXJzHlu+YjgLhPTjnXpEaNvXuL841UF25ZtpKzmVcKYXTqns77TmHBgdMW/9OO017enrGtI1dGjdtVlkqLzEoz9XNOzshkcBgJyQSGOyERAKDnZBIYLATEgkMdkIiofhEGCPZwZd4jGN5XV9ySm9mKx4Hp7mIK721Buv120sWsY/m1Znz2zUZl5bYl5zUlkzbzMSoaesqOYkrh+8Ijr936Ig5Z6B/u2lbXbZ9fHNsyrTNLDmyorkmTucfw5Sz1CAh5GaCwU5IJDDYCYkEBjshkcBgJyQSGOyEREJT0puIjAK4DqAGoKqqww3M2dB4nmPlPV5+vNZERUtvxvkcN1zVM2+dvyTcdglqt0GqwNYAd/UaxwNQXZg2bQM7wufbP2DXklO1w+LSxIRtm7ZluRV0mjaR8OP28w03fl1ths7+R6pqC4yEkC0B38YTEgnNBrsC+KmIvCAiJzbDIUJIa2j2bfw9qnpJRPYCeEZEfq2qz934B9mLwAkA6N2xu8nTEULy0tSdXVUvZd8nAfwEwN2BvzmpqsOqOtzVa5f0IYS0ltzBLiK9IrLt7Z8BfAzA2c1yjBCyuTTzNn4fgJ9kElcZwL+q6n/mPZgrlBUqo20cdbWrYn23ZByvtZKbcejYvOKRNUMZSrBizinBbvG0d+8B0zY3abRPApCuzQXHFXYW2vjVBdP22kVb5ltSW15LrOcFQFdiSW+2vLZqHc5R5HIHu6q+CeCDeecTQoqF0hshkcBgJyQSGOyERAKDnZBIYLATEgmFF5zMkZSVS7wqNNvMPVXBr6eJ1TfMKxzp9RTLJ8vVamE5rJLYMtmuXvtyLCe2ravb/rDW3NxscPzKtC2hvXb+qn28FVuyq5Q7TFsHqqbtfYfDsmLVKQT6m/OXbKMB7+yERAKDnZBIYLATEgkMdkIigcFOSCQUvxtPWkqKcM01b1fdV0Jsq5e40mEkvBzet8ucc+t+uy7cW6++ZNrKzi1rZm4+OP7qq6+bc+ZX7F31kti18PpKttLwe0cOmbZ9+/cHx3/95gVzjrVT7z2XvLMTEgkMdkIigcFOSCQw2AmJBAY7IZHAYCckEii9bQBLvCq6wZOP0V7JcTJx6rGVxbZ1OVfPod07g+N3vO9Wc04Hlk3bxZptk5otAS4shOvJrdQmzTml7gHTtq2nx7TdObTPtA0d3GvaLlyZCY5fHLdbTaU50sN4ZyckEhjshEQCg52QSGCwExIJDHZCIoHBTkgkrCu9ichjAD4BYFJV78zG+gH8CMAQgFEAn1HVsH7wWwc0z9PQ9EZJkgJfx5x6d14tvLyP2M1sMowlpwZdV8kudtbfa2eAHdxrZ7DdNhiWr3Zus1skXZ2YMm1p1Wkb5TzVkoZrv60thttCAcD2Prvb8IG9YUkRAAa2d5u22Rm75t3oW5eD44srdt06lOzsO4tGIuK7AI6/a+whAM+q6lEAz2a/E0K2MOsGe9Zv/d0vS/cBOJX9fArAJzfZL0LIJpP3ve4+VR0HgOy7/fEgQsiWoOX/2IrICREZEZGR5YVw1RBCSOvJG+wTIjIIANl384PGqnpSVYdVdbir1y7mTwhpLXmD/SkA92c/3w/gyc1xhxDSKhqR3n4A4F4Ae0RkDMBXAXwNwOMi8gCAtwB8utETWoUP82SObbZclxfPj1b46B2xZKyk135oT68t4xzot+Wk/TtsWW5XX1dwXNTOovPU0t2795i2pSX738OV5XC23PyinSm3s9O+GvvELiq5vBTOsAOAiRnbx6nrS2GD006qbFxXXmHRdYNdVT9nmD663lxCyNaBn6AjJBIY7IREAoOdkEhgsBMSCQx2QiKhDQUnLVnD7zgWnpEzo8zLRMullBUrr3nGnkr4Kd27vdecc/Rwv2lbmDpv2k7//AXT1nfvx4Lju3bZ/dw6OuyMuP4Bu5jjwqx9z9reGz7mwqItRS7MXzdtsxP2eqTpQdM2NW9LjmsSltgSJ53PLBLqXBu8sxMSCQx2QiKBwU5IJDDYCYkEBjshkcBgJyQSCpXeBEDJ6B0mTk8xSPg1yet35ckWfWVbeiurndXU2RGWSFLvNdPwHQA6DZkMAETtIpCVstHPDcDA9m3B8T077B5l+/bYstyoU0b06pTdL+3Chf8Lju/YcYc5p1KxH1dPt+3jth47O6yvO5zRlzqX24Xz46btl6fPmLaxM+dM26E7/sC0lZNwhmBas53MkyXKOzshkcBgJyQSGOyERAKDnZBIYLATEgnFJsIIkBqFxvyklrDNq2fWndi27SV7x31vn12P7eChweB40mHvdFcqdnKHtxvvbRd7O/UdhkCx4tRHm70yYdpqVTthpOIkroyefyM4fvjWA+ac7U71Ye2211gSez2kHF6QijEOAHsGwq2rAGDwQPgaAIA5XLP9UHsdEw23thInPNeM+7TbGsyxEUJuIhjshEQCg52QSGCwExIJDHZCIoHBTkgkNNL+6TEAnwAwqap3ZmOPAPgCgCvZnz2sqk+vd6wUCVZL4XZCJYTb9ABAqRaWyvq7bfeXLr9q2i7PTZm2oeG7TNvubWGpqdIZTmQAgE5HnhKn35EkdlJIIratbMhyK522pLiyavs4O2uvlVevb3FpMTg+deVKcBwAOsu2j2nNlq6Q2oLTWjVsS1MniarTlvnuvMtOaEl32gk0Y1ft9k9pKYcCniMTppE7+3cBHA+Mf1NVj2Vf6wY6IaS9rBvsqvocgOkCfCGEtJBm/md/UETOiMhjIrJr0zwihLSEvMH+bQC3ATgGYBzA160/FJETIjIiIiMrC3Y9bkJIa8kV7Ko6oao1VU0BfAfA3c7fnlTVYVUd7uwNV1EhhLSeXMEuIjdmA3wKwNnNcYcQ0ioakd5+AOBeAHtEZAzAVwHcKyLHUBcARgF8sZGTCdTM/ulMbent/UPh1j+37rYlkmtd9p5id5fdpqezJywNAsDU5cvB8Y5OW7rq6bJluZ4+uxVSqcOeV3FsMOS8ctl+qjs67Gyz7i57PbZvt/1fS8PP88SEnWFXduRGXXOkN4drc2HJa37JznxcdU61vGZn2F2aCcuNAFDu3WnaStbjtk9lZ4LaU9YPdlX9XGD40fXmEUK2FvwEHSGRwGAnJBIY7IREAoOdkEhgsBMSCYUWnEy0hp5q+FN0t9/Sb8675/cPB8evXQy3GAKARbHTgjqdVkJramdeLS+tBcd3ddryVIdj6+lxiig6mVC1WtgPAFgwfFSnlVBnl32uktNqats2W7KbmZsNjo8b8iUAdDvZgysLdsHMS5dsOe/cq+FrZKVm3+fec/sHTFuld7tp69y+27SlYq9x1ZDYvMQ2L+PQgnd2QiKBwU5IJDDYCYkEBjshkcBgJyQSGOyEREKh0psI0F0OCwoDO+1c9+nJcCG/F0+fNueMXbxq2o5+wC6ss/tAOMMOAHpKYRkq6XIKJXY5/csqTvaaUWSzflBberP6wCWOhCaOjiNuHpVtW1oKZzGurob7mgHApJMR95tXzpm2S2P2vIuXZ4Lj00t2atve99rS285+L9PPNEEdHU2Ngpnq9PRT6zlzTsQ7OyGRwGAnJBIY7IREAoOdkEhgsBMSCYXuxisSrEq4Xtu5UTtBQpfCO6pXrth161ZL9o77+Tl7F3kinTNtPeXw7mhnh72MO3bYu+qD/fZO/Y6KvRPbXXJ2adPwrrvXTmppccm0palzLmfnd3ExXI+ts7PDnDM7G06eAYCLFy+atvl5e4d/ZTXs/87+veacco+9477shEzVWavESWux1lFTO3nJEkLUOQ/v7IREAoOdkEhgsBMSCQx2QiKBwU5IJDDYCYmERto/3QLgewD2o96Q5qSqfktE+gH8CMAQ6i2gPqOqYY0sQwGspuFTTszZMlqShuWa8u4j5pyS2Mkpc1VbhpqbdVr4aDgBRZx6d5XpcPshALg4br/W3nGLXc9saK9dB02N2nVrVqEzAIvzto+AvVbjV2yZcno+nGhybOioOefwflsOO3J4yLQtrNhS6itvhCXdatlOQurbYcu2S16yi22CketSt1mJMN4kW3szaeTOXgXwFVV9P4APA/iSiNwO4CEAz6rqUQDPZr8TQrYo6wa7qo6r6uns5+sAzgE4COA+AKeyPzsF4JOtcpIQ0jwb+p9dRIYA3AXgeQD7VHUcqL8gALDfgxFC2k7DwS4ifQCeAPBlVbX/WfvteSdEZERERpYXvP8NCSGtpKFgF5EK6oH+fVX9cTY8ISKDmX0QwGRorqqeVNVhVR3u6rU/C04IaS3rBrvUaxY9CuCcqn7jBtNTAO7Pfr4fwJOb7x4hZLNoJOvtHgCfB/CyiLyYjT0M4GsAHheRBwC8BeDTjZwwsTJ8xJZ40lK4hVLqZF2pWzvNnidiayup4WPqnGvFKSW3umJnm906aM/Tki0riiE5pl5NO0euqRpZdACwWA1nMAIAOsPS4f6Dt5lT3nvkgGnz1mp21V6Pha6x4Pj0XLgNGQCkTu23xFkrR4F1MwQtW6rONWzUoPOu+3WDXVV/Bruy4EfXm08I2RrwE3SERAKDnZBIYLATEgkMdkIigcFOSCQU2/4J9ra+JxmYooXTtsjHkd7cWRuXOzwf1XutFdtWSmybICwbVVO73VHN8WNm0Z7XtcP+hPTe7eFiid29dsaeOJlo1RXbj8tX7WRLS2Jbqznpa8YaAuvIYTmxrkYv582/UsPwzk5IJDDYCYkEBjshkcBgJyQSGOyERAKDnZBIKFR6+90gh7SSU43xMqE8XOmtGi6KmVbtrLcVtS+DyevOPLH7tpWTsFS2ltqLVUvs7LXFqj3v8tQ101Y1JLbUuc/VajmzKV0pON9zvZnwzk5IJDDYCYkEBjshkcBgJyQSGOyEREKhu/EKQLfAruSmk6NLTzPUauEkEwBIlxfC42q/rs+t2g9gaj68uw8AtcTejYdRx225ap+rmtg17cZn7LZcU3O2LbUSihL70k/t5XV34/M+1ZInoSuHksM7OyGRwGAnJBIY7IREAoOdkEhgsBMSCQx2QiJhXelNRG4B8D0A+1EvznVSVb8lIo8A+AKAK9mfPqyqT697xi2uvG22ipb34a6t2ZLXysqyfb61cALKitr13S5P24kki6t27TdJnJZdtbBt+npYGgSAV14fNW2vn79k2ladyzgphf2o5mitBPitvhKnbZQnlZkJUbnbm4VpRGevAviKqp4WkW0AXhCRZzLbN1X1HzZ8VkJI4TTS620cwHj283UROQfgYKsdI4RsLhv6n11EhgDcBeD5bOhBETkjIo+JyK5N9o0Qsok0HOwi0gfgCQBfVtU5AN8GcBuAY6jf+b9uzDshIiMiMrK8YLfJJYS0loaCXepNv58A8H1V/TEAqOqEqtZUNQXwHQB3h+aq6klVHVbV4a7ebZvlNyFkg6wb7FL/lP6jAM6p6jduGB+84c8+BeDs5rtHCNksGtmNvwfA5wG8LCIvZmMPA/iciBxDXV0aBfDFlnh4U+PUY3My21ZWbVkuQVhqml2yJbSJ6TnT5vkoXnqYUSfv8uRVc8rliSumbSm1ZT4pOdl3hvvi1MKTkiNrpY4c5naUclpKGbbUzWyzjmfPaWQ3/mcIL9n6mjohZMvAT9AREgkMdkIigcFOSCQw2AmJBAY7IZFw07Z/ylXED5tfH1IcKURgS1eJly/nPLaahJ/SqVk7s23JkfK8zDb1ZCij0OOKIykm4mTROTZxMtgSy+S10PKW3nle3HZejo9q2PyaksYcZwbv7IREAoOdkEhgsBMSCQx2QiKBwU5IJDDYCYmEwqW3onq95ZXecp3LsZWcx9vpvNR2VCq2sWz3RJtfDktbEzMz5hwxM6gAdXqi1Vw5LPy4vYKNXtKY5OyxlpqyVr7ikImXvebIa16vPfN8zhyz4KQnQ9oeEEJuJhjshEQCg52QSGCwExIJDHZCIoHBTkgkFCu9ab6+VkXKaHlIxJZjOsu27xW1pasrM3YRyFWn19tyNbyO8wv2HHgSmiNs+X3xwlYt+Lm0rjeryKM3p27z5nmZbd4xNzYOeBK2IxvahyOE3Eww2AmJBAY7IZHAYCckEhjshETCurvxItIF4DkAndnf/5uqflVE+gH8CMAQ6u2fPqOqdrYFAEDNumVbfMPdpaR2XTVds9suLVVt28WpVdN22amflhgLuebUi0udxfcTl7bGk+bvdBuqQI45zdlMUy7FIE/ANHJnXwHwx6r6QdTbMx8XkQ8DeAjAs6p6FMCz2e+EkC3KusGudeazXyvZlwK4D8CpbPwUgE+2xENCyKbQaH/2UtbBdRLAM6r6PIB9qjoOANn3va1zkxDSLA0Fu6rWVPUYgEMA7haROxs9gYicEJERERlZXphffwIhpCVsaDdeVa8B+B8AxwFMiMggAGTfJ405J1V1WFWHu3r7mnSXEJKXdYNdRAZEZGf2czeAPwHwawBPAbg/+7P7ATzZKicJIc3TSCLMIIBTIlJC/cXhcVX9DxH5OYDHReQBAG8B+HQjJ8yTCGO16vESZNxWPA55km685Ig0dWQ5JwGlmnTYNu81OrXkPK8+Wj7pzWuTtNXxrg9P8ko9CdNZD29enms1z5x1g11VzwC4KzB+FcBHN3xGQkhb4CfoCIkEBjshkcBgJyQSGOyERAKDnZBIkLwSVa6TiVwBcD77dQ+AqcJObkM/3gn9eCe/a37cqqoDIUOhwf6OE4uMqOpwW05OP+hHhH7wbTwhkcBgJyQS2hnsJ9t47huhH++EfryTm8aPtv3PTggpFr6NJyQS2hLsInJcRH4jIq+LSNtq14nIqIi8LCIvishIged9TEQmReTsDWP9IvKMiLyWfd/VJj8eEZGL2Zq8KCIfL8CPW0Tkv0XknIj8SkT+PBsvdE0cPwpdExHpEpH/FZGXMj/+Jhtvbj1UtdAvACUAbwB4D4AOAC8BuL1oPzJfRgHsacN5PwLgQwDO3jD2dwAeyn5+CMDftsmPRwD8RcHrMQjgQ9nP2wC8CuD2otfE8aPQNUE9H7kv+7kC4HkAH252PdpxZ78bwOuq+qaqrgL4IerFK6NBVZ8DMP2u4cILeBp+FI6qjqvq6ezn6wDOATiIgtfE8aNQtM6mF3ltR7AfBHDhht/H0IYFzVAAPxWRF0TkRJt8eJutVMDzQRE5k73Nb/m/EzciIkOo109oa1HTd/kBFLwmrSjy2o5gD5VFaZckcI+qfgjAnwH4koh8pE1+bCW+DeA21HsEjAP4elEnFpE+AE8A+LKq2j2ri/ej8DXRJoq8WrQj2McA3HLD74cAXGqDH1DVS9n3SQA/Qf1fjHbRUAHPVqOqE9mFlgL4DgpaExGpoB5g31fVH2fDha9JyI92rUl27g0XebVoR7D/AsBRETkiIh0APot68cpCEZFeEdn29s8APgbgrD+rpWyJAp5vX0wZn0IBayL1wn+PAjinqt+4wVTomlh+FL0mLSvyWtQO47t2Gz+O+k7nGwD+qk0+vAd1JeAlAL8q0g8AP0D97eAa6u90HgCwG/U2Wq9l3/vb5Me/AHgZwJns4hoswI8/RP1fuTMAXsy+Pl70mjh+FLomAD4A4JfZ+c4C+OtsvKn14CfoCIkEfoKOkEhgsBMSCQx2QiKBwU5IJDDYCYkEBjshkcBgJyQSGOyERML/A8g9lZtHlZrGAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.imshow(X_test[10])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "HXiuZulIguyf"
   },
   "source": [
    "## Stage 4: Building a Convolutional neural network"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "ZFTetk8ngy0f"
   },
   "source": [
    "### Defining the model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "1TR0JGP5gq2i"
   },
   "outputs": [],
   "source": [
    "model = tf.keras.models.Sequential()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "j92d4FE0hTZV"
   },
   "source": [
    "### Adding the first CNN Layer\n",
    "\n",
    "CNN layer hyper-parameters:\n",
    "- filters: 32\n",
    "- kernel_size:3\n",
    "- padding: same\n",
    "- activation: relu\n",
    "- input_shape: (32, 32, 3)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "LSkL1iOvg_dE"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Conv2D(filters=32, kernel_size=3, padding=\"same\", activation=\"relu\", input_shape=[32, 32, 3]))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "gfRAaRmWiSlZ"
   },
   "source": [
    "### Adding the second CNN Layer and max pool layer\n",
    "\n",
    "CNN layer hyper-parameters:\n",
    "- filters: 32\n",
    "- kernel_size:3\n",
    "- padding: same\n",
    "- activation: relu\n",
    "\n",
    "MaxPool layer hyper-parameters:\n",
    "- pool_size: 2\n",
    "- strides: 2\n",
    "- padding: valid"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "sSl7Es5yidMp"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Conv2D(filters=32, kernel_size=3, padding=\"same\", activation=\"relu\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "wmP9h5wliAR6"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.MaxPool2D(pool_size=2, strides=2, padding='valid'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "wd8ERDyvin-0"
   },
   "source": [
    "### Adding the third CNN Layer\n",
    "\n",
    "CNN layer hyper-parameters:\n",
    "\n",
    "    filters: 64\n",
    "    kernel_size:3\n",
    "    padding: same\n",
    "    activation: relu\n",
    "    input_shape: (32, 32, 3)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "i9HWy6aFixEw"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Conv2D(filters=64, kernel_size=3, padding=\"same\", activation=\"relu\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "O55kyOQGi44V"
   },
   "source": [
    "###  Adding the fourth CNN Layer and max pool layer\n",
    "\n",
    "CNN layer hyper-parameters:\n",
    "\n",
    "    filters: 64\n",
    "    kernel_size:3\n",
    "    padding: same\n",
    "    activation: relu\n",
    "\n",
    "MaxPool layer hyper-parameters:\n",
    "\n",
    "    pool_size: 2\n",
    "    strides: 2\n",
    "    padding: valid\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "5b7vAuhjjCF2"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Conv2D(filters=64, kernel_size=3, padding=\"same\", activation=\"relu\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "oc493G2BjFhg"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.MaxPool2D(pool_size=2, strides=2, padding='valid'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "-hGnR3aXjKbZ"
   },
   "source": [
    "### Adding the Flatten layer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "QLzu2cCVjI5Z"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Flatten())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "GpeRUvVWjR1W"
   },
   "source": [
    "### Adding the first Dense layer\n",
    "\n",
    "Dense layer hyper-parameters:\n",
    "- units/neurons: 128\n",
    "- activation: relu"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "FWzYY8kKjhnZ"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Dense(units=128, activation='relu'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "UaakKTqRjrkF"
   },
   "source": [
    "### Adding the second Dense layer (output layer)\n",
    "\n",
    "Dense layer hyper-parameters:\n",
    "\n",
    " - units/neurons: 10 (number of classes)\n",
    " - activation: softmax\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "4t-JmzRvjnBj"
   },
   "outputs": [],
   "source": [
    "model.add(tf.keras.layers.Dense(units=10, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 503
    },
    "colab_type": "code",
    "id": "aRr3bCU-ti06",
    "outputId": "b6356717-84cf-4494-bb93-b511ea0d90cb"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "conv2d (Conv2D)              (None, 32, 32, 32)        896       \n",
      "_________________________________________________________________\n",
      "conv2d_1 (Conv2D)            (None, 32, 32, 32)        9248      \n",
      "_________________________________________________________________\n",
      "max_pooling2d (MaxPooling2D) (None, 16, 16, 32)        0         \n",
      "_________________________________________________________________\n",
      "conv2d_2 (Conv2D)            (None, 16, 16, 64)        18496     \n",
      "_________________________________________________________________\n",
      "conv2d_3 (Conv2D)            (None, 16, 16, 64)        36928     \n",
      "_________________________________________________________________\n",
      "max_pooling2d_1 (MaxPooling2 (None, 8, 8, 64)          0         \n",
      "_________________________________________________________________\n",
      "flatten (Flatten)            (None, 4096)              0         \n",
      "_________________________________________________________________\n",
      "dense (Dense)                (None, 128)               524416    \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 10)                1290      \n",
      "=================================================================\n",
      "Total params: 591,274\n",
      "Trainable params: 591,274\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "DYgvbNihtprw"
   },
   "source": [
    "### Compiling the model\n",
    "\n",
    "#### sparse_categorical_accuracy\n",
    "sparse_categorical_accuracy checks to see if the maximal true value is equal to the index of the maximal predicted value.\n",
    "\n",
    "https://stackoverflow.com/questions/44477489/keras-difference-between-categorical-accuracy-and-sparse-categorical-accuracy "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "oYHELxz4tsa-"
   },
   "outputs": [],
   "source": [
    "model.compile(loss=\"sparse_categorical_crossentropy\",\n",
    "              optimizer=\"Adam\", metrics=[\"sparse_categorical_accuracy\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "Gox3SmwUtwgX"
   },
   "source": [
    "### Training the model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 617
    },
    "colab_type": "code",
    "id": "D3MHvRYKe9fN",
    "outputId": "84f731da-89c7-4536-86a4-95632fe1263c"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 50000 samples\n",
      "Epoch 1/15\n",
      "50000/50000 [==============================] - 189s 4ms/sample - loss: 1.3620 - sparse_categorical_accuracy: 0.5085\n",
      "Epoch 2/15\n",
      "50000/50000 [==============================] - 164s 3ms/sample - loss: 0.9006 - sparse_categorical_accuracy: 0.6830\n",
      "Epoch 3/15\n",
      "50000/50000 [==============================] - 163s 3ms/sample - loss: 0.7188 - sparse_categorical_accuracy: 0.7469\n",
      "Epoch 4/15\n",
      "50000/50000 [==============================] - 164s 3ms/sample - loss: 0.5910 - sparse_categorical_accuracy: 0.7927\n",
      "Epoch 5/15\n",
      "50000/50000 [==============================] - 159s 3ms/sample - loss: 0.4903 - sparse_categorical_accuracy: 0.8277\n",
      "Epoch 6/15\n",
      "50000/50000 [==============================] - 162s 3ms/sample - loss: 0.3946 - sparse_categorical_accuracy: 0.8597\n",
      "Epoch 7/15\n",
      "50000/50000 [==============================] - 161s 3ms/sample - loss: 0.3135 - sparse_categorical_accuracy: 0.8889\n",
      "Epoch 8/15\n",
      "50000/50000 [==============================] - 162s 3ms/sample - loss: 0.2453 - sparse_categorical_accuracy: 0.9138\n",
      "Epoch 9/15\n",
      "50000/50000 [==============================] - 163s 3ms/sample - loss: 0.1973 - sparse_categorical_accuracy: 0.9298\n",
      "Epoch 10/15\n",
      "50000/50000 [==============================] - 176s 4ms/sample - loss: 0.1697 - sparse_categorical_accuracy: 0.9392\n",
      "Epoch 11/15\n",
      "50000/50000 [==============================] - 184s 4ms/sample - loss: 0.1392 - sparse_categorical_accuracy: 0.9503\n",
      "Epoch 12/15\n",
      "50000/50000 [==============================] - 179s 4ms/sample - loss: 0.1288 - sparse_categorical_accuracy: 0.9548\n",
      "Epoch 13/15\n",
      "50000/50000 [==============================] - 176s 4ms/sample - loss: 0.1112 - sparse_categorical_accuracy: 0.9613\n",
      "Epoch 14/15\n",
      "50000/50000 [==============================] - 182s 4ms/sample - loss: 0.1102 - sparse_categorical_accuracy: 0.9625\n",
      "Epoch 15/15\n",
      "50000/50000 [==============================] - 176s 4ms/sample - loss: 0.1020 - sparse_categorical_accuracy: 0.9645\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<tensorflow.python.keras.callbacks.History at 0x202e83d5f08>"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X_train, y_train, epochs=15)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "colab_type": "text",
    "id": "D8C7Pm0NuOrJ"
   },
   "source": [
    "### Model evaluation and prediction"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 56
    },
    "colab_type": "code",
    "id": "Z9r8TtNet3D0",
    "outputId": "dd8dc72e-0bf6-4d31-8e91-6b20faa6f87a"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "10000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 6s 619us/sample - loss: 2.0520 - sparse_categorical_accuracy: 0.7283\n"
     ]
    }
   ],
   "source": [
    "test_loss, test_accuracy = model.evaluate(X_test, y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 36
    },
    "colab_type": "code",
    "id": "0rpAPpfzuV0p",
    "outputId": "bcb4f580-5fa9-458b-93b5-9140ffc29810"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Test accuracy: 0.7282999753952026\n"
     ]
    }
   ],
   "source": [
    "print(\"Test accuracy: {}\".format(test_accuracy))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 0,
   "metadata": {
    "colab": {},
    "colab_type": "code",
    "id": "VSKfLqi5urEh"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "collapsed_sections": [],
   "name": "HOMEWORK SOLUTION: Building a Convolutional Neural Network in TensorFlow 2.0 .ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python [conda env:root] *",
   "language": "python",
   "name": "conda-root-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}