SN4.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Sieci Neuronowe - Laboratorium 4. Wybór funkcji kosztu"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Regresja czy klasyfikacja?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "#### Regresja - błąd średniokwadratowy\n",
    "Przyjmijmy, że mamy regresję jednowymiarową (wtedy $f(X_i|\\theta), Y_i \\in \\mathbb{R}$) lub wielowymiarową (wtedy $f(X_i|\\theta), Y_i \\in \\mathbb{R}^m$)\n",
    "$$\n",
    "\\mathcal{L}(\\theta| X, Y) = \\tfrac{1}{N} \\sum_{i=1}^N \\| f(X_i|\\theta) - Y_i \\|_2^2 \n",
    "$$\n",
    "\n",
    "\n",
    "    theanets.Regresor\n",
    "\n",
    "\n",
    "#### Klasyfikacja - błąd entropii krzyżowej (błąd logistyczny)\n",
    "Przyjmijmy że mamy `m` klas i `m` neuronów wyjściowych\n",
    "$$\n",
    "\\mathcal{L}(\\theta| X, Y) = \\tfrac{1}{N} \\sum_{i=1}^N -\\log \\frac{\\exp(f_{Y_i}(X_i|\\theta))}{\\sum_{k=1}^m \\exp(f_k(X_i|\\theta))}\n",
    "$$\n",
    "\n",
    "    theanets.Classifer\n",
    "    \n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Pytania do dyskusji:\n",
    "\n",
    "* Dlaczego te dwie funkcje kosztu są najbardziej popularne?\n",
    "* Czy patrząc na nie przychodzi wam na myśl jakaś prosta inna funkcja kosztu? Jaka? Jakie miałaby cechy?\n",
    "* Jaka jest różnica pomiędzy tymi kosztami? W ogólności? A dla problemu binarnego?\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Zadania\n",
    "\n",
    "Stwórz trzy architektury i przetestuj je w problemie rozpoznawania pisma:\n",
    "\n",
    "* Model regresji z jednym neuronem wyjściowem\n",
    "* Model regresji z `m` neuronami wyjściowymi (kodowanie klas one-hot-encoding)\n",
    "* Model klasyfikacji  z `m` neuronami wyjściowymi (kodowanie klas one-hot-encoding)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Analiza procesu uczenia"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Przy użyciu `theanets` oraz naszego zbioru danych (możesz zredukować go do mniejszej liczby przykładów żeby zwiększyć szybkość działania) przeprowadź eksperyment, w którym po każdej iteracji procesu uczenia sieci neuronowej sprawdzasz jaki wynik osiąga ona na zbiorze uczącym oraz jaki na zbiorze testującym. Zaprezentuj wynik tego eksperymentu w postaci wykresów (zależności czasu od accuracy). Najlepiej twórz wykres co określoną liczbę iteracji żeby powstawał on na bieżąco."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from sklearn.metrics import accuracy_score\n",
    "\n",
    "# exp = ...\n",
    "\n",
    "for iters, train, valid in enumerate(exp.itertrain((Xtrain, ytrain), optimize='sgd', \n",
    "                                                    learning_rate=0.1, momentum=0.1,\n",
    "                                                    patience=100000)):\n",
    "        print iters\n",
    "        tr = 1.0 - accuracy_score(ytrain, exp.network.classify(Xtrain), normalize=True)\n",
    "        te = 1.0 - accuracy_score(ytest, exp.network.classify(Xtest), normalize=True)\n",
    "        print iters, \"error on training set: %7.4f\" % tr\n",
    "        print iters, \"error on testing set: %7.4f\" % te"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Pytania analityczne / do dyskusji\n",
    "\n",
    "* Co się dzieje gdy zmienisz wielkość warstwy ukrytej na np. `10`? A jeśli na `2000`? \n",
    "* Jak wyglądają te wykresy dla modeli regresji i klasyfikacji? \n",
    "* Skąd takie zależności? \n",
    "* Czy potrafisz wydzielić jakieś sekcje w obserwowanych wykresach?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Przykładowe rezultaty\n",
    "\n",
    "\n",
    "#### Regresja 10 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/10reg.png\" width=\"600\">\n",
    "\n",
    "#### Klasyfikacja 10 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/10cla.png\" width=\"600\">\n",
    "\n",
    "#### Regresja 100 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/100reg.png\" width=\"600\">\n",
    "\n",
    "#### Klasyfikacja 100 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/100cla.png\" width=\"600\">\n",
    "\n",
    "#### Regresja 1000 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/1000reg.png\" width=\"600\">\n",
    "\n",
    "#### Klasyfikacja 1000 neuronów\n",
    "\n",
    "<img src=\"files/SN4_img/1000cla.png\" width=\"600\">"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}