3_11.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Aufgabe 16\n",
    "\n",
    "_Nach unserer Vorarbeit können wir jetzt endlich alle Informationen über die Hunde nutzen, um den Gesundheitszustand neuer Hunde zu beurteilen: Dazu erweiterst du den Code zu einem multivariaten Modell ([Wikipedia](https://de.wikipedia.org/wiki/Multivariate_Verfahren))._\n",
    "\n",
    "_Was das bedeutet? Unsere Daten liegen in einer Matrix vor. Jeder Eintrag in der Matrix entspricht einem Merkmal eines Hundes. Die Daten jedes Hundes sind in einer Zeile gespeichert. In der ersten Zeile findest du somit alle Informationen über den ersten Hund, Oskar. Jede Spalte enthält folglich die Werte aller Hunde bezüglich eines Merkmals. In der letzten Spalte siehst du zum Beispiel, ob ein Hund krank oder gesund ist._\n",
    "\n",
    "_Wir wollen nun alle Daten von allen Hunden gleichzeitig verarbeiten. Dazu erinnern wir uns an die Vektorschreibweise. Wir können für jedes Merkmal, also für jede Spalte $$i$$, ein Gewicht $$w_i$$ verwenden. Diese Gewichte speichern wir in einem Vektor $$\\[w_0, w_1, ..., w_13\\]$$. Diesen Vektor können wir nun auf jeden einzelnen Hund, also auf jede einzelne Zeile, anwenden. Die Gewichte werden häufig auch Parameter genannt._\n",
    "\n",
    "_Lass uns dafür zuerst die bestehende Modellfunktion h(x, w) an eine multivariate Version anpassen: Wir müssen dafür jedes Merkmal mit seinem Parameter multiplizieren und dann alle Ergebnisse zusammenfassen. Ein Tipp: Anstatt eine for-Schleife zu verwenden und diese für alle Datenpunkte zu berechnen, können wir unsere Matrix mit unserem Parametervektor multiplizieren. Die Funktionen von Numpy erleichtern das – versuche es doch mal im folgenden Codeausschnitt einzubauen._\n",
    "\n",
    "_Wir empfehlen dir dich auf dieser Seite über Matrix-Berechnungen mit NumPy zu informieren:_ [Numpy](https://www.python-kurs.eu/matrix_arithmetik.php)\n",
    "\n",
    "_Weil wir jetzt mehrere Parameter w haben, müssen wir alle Parameter bei jedem Schritt des Gradientenabstiegs einzeln aktualisieren. Als nächstes musst du das Gradientenverfahren deshalb für mehrere Parameter implementieren. Das gelingt entweder mit einer for-Schleife oder mit einer vektorisierten Implementierung, wie bei der Modellfunktion h. Für die vektorisierte Version des Gradienten der Gewichte kannst du folgende Formel verwenden:_\n",
    "\n",
    "$$\\frac{dh}{dW} = (h(X, w) - y)^\\top X$$\n",
    "\n",
    "_Jetzt deine Aufgabe: Erweitere das Gradientenverfahren auf alle Parameter!_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "# Daten laden\n",
    "D = np.load('data/train_data.npy')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def sigmoid(x):\n",
    "    s = ...\n",
    "    return s\n",
    "\n",
    "def h(X, w):\n",
    "    v = ...\n",
    "    return v\n",
    "\n",
    "def derivative(X, Y, w):\n",
    "    d = ...\n",
    "    return d\n",
    "\n",
    "def step(X, w, alpha):\n",
    "    ...\n",
    "    w_new = ...\n",
    "    return w_new"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}