Das VS2Lab dient zur praktischen Veranschaulichung von Prinzipien verteilter Softwaresysteme sowie zur Einführung in deren softwaretechnische Konstruktion.
Die Laborthemen orientieren sich an der inhaltlichen Struktur der Vorlesung VS2. Die Laborarbeit beinhaltet zunächst die Analyse gegebener Beispiele für einzelne Themenbereiche. Basierend darauf werden eigenständige Lösungen entwickelt.
Neben den Pflichtaufgaben kann durch Bearbeitung einer Zusatzaufgabe ein Bonus für die Modulklausur erworben werden.
Laboraufgaben können in kleinen Teams bis maximal 3 Personen bearbeitet werden. Die Abnahme erfolgt bei den Betreuern im Kurs (grundsätzlich nur für anwesende Teammitglieder) und per Upload im ILIAS.
Hinweis:
Das Labor Repository ist zur Zeit nicht vollständig und wird über das Semester laufend aktualisiert. Es empfiehlt sich daher, das Labor als Git Repository zu belassen und regelmäßig per $ git pull aktuell zu halten.
Das Labor wird zur Zeit nicht aktiv in den IWI Rechner-Pools unterstützt. Es wird daher empfohlen, die Laborplattform auf dem Laptop einzurichten. Dazu gehört:
- Git Versionsverwaltung
- Laufzeitplattform mit Python und Redis
- Entwicklungs- und Arbeitsumgebung
Alle Komponenten lassen sich auf den gängigen Plattformen trivial einfach installieren und sind z.T. schon standardmäßig vorhanden. Einige Tipps zur Installation folgen unten.
Das Labor nutz die Git Versionsverwaltung und den GitLab Dienst zur Bereitstellung der Labordateien als git Repository. Git muss auf dem verwendeten Rechner verfügbar sein.
Wenn git vorhanden ist, dann kopieren Sie das Labor Repository wie folgt (aus dem lokalen Netz der Hochschule oder über VPN):
git clone https://IWI-I-gitlab-1.HS-Karlsruhe.DE:2443/zich0001/vs2lab.git
Das Labor basiert auf Python und setzt (ab Aufgabe 2) eine Redis Installation voraus.
Die Beispiele und Aufgaben sind weitgehend in Python 3 (~3.6) geschrieben.
Python ist eine pragmatische und weit verbreitete objektorientierte (u.a.) Skriptsprache mit dynamischer Typisierung.
Python ist gut dokumentiert und einfach zu erlernen. Es ist für alle gängigen Plattformen frei verfügbar.
Für das Labor muss Python lokal verfügbar sein. Oft (vor allem bei Linux oder OSX) ist das schon der Fall. Sonst ist eine Installation erforderlich:
- Prüfen einer vorhandenen Python Version: ``$ python3 --version`
- Python Installer unter Python Downloads
- Alternativ über einen Package Manager in Linux (z.B. Ubuntu:
$ sudo apt-get install python3.6) oder MacOS (Homebrew;$ brew install python)
Verwendete Module sind u.a.
- os (miscellaneous operating system interfaces)
- socket (low-level networking interface)
- pickle (python object serialization)
- logging (logging facility for Python)
Die Pakete müssen nicht separat installiert werden. Wir binden sie bei der Einrichtung der Python Umgebung ein (siehe unten).
Redis ist ein NOSQL Key-Value-Store.
- Allgemeine Informationen auf der Redis Website
Redis muss zunächst installiert werden:
- Installationsanleitung unter Redis Quickstart
Das Labor braucht für viele Teile eine laufende Redis Instanz. Der Redis Server wird wie folgt gestartet:
$ redis-server
Redis besitzt ein Command Line Interface (CLI) zur interaktiven Benutzung. In einer weiteren Shell kann damit der Redis Server beobachtet werden:
$ redis-cli
127.0.0.1:6379> monitor
OK
Zur Programmierung nutzen wir den redis-py Client für Python.
- Übersicht der API unter Redis Command Reference
Das Paket muss nicht separat installiert werden. Wir binden es bei der Einrichtung der Python Umgebung ein (siehe unten).
Die verwendeten Python Packages können per pip installiert werden. pip ist der integrierte Paketmanager des Python Laufzeitsystems. Bei Bedarf können Details im Tutorium nachgelesen werden:
Das Laborprojekt verwendet pip nicht direkt. Module sollen nämlich nicht im gesamten System sondern nur in einem isolierten Bereich für unser Labor installiert werden (unterschiedliche Projekte brauchen oft unterschiedliche Versionen gleicher Module). In Python benutzt man dafür virtuelle Umgebungen, die mit virtualenv erstellt werden. Bei Bedarf können Details im Tutorium nachgelesen werden:
Das Laborprojekt verwendet auch virtualenv nicht direkt. Stattdessen wurde pipenv verwendet. Dadurch wird die Erstellung virtueller Umgebungen und die Installation von Modulen automatisch kombiniert und ist viel einfacher. pipenv muss ggf. installiert werden. Folgen Sie dieser Anleitung:
pipenv erstellt bei der Nutzung eine Liste mit verwendeten Modulen (Pipfile, bzw. Pipfile.lock), die z.B. im Git Repository gut geteilt werden kann. Die Module dieser Liste können mit pipenv automatisch installiert werden. Dadurch kann man die Module des Labors auf dem eigenen Rechner mit nur einem Befehl installieren:
$ cd vs2lab # angenommen hier liegt das vs2lab Repo
$ pipenv install
Bei Bedarf können Details in den pipenv Docs nachgelesen werden:
Es wird keine explizite Entwicklungsumgebung (IDE) für Python Skripte vorgegeben (und auch nicht dringend benötigt - es reicht im Prinzip ein Editor). Einige Möglichkeiten sind:
- PyCharm (auch im Pool LKIT vorhanden), hat u.a. einen sehr nützlichen Debugger.
- Atom (auch im Pool LKIT vorhanden)
- Spyder (Teil der Anaconda Distribution, s.u.)
Bei der Arbeit mit Python wird nicht immer streng zwischen Entwicklungs- und Laufzeit von Systemen unterschieden. Entwickler können Teile des Systems wie Funktionen oder Objekte schon während der Entwicklung interaktiv ausprobieren, ohne ein explizites 'Hauptprogramm' ablaufen zu lassen. Auch Anwender können die Funktionen und Objekte von Python Systemen direkt aufrufen, auch ohne klassische GUI. Dies ist besonders im Bereich von Data Science Systemen üblich.
IPython ist ein Command Line Interpreter (CLI) mit Read-Eval-Print-Loop (REPL) für Python. Damit wird die interaktive Arbeit mit Python Systemen in besonders leistungsfähiger und komfortabler Art möglich. Python Befehle werden hier interpretiert und deren Ergebnis auf dem Bildschirm ausgegeben. Dies kann neben Text auch eine grafische Ausgabe (z.B. Diagramme) sein und innerhalb von GUI Anwendungen oder Webseiten eingebettet werden. Mit IPython ist zudem die interaktive Arbeit auf Cluster Systemen möglich. Näheres über IPython findet sich hier:
Im VS2 Labor verwenden wir den enormen Umfang der IPython Features kaum. Wir ersetzen damit lediglich die GUI-Ebene der von uns erstellten verteilten Systeme. Alle diese Systeme werden entweder als Skripte ausgeführt oder über eine IPython Erweiterung direkt interaktiv benutzt. Genauer verwenden wir dazu Jupyter Notebooks. IPython selber braucht deshalb auch nicht installiert werden.
Jupyter ermöglicht die interaktive Nutzung von Programmierumgebungen verschiedener Art im Web Browser.
Im Browser können sogenannte Notebooks erstellt werden. Ein Notebook ist eine Mischung von Text (Markdown) und Code. Damit kann die interaktive Nutzung von Python Code erklärt werden. Näheres dazu findet sich unter folgendem Link:
Im Labor nutzen wir teilweise Jupyter Notebooks zur Erklärung der Beispiele oder zur Einreichung einer Aufgabe.
Jupyter wird im VS2Lab Repository automatisch installiert, wenn per pipenv install die Abhängigkeiten installiert werden. Sie starten den Jupyter notebook Server wie folgt:
$ cd vs2lab # angenommen hier liegt das vs2lab Repo
$ pipenv run jupiter notebook
Es sollte sich ein Browserfenster mit einer Übersicht der Dateien im Ordner öffnen. Stoppen Sie den Server bei Bedarf mit ctrl-c.
Für Python existieren auch komplette Distributionen, die verschiedene Tools beinhalten, z.B.:
Anaconda vereinfacht die Installation und beinhaltet z.B. schon die Spyder IDE und Jupiter Notebooks. Zudem verwendet Anaconda eine eigene Lösung für virtuelle Umgebungen in Python. Es zielt vor allem auf wissenschaftliche Anwendungen von Python. Das VS2 Labor ist nicht auf Anaconda ausgelegt, sollte aber darauf übertragbar sein.
GIT
- Bei Problemen mit dem selbstsignierten SSL Zertifikat des GitLab Servers kann dessen Verifikation wie folgt umgangen werden:
$ git -c http.sslVerify=false clone https://IWI-I-gitlab-1.HS-Karlsruhe.DE:2443/zich0001/vs2lab.git
- Bei Problemen mit der HTTPS Verbindung kann das Repository auch per
ssh'gecloned' werden. Hierzu benögen Sie ein Benutzerkonto auf dem GitLab Server und müssen dort einen Schlüssel hinterlegen. Bitte wenden Sie sich dazu bei Bedarf an einen Dozenten.
pipenv
- Für alle
pipenvAufrufe sollten Sie sich im Wurzelverzeichnis (vs2lab) befinden. - Falls die Einrichtung der Umgebung per
pipenv installzu Fehlern führt, versuchen Sie, die DateiPipfile.lockzu löschen. - Als weitere Möglichkeit können Sie Packages einzeln installieren per
pipenv install <modul>(Package Namen stehen im Pipfile)
... to be continued.
Die Aufgaben sind in den Unterverzeichnissen des Repositories beschrieben.