Home | deutsch  | Legals | Sitemap | KIT

Projektpraktikum: Maschinelles Lernen - Anwendungen

Projektpraktikum: Maschinelles Lernen - Anwendungen
type: Praktikum (P) links:
chair: Fakultät für Informatik
semester: SS 2012
lecturer: Prof. Dr. Rüdiger Dillmann
Prof. Dr.-Ing. Johann Marius Zöllner
sws: 4
lv-no.: 24906
information:

Ansprechpartner: Tobias Bär: baer@fzi.de

Anmeldung: per E-Mail

Vorbesprechungstermin:  Dienstag, 24.04.2012, 14:00 Uhr im im Laborgebäude der Kinderklinik, Geb. 50.21 im 2. OG, Raum 213 (Besprechungsraum).

Allgemeine Beschreibung

Das Praktikum soll die Anwendung von maschinellen Lernmethoden in konkreten, praktischen Umsetzungen aufzeigen. Ziel des Praktikums ist, dass die Teilnehmer in gemeinsamer Arbeit ein System zur Lösung eines Problems aus einem der Bereiche Programmieren durch Vormachen (PdV)/Robotik und Kognitive Automobile unter Verwendung eines oder mehrer ML-Verfahren mit vorhandenen Bibliotheken aufbauen, mit realen Daten eintrainieren und evaluieren.
Neben den wissenschaftlichen Zielen, die in der Untersuchung und Anwendung der ML-Methoden liegen, sollen auch die Aspekte projektspezifischer Teamarbeit gefestigt werden:

  • Problembeschreibung, Spezifikation
  • Entwicklung von Konzepten und Lösungsstrategien im Team
  • Evaluierung und Aufbereitung der Ergebnisse       
  • Zusammenfassung der Ergebnisse und Erkenntnisse in einem wissenschaftlichen Vortrag

Projektszenarien

Das PdV-Projekt beschäftigt sich mit dem Problem, korrespondierende Szenenelemente zu finden zwischen Vorführung und Ausführung. Im Automobil-Projekt soll die nächste Aktion des beobachteten Fahrers vorhergesagt werden, ähnlich wie es auch ein Beifahrer tut.

Szenario im Bereich Kognitive Automobile
Ein menschlicher Beifahrer kann sehr gut einschätzen, was die nächste Aktion des Fahrers sein wird. Dazu kombiniert er Wissen über die Umwelt (wie werden sich die Autos, Fußgänger, Fahrradfahrer, etc in naher Zukunft Verhalten?) mit eigenen Erfahrungen und einer persönlichen Einschätzung des Fahrers.

Kann eine so komplexe Aufgabe auch von einer Maschine bewältigt werden?
Über den Audi Q5 Versuchsträger des FZI können über eine Vielzahl von Sensoren verschiedene Informationen über den Fahrer, das Fahrzeug und den momentanen Verkehrskontext erfasst werden.

Zur Beobachtung des Fahrers steht eine Blickrichtungserkennung mittels Kinect Kamera zur Verfügung. Informationen über die Umwelt können über Kameras und Laserscanner gewonnen werden.

Ziel des Praktikums ist ein geeignetes Lernverfahren umzusetzen, welches aus diesen Informationen die nächste Aktion des Fahrers (z.B. Abbiegen, Überholen, Einfädeln, ...) bestimmt.

Szenario im Bereich Programmieren durch Vormachen
Korrespondenzklassifikation von geometrischen Szenenelementen 
in realen Perzeptionsdaten bei Programmieren durch Vormachen

Motivation
Beim Programmieren durch Vormachen werden natürliche Handhabungen des Menschen durch Sensorsysteme, wie etwa Datenhandschuhe, marker-basiertes Tracking und visuelle Tiefensensoren beobachtet. Aus den Beobachtungen wird die Szenengeometrie und die Bewegung des Menschen extrahiert. Anschließend kann über verschiedene Analyseverfahren eine ausführbare Repräsentation für den Roboter erzeugt werden. Der Roboter ist dann in der Lage, diese Handlung flexibel in ähnlichen Szenen durchzuführen.

Problemstellung
Die ausführbare Repräsentation ist in Relation zu geometrischen Elementen der Szene definiert. Die Szenen mit ihren enthaltenden Objekttypen und Objektposen sind zwischen Demonstration und Ausführung ähnlich, unterscheiden sich aber immer zumindest etwas.
Die Herausforderung ist nun, in realen Sensordaten von gleichen Sensoren, welche jeweils die Demonstrationsszene und die Ausführungsszene beobachten, korrespondierende Szenenelemente zu finden.

Aufgabe
Im Rahmen des Programmieren durch Vormachen am KIT wird der Kinect Sensor als aktuell bester Tiefendatensensor zur Szenenbeobachtung benutzt. Dieser Sensor liefert ein Farbbild und vor allem eine dichte 3D Punktwolke in 640x480 mit 30Hz.
Auf Basis dieser Sensordaten und unter Nutzung der frei verfügbaren „Point Cloud Library“ (PCL) des Robot Operation System (ROS) soll ein Meshing (Triangulation der Punktwolke in ein Dreiecksnetz) und eine Korrespondenzanalyse zwischen ähnlichen Szenen untersucht werden. Im Rahmen des Praktikums ist also die geschickte Kombination von existierenden Methoden, wie etwa

    Deskriptorberechnung: pcl::NormaLEstimation, pcl::FPFHEstimation
    Feature Suche in der Szene und Berechnung von Featurekorrespondenzen: pcl::SIFTKeypoint, pcl::CorrespondenceEstimation
    Das Triangulieren von Punktwolken zu Netzen: pcl::GreedyProjectionTriangulation

zu untersuchen. Anschließend sind auf beispielhaften Szenen mit Verfahren des maschinellen Lernens Elemente in Ausführungsszenen als Typen von Elementklassen in Demonstrationsszenen zu klassifizieren.

Es stehen mehrere Sensoren für das Praktikum zur Verfügung, so dass ungehindertes Experimentieren garantiert werden kann.

Wir erwarten...

Kenntnisse in Maschinellem Lernen, Robotik, Bildverarbeitung. Die Entwicklungen finden unter Linux auf Basis von C++  und ROS statt, entsprechende Kenntnisse sind hilfreich. Selbständiges Denken, Arbeiten, Motivation und Engagement setzen wir voraus.