Mathematische Grundlagen des maschinellen Lernens

Ankündigungstext der Vorlesung

Veranstaltungsart: Spezialvorlesung, 2-stuendig
Veranstalterin: Dr. Ulrike von Luxburg vom Max Planck Institut fuer Biologische Kybernetik
Zeit: Mi 12:30 -14 Uhr
Raum: Hoersaal M1, Mathebau, Morgenstelle
Turnus: unregelmaessig
Vorwissen: Vordiplom

English announcement, list of topics and references as pdf file.

Maschinelles Lernen beschaeftigt sich mit der Frage, wie ein Computer selbstaendig "lernen kann", bestimmte Aufgaben zu erfuellen. Die Idee ist, dass man einem Computer "Beispiele" dieser Aufgaben vorfuehrt, und er dann selbstaendig Regeln ableitet, nach denen er solche Aufgaben in Zukunft ausfuehren kann. Ein bekanntes Beispiel dafuer sind Spam Filter: wir moechten einen Spam Filter so trainieren, dass er Spam Emails erkennen kann. Dazu klassifizieren wir eine "Trainingsmenge" von Emails als "Spam" oder "Nicht Spam" und geben uebergeben sie dem Spam Filter. Dieser soll nun mit Hilfe eines "Lernalgorithmus" Regeln konstruieren, nach denen er zukuenftige Emails klassifizieren kann. Das Ziel ist natuerlich, dass der Filter nicht nur die emails aus der Trainingsmenge richtig klassifizieren kann; er soll auch fuer bisher noch ungesehene Emails zuverlaessig entscheiden koennen, ob es sich um Spam handelt oder nicht.

Im Gebiet des Machinellen Lernens wird untersucht, wie man solche Lernalgorithmen konstruieren kann und welche Erfolgsgarantien man anschliessend abgeben kann. Mathematisch kann man einen Lernalgorithmus oft so beschreiben, dass eine bestimmte Funktion geschaetzt werden soll. Im Beispiel des Spam Filters haben wir bestimmte "Stuetzstellen" der Funktion gegeben (unsere Trainings-Emails), und wollen daraus eine Funktion konstruieren, die auf dem Raum aller Emails definiert ist. Die Frage ist nun, wie man das so machen kann, dass der Gesamtklassifikationsfehler so klein wie moeglich ist. Erschwert wird das ganze dadurch, dass wir uns die Stuetzstellen oft nicht aussuchen koennen, sondern sie durch einen zufaelligen Mechanismus erzeugt werden.

In dieser Vorlesung werden wir verschiedene Lernalgorithmen kennen lernen. Der Schwerpunkt der Vorlesung liegt auf den mathematischen Grundlagen des maschinellen Lernens:

Welche Aufgaben kann man prinzipiell mit Hilfe des Maschinellen Lernens loesen, welche nicht?

Welche Annahmen muessen wir machen?

Welche Eigenschaften muss ein Lernalgorithmus haben, damit er "erfolgreich" ist?

Was fuer Garantien koennen wir ueber die Vorhersagen eines Lernalgorithmus treffen?

Wie gross muss die Trainingsmenge sein, damit wir eine bestimmte Vorhersagegenauigkeit erreichen koennen?

Um diese und aehnliche Fragen zu beantworten, benoetigen wir mathematische Methoden aus verschiedenen Gebieten: Wahrscheinlichkeitstheorie, Funktionalanalyis, Lineare Algebra, Optimierungstheorie. Als Vorwissen genuegt das Vordiplom, die Vorlesung setzt kein Spezialwissen voraus.

Maschinelles Lernen ist eine sehr junge und lebendige Disziplin, in der Wissenschaftler aus vielen verschiedenen Gebieten (Mathematik, Informatik, Physik, Biologie) taetig sind. In der Praxis wird maschinelles Lernen sehr viel verwendet, zum Beispiel in medizinischen, biologischen und industriellen Anwendungen. Aus diesem Grund richtet sich diese Vorlesung sowohl an Studierende, die einen Einblick in ein aktives Forschungsgebiet erhalten wollen, als auch an solche, die praxisrelevantes Wissen fuer Ihr spaeteres Berufsleben erwerben wollen.

Last modified: Wed Nov 14 17:40:30 CET 2007