251-0526-00L Statistical Learning Theory
| Semester | Frühjahrssemester 2009 |
| Dozierende | J. M. Buhmann |
| Periodizität | jährlich wiederkehrende Veranstaltung |
| Lehrsprache | Englisch |
Lehrveranstaltungen
| Nummer | Titel | Umfang | Dozierende | ||||
|---|---|---|---|---|---|---|---|
| 251-0526-00 V | Statistical Learning Theory | 2 Std. |
| J. M. Buhmann | |||
| 251-0526-00 U | Statistical Learning Theory | 1 Std. |
| J. M. Buhmann |
Katalogdaten
| Kurzbeschreibung | Die Vorlesung präsentiert fortgeschrittene Methoden des statistischen Lernens: PAC Lernen und statistische Lerntheorie; Variationsmethoden und Optimierung, insb. Entropiemaximierung, der Informationsflaschenhals, deterministisches und simuliertes Abkühlen; Gruppierung von vektoriellen Daten, Histogrammdaten und Ähnlichkeitsdaten; Modellselektion; Graphische Modelle; |
| Lernziel | Die Studierenden erhalten Einblick in aktuelle Methoden des statistischen Lernens. Die Grundlagen des Maschinellen Lernens werden vertieft und insbesondere die Theorie des statistischen Lernens diskutiert. |
| Inhalt | # Boosting: A state-of-the-art classification approach that is sometimes used as an alternative to SVMs in non-linear classification. # Theory of estimators: How can we measure the quality of a statistical estimator? We already discussed bias and variance of estimators very briefly, but the interesting part is yet to come. # Statistical learning theory: How can we measure the quality of a classifier? Can we give any guarantees for the prediction error? # Variational methods and optimization: We consider optimization approaches for problems where the optimizer is a probability distribution. Concepts we will discuss in this context include: * Maximum Entropy * Information Bottleneck * Deterministic Annealing # Clustering: The problem of sorting data into groups without using training samples. This requires a definition of ``similarity'' between data points and adequate optimization procedures. # Model selection: We have already discussed how to fit a model to a data set in ML I, which usually involved adjusting model parameters for a given type of model. Model selection refers to the question of how complex the chosen model should be. As we already know, simple and complex models both have advantages and drawbacks alike. # Reinforcement learning: The problem of learning through interaction with an environment which changes. To achieve optimal behavior, we have to base decisions not only on the current state of the environment, but also on how we expect it to develop in the future. |
| Skript | kein Skript, Vorlesungsfolien werden bereitgestellt |
| Literatur | Duda, Hart, Stork: Pattern Classification, Wiley Interscience, 2000. Hastie, Tibshirani, Friedman: The Elements of Statistical Learning, Springer, 2001. L. Devroye, L. Gyorfi, and G. Lugosi: A probabilistic theory of pattern recognition. Springer, New York, 1996 |
| Voraussetzungen / Besonderes | Voraussetzung: Statistik Grundkenntnisse, Interesse an statistischen Verfahren. Es ist empfehlenswert, zuerst Maschinen Lernen I zu hören und dann die Vorlesung ML II zu besuchen. Mit etwas Zusatzaufwand können Sie aber auch ML II alleine hören. |
Leistungskontrolle
| Information zur Leistungskontrolle (gültig bis die Lerneinheit neu gelesen wird) | |
Leistungskontrolle als Semesterkurs | |
| ECTS Kreditpunkte | 5 KP |
| Prüfende | J. M. Buhmann |
| Form | Sessionsprüfung |
| Prüfungssprache | Englisch |
| Repetition | Die Leistungskontrolle wird nur in der Session nach der Lerneinheit angeboten. Die Repetition ist nur nach erneuter Belegung möglich. |
| Prüfungsmodus | mündlich 15 Minuten |
| Diese Angaben können noch zu Semesterbeginn aktualisiert werden; verbindlich sind die Angaben auf dem Prüfungsplan. | |
Lernmaterialien
| Keine öffentlichen Lernmaterialien verfügbar. | |
| Es werden nur die öffentlichen Lernmaterialien aufgeführt. |
Gruppen
| Keine Informationen zu Gruppen vorhanden. |
Einschränkungen
| Keine zusätzlichen Belegungseinschränkungen vorhanden. |
