Titel Englisch: Probabilistic methods of Machine Learning

Bereich: Ba Aufbaubereich

Wahlpflichtmodul

Schwerpunkt: Stochastik

ESSEN

Studierbar ab Fachsemester: B5

ECTS-Punkte: 9,

Prüfungsform: Die ECTS-Punkte werden auf Grund einer mündlichen oder schriftlichen Prüfung innerhalb von drei der Veranstaltung folgenden Monaten vergeben. Innerhalb von sechs Monaten nach der Prüfung besteht Möglichkeit zur Nachprüfung. Die Prüfungsleistung wird benotet. Die Lehrenden werden die Modalitäten der Prüfung zu Beginn der Veranstaltungen festlegen.

Sprache: Deutsch und/oder Englisch.

Verantwortlich:
Prof. Dr. Denis Belomestny.

Angebotsturnus:
WS/SS, alle 1-2 Jahre

Probabilistische Methoden des maschinellen Lernens

Vorlesung/4 SWS und Übung/2 SWS

Inhalt

  1. Einführung in die Wahrscheinlichkeitstheorie:
    • Grundbegriffe der Wahrscheinlichkeit (Wahrscheinlichkeitsräume, Ereignisse, bedingte Wahrscheinlichkeit)
    • Zufallsvariablen und Verteilungen (diskrete und kontinuierliche Verteilungen)
    • Erwartungswert, Varianz und Momente
    • Gesetz der großen Zahlen und zentraler Grenzwertsatz
  2. Bayessche Statistik:
    • Grundlagen der Bayesschen Inferenz
    • Prior, Likelihood, Posterior und Bayes-Theorem
    • Bayessche Netzwerke und Einflussdiagramme
    • Monte-Carlo-Methoden und Markov-Chain-Monte-Carlo (MCMC)
  3. Probabilistische Graphische Modelle:
    • Bayessche Netzwerke (gerichtete Graphen)
    • Markov-Netzwerke (ungerichtete Graphen)
    • Inferenz in graphischen Modellen
    • Lernen von Strukturen und Parametern
  4. Latente Variablenmodelle:
    • Gemischte Modelle (z.B. Gaussian Mixture Models)
    • Latent Dirichlet Allocation (LDA)
    • Hidden Markov Models (HMM)
  5. Approximate Inference:
    • Variationsmethoden
    • Expectation-Maximization (EM)
    • Gibbs-Sampling und andere Sampling-Methoden
  6. Gaussian Processes:
    • Grundlagen und Anwendungen
    • Kernfunktionen und deren Eigenschaften
    • Modellierung und Inferenz mit Gaussian Processes
  7. Zeitreihenanalyse:
    • Stochastische Prozesse und Zeitreihenmodelle
    • Autoregressive Modelle (AR), Moving Average Modelle (MA), ARMA und ARIMA
    • Kalman-Filter und Partikel-Filter
  8. Anwendungen:
    • Anwendungsfälle in der Bild- und Spracherkennung
    • Natural Language Processing (NLP)
    • Anomalieerkennung
    • Empfehlungen und Personalisierung

Lernziele

  • Mathematische Grundlagen: Verstehen und Anwenden der grundlegenden Konzepte der Wahrscheinlichkeitstheorie und Statistik.
  • Modellierung: Fähigkeit, probabilistische Modelle für reale Probleme zu entwerfen und zu implementieren.
  • Inferenz: Durchführung von inferenziellen Aufgaben mittels exakter und approximativer Methoden.
  • Datenanalyse: Nutzung probabilistischer Methoden zur Analyse und Interpretation komplexer Datensätze.
  • Programmierung: Implementierung probabilistischer Algorithmen mit Programmiersprachen wie Python und Bibliotheken wie PyMC3, TensorFlow Probability oder Stan.
  • Kritisches Denken: Kritische Beurteilung der Annahmen und Ergebnisse probabilistischer Modelle.
  • Anwendungsorientierung: Fähigkeit, probabilistische Methoden in verschiedenen Bereichen des maschinellen Lernens anzuwenden.

Literatur

Kevin P. Murphy, Probabilistic Machine Learning: An introduction, MIT Press, 2022.

Weitere Literatur wird in den Veranstaltungen bekanntgegeben.

Arbeitsaufwand

270 Stunden (davon 90 Stunden in Präsenz)

Voraussetzungen (empfohlen)


Stochastik