Méthodes de simulation

Responsable : Sylvain Le Corff

Objectif : La simulation de variables aléatoires en grande dimension est un véritable défi pour de nombreux problèmes de machine learning récents et pour l’apprentissage de modèles génératifs profonds. Ce problème se rencontre par exemple dans un contexte bayésien lorsque la loi a posteriori n’est connue qu’à une constante de normalisation près, dans le cadre des autoencodeurs variationnels ou encore pour la métamodélisation de systèmes dynamiques complexes.

Ce cours propose un aperçu des méthodes classiques pour résoudre des problèmes liés à l’échantillonnage et à l’inférence dans le cadre des modèles génératifs.

Des exercices et des notebooks en Python sont fournis afin de mieux comprendre les défis pratiques dans des contextes classiques.

Prérequis : Notions fondamentales de probabilités et statistique ; notions concernant les méthodes de Monte Carlo et les chaînes de Markov.

Thèmes abordés : Les principales séances couvriront les sujets suivants.

  • Distributions cibles et exemples
  • Autoencodeurs variationnels et variantes
  • Modèles de diffusion basés sur le score et variantes
  • Notions de base sur les chaînes de Markov (mesures invariantes, ergodicité et loi des grands nombres)
  • Algorithme de Metropolis-Hastings
  • Algorithmes pseudo-marginaux et Monte Carlo hamiltonien

Ressources : Moodle