Optimisation stochastique, apprentissage PAC-Bayésien et inférence variationnelle

Responsables : Antoine Godichon-Baggioni et Badr-Eddine Chérief-Abdellatif

Objectif : Présenter et analyser de méthodes stochastiques pour l’optimisation numérique ; donner un aperçu de la théorie PAC-Bayésienne, en partant de la théorie de l’apprentissage statistique (bornes de généralisation et inégalités oracles) et en couvrant les développements algorithmiques par inférence variationnelle, jusqu’aux analyses PAC-Bayésiennes récentes des propriétés de généralisation des réseaux de neurones profonds

Prérequis : Notions fondamentales de probabilités et statistique, notions d’optimisation convexe, logiciel R ou Python

Thèmes abordés :

  • Théorèmes de convergence pour les Martingales
  • Algorithmes de gradient stochastiques et applications
  • Généralisation en apprentissage statistique
  • Théorie PAC-Bayésienne
  • Inférence variationnelle
  • Bornes de généralisation en apprentissage profond

Ressources : Moodle