Optimisation pour l’apprentissage automatique

Responsable : Raphaël Berthier

Objectif : L’objectif de ce cours est de présenter les principales méthodes d’optimisation pour les modèles d’apprentissage ainsi que leurs implications (interpolation, régularisation implicite). On abordera ensuite l’optimisation pour les réseaux de neurones, l’apprentissage en ligne et les bandits. Le cours sera illustré par de séances de TP en Python.

Prérequis : Notions fondamentales de probabilités et statistique, calcul scientifique en Python

Thèmes abordés :

• Minimisation du risque empirique et erreur de généralisation
• Méthodes d’optimisation et descente de gradient stochastique
• Réduction de variance et accélération
• Interpolation, modèles sur-paramétrés et descente de gradient par coordonnée
• Réseaux de neurones et régularisation implicite
• Apprentissage en ligne et bandits

Ressources : Moodle