Optimisation stochastique pour le Machine Learning en finance

Responsable : Gilles Pagès

Objectif : Ce cours présent les principes mathématiques d’analyse des algorithme de gradient ou de pseudo-gradient stochastiques en apprentissage supervisé ou non supervisé

Prérequis : Notions fondamentales de probabilités à temps fixe et à temps discrets (martingales, chaîne de Markov)

Thèmes abordés :

• Introduction à l’optimisation, algorithme de Newton-Raphson, descente de gradient
• Simulation versus data : un changement de paradigme
• Genèse d’un algorithmes stochastique : pourquoi et comment. Descente de Gradient stochastique (SGD)
• Théorèmes de convergence : lemme de Robbins-Siegmund et application à la convergence p.s.
• Autres modes de convergence, vitesse : principe de moyennisation de Ruppert & Pòliak
• Application aux réseaux de neurones : rétro-propagation du gradient, approximation universelle
• Apprentissage non supervisé : des k-means à la quantification optimale
• Algorithme de Langevin Monte Carlo
• Accélération d’une descente de gradient : SAGA, etc

Ressources : Moodle