Apprentissage par renforcement

Responsable : Olivier Sigaud

Objectif : Cette UE présente l’ensemble des concepts fondamentaux de l’apprentissage par renforcement ainsi que les principaux algorithmes d’apprentissage par renforcement tabulaire (programmation dynamique, Q-learning, SARSA, actor-critic) et de Deep Reinforcement Learning (DQN, DDPG, TRPO, PPO, A2C, SAC, TQC …). Des notions proches comme les méthodes de Direct Policy Search et l’apprentissage par imitation sont aussi abordées. Le cours est centré sur les algorithmes et les relations qu’ils entretiennent. Les travaux pratiques sont l’occasion de coder les algorithmes en s’appuyant sur une librairie dédiée, tandis que des mini-projets permettent d’aborder les questions méthodologiques que pose leur mise en œuvre. Enfin, un projet plus conséquent permet d’évaluer la maîtrise globale acquise par les étudiants.

Prérequis : UE DEEP-L

Thèmes abordés :

• Markov Decision Process, programmation dynamique
• Apprentissage par renforcement tabulaire
• Apprentissage profond pour le renforcement (Deep Q learning, DDPG, TD3, Policy gradient, Reinforce, A2C, TRPO, PPO, SAC, TQC…)
• Apprentissage par imitation, Goal-Conditioned Reinforcement Learning

Ressources : Site du Master MIND