Modèles de langage

Responsable : Laure Soulier

Objectif : Cette UE a pour objectif de présenter les modèles de langue et modèles de fondation (« foundation models ») pour des applications orientées texte telles que traitement automatique du langage et recherche d’information. Le cours aborde les notions algorithmiques mais également les aspects techniques et expérimentaux. Les travaux pratiques permettent d’acquérir l’expérience nécessaire pour utiliser les modèles de langue comme brique de base de nombreux systèmes d’intelligence artificielle.

Prérequis : UE DEEP-L

Thèmes abordés :

• Architectures Transformer
• Techniques sous-jacentes au pré-entraînement (« masked language modeling », « causal modeling », …), à l’adaptation (distillation, PEFT, …) et à l’évaluation de ces modèles.

Ressources : Site du Master MIND