NLP: Self-supervised Models (or: "How to grow language models") - Lecture 1 - Fall 2026

NLP: Self-supervised Models (or: "How to grow language models") - Lecture 1 - Fall 2026

NLP : Modèles auto-supervisés (ou : "Comment faire grandir les modèles de langage") - Cours 1 - Automne 2026

par Daniel Kashabi · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQLLangage naturel et traduction automatique
🎙 Daniel Kashabi 👥 4K 📅 9 septembre 2026 ⏱ 35 min 👁 4 📄 cours magistral 🧭 2026-09-09
Disponible en : Français (actuel) English

Mots-clés

auto-supervisionmodèles de languetransformerspré-entraînementTALN

Résumé

Ce premier cours du semestre d’automne 2026, dispensé par Daniel Kashabi à l’université Johns Hopkins, pose les fondations du cours CS471/671 consacré aux modèles auto-supervisés pour le traitement automatique des langues. L’enseignant commence par un exemple frappant : l’utilisation d’un modèle de langue génératif pour trouver un contre-exemple à la conjecture de Jacobian, illustrant la puissance inattendue de ces modèles. Il souligne en parallèle leurs faiblesses, comme les erreurs de raisonnement logique ou les hallucinations. Le cours définit ensuite la notion de modèle auto-supervisé comme un modèle prédictif du monde, entraîné sur d’immenses quantités de données non labellisées, et étroitement lié aux tâches d’intérêt. Un rappel historique retrace l’évolution des réseaux de neurones depuis McCulloch et Pitts (1943) jusqu’aux architectures modernes, en insistant sur trois forces motrices : la disponibilité massive de données (notamment via Internet), la puissance de calcul (avec les GPU) et les innovations algorithmiques. L’enseignant clarifie la terminologie : pré-entraînement, IA générative, modèles de fondation et modèles de pointe, en mettant en garde contre les confusions fréquentes. Enfin, il présente l’organisation pratique du cours : pas de devoirs maison, mais des lectures et un projet final, avec une évaluation basée sur des quiz et le projet.

199 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur de ce cours réside dans sa capacité à contextualiser les modèles de langue auto-supervisés, en les reliant à des exemples concrets et à des enjeux de recherche actuels. L’argumentation est solide : l’enseignant justifie chaque concept par des exemples et des analogies, et il prend soin de définir précisément les termes employés, ce qui est essentiel pour éviter les ambiguïtés. La distinction entre modèles de fondation et modèles de pointe est particulièrement bien expliquée. L’approche pédagogique est interactive et encourage la participation, ce qui renforce la compréhension. Cependant, l’argumentation reste à un niveau introductif et ne fournit pas de démonstrations techniques approfondies, ce qui est cohérent avec un premier cours.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est globalement bonne : les concepts sont présentés avec précision et les exemples sont pertinents. L’enseignant s’appuie sur des références historiques (McCulloch et Pitts) et des notions bien établies (transformers, pré-entraînement). Il ne cite pas de sources bibliographiques précises dans ce cours, mais renvoie au site du cours pour les lectures. Le titre est en adéquation avec le contenu : il annonce une introduction aux modèles auto-supervisés pour le TALN, ce qui est exactement ce qui est délivré. La qualité des sources est donc correcte, même si elle repose principalement sur l’expertise de l’enseignant et les ressources du cours.

229 mots

Adéquation titre / contenu

Le titre annonce une introduction aux modèles auto-supervisés pour le TALN, ce que le cours délivre effectivement, avec une mise en perspective historique et des définitions claires.

Qualité & fiabilité

8/10

Cours universitaire de niveau master, structuré et pédagogique, dispensé par un chercheur reconnu. Les concepts sont définis avec précision et les exemples sont pertinents. Quelques affirmations historiques simplifiées mais globalement exactes. Pas de démonstration formelle approfondie, mais une base solide.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Sources citées

Sources concordantes

Apport & nouveautés

Ce cours apporte une introduction structurée et pédagogique aux modèles auto-supervisés pour le TALN, en les reliant à des exemples concrets et à des enjeux de recherche actuels. Il clarifie la terminologie souvent confuse (modèles de fondation, modèles de pointe, IA générative) et propose une perspective historique qui aide à comprendre l’évolution du domaine. L’accent mis sur les trois forces (données, calcul, algorithmes) est un cadre utile pour appréhender les facteurs de succès des LLM.

Pour aller plus loin :

  • Article Wikipédia sur l’apprentissage auto-supervisé — Pour approfondir la définition et les variantes de l’auto-supervision.
  • Article Wikipédia sur les transformers — Pour comprendre l’architecture clé des modèles de langue modernes.
  • Article Wikipédia sur la conjecture de Jacobian — Pour explorer le problème mathématique mentionné en introduction.

126 mots

Profil radar

Le profil radar montre un cours équilibré, avec une bonne quantité d'informations et une fiabilité globale élevée. Le niveau technique est modéré, adapté à une introduction, et la qualité de l'information est bonne. La principale faiblesse est le manque de sources bibliographiques explicites dans la vidéo, compensé par le renvoi au site du cours.

Fiabilité 8/10