But how do AI images and videos actually work? | Guest video by Welch Labs

Valeur des informations & solidité de l’argumentation

La valeur des informations est très élevée : la vidéo fournit une explication claire et approfondie des mécanismes internes des modèles de diffusion, allant au-delà des simples analogies. L’argumentation est solide, s’appuyant sur des démonstrations mathématiques (équivalence entre prédiction du bruit et prédiction de la moyenne, équation de Fokker-Planck) et des expériences de pensée (exemple de la spirale). L’auteur prend soin de justifier chaque choix algorithmique, comme l’ajout de bruit pendant la génération, en le reliant à la théorie des processus stochastiques. La progression pédagogique est bien construite, partant de l’intuition pour aller vers la formalisation.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est exemplaire : les concepts sont présentés avec précision et les limites des analogies sont mentionnées. Les sources sont de premier ordre, incluant les articles fondateurs DDPM, DDIM, CLIP, et des tutoriels de référence. La description fournit de nombreux liens vers des ressources complémentaires, ce qui renforce la crédibilité. L’adéquation entre le titre et le contenu est parfaite, le titre annonçant exactement ce qui est traité. Les commentaires, très positifs, saluent la clarté et la profondeur de l’explication, et certains soulignent la qualité des animations et de la typographie.

Le titre est parfaitement adapté au contenu : il annonce une explication du fonctionnement des modèles d'IA générative d'images et de vidéos, ce que la vidéo livre en détail.

9/10

Explication rigoureuse des modèles de diffusion, appuyée sur des articles fondateurs (DDPM, DDIM, CLIP) et des références techniques précises. La démarche pédagogique est solide, avec des démonstrations et des expériences de pensée. Les sources sont citées et accessibles.

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

• 00:00Introduction : présentation du sujet et des modèles de diffusion.
• 03:37Présentation de CLIP : architecture, entraînement contrastif et espace d'embedding partagé.
• 06:25Explication de l'espace d'embedding partagé et de ses propriétés géométriques (exemple du chapeau).
• 08:16Introduction aux modèles de diffusion DDPM : principe d'ajout de bruit et d'inversion.
• 11:44Apprentissage des champs vectoriels : lien avec le mouvement brownien et la fonction de score.
• 22:00Présentation de DDIM : accélération de la génération via une équation différentielle ordinaire.
• 25:25Application à DALL-E 2 : combinaison de CLIP et des modèles de diffusion.
• 26:37Conditionnement par le texte : intégration des embeddings dans le processus de diffusion.
• 30:02Guidage (guidance) : amplification du conditionnement pour améliorer l'adhérence au prompt.
• 33:39Prompts négatifs : comment exclure des concepts indésirables de la génération.

• Denoising Diffusion Probabilistic Models (DDPM) — Article fondateur des modèles de diffusion, présenté dans la section dédiée.
• Classifier-Free Diffusion Guidance — Article sur le guidage sans classifieur, mentionné dans la section sur le conditionnement.
• Tutorial on Diffusion Models — Tutoriel de Preetum Nakkiran, recommandé pour approfondir la théorie.
• CLIP Paper — Article original de CLIP, présenté dans la première partie.
• DDIM Paper — Article sur l'échantillonnage DDIM, mentionné dans la section sur l'accélération.
• Score-Based Generative Modeling — Article sur les modèles génératifs basés sur le score, lié à la fonction de score.
• DALL-E 2 Paper — Article de DALL-E 2, mentionné dans la section sur le conditionnement.
• Wan2.1 — Modèle open source utilisé pour les exemples de génération vidéo.
• Stable Diffusion 2 — Modèle de diffusion utilisé pour les expériences de génération d'images.
• Code for this video — Code source des animations et des exemples de la vidéo.
• smalldiffusion library — Bibliothèque utilisée pour implémenter les modèles de diffusion dans les animations.
• Sander Dieleman's blog — Blog de référence sur les modèles de diffusion, recommandé pour approfondir.
• Practical Diffusion — Cours et tutoriel de Chenyang Yuan sur les modèles de diffusion.
• Chenyang's diffusion tutorial — Tutoriel de Chenyang Yuan sur les modèles de diffusion.
• Midjourney — Outil de génération d'images par IA, mentionné comme exemple.
• Veo — Modèle de génération vidéo de Google DeepMind, mentionné comme exemple.
• Wang et al. (2020) - Uniformity of embeddings — Référence technique sur la maximisation de l'uniformité des embeddings dans CLIP.
• Stack Overflow - CLIP text embedding dimension — Précision technique sur la dimension de l'embedding texte dans Stable Diffusion.

• Denoising Diffusion Probabilistic Models — L'article fondateur confirme les explications sur l'entraînement et l'échantillonnage DDPM.
• DDIM Paper — L'article confirme la possibilité d'accélérer la génération sans bruit aléatoire.
• CLIP Paper — L'article original de CLIP valide la description de l'architecture et de l'entraînement contrastif.