Lecture 26 Back Propagation Algorithm Derivation Part- 1

Lecture 26 Back Propagation Algorithm Derivation Part- 1

Cours 26 Dérivation de l'algorithme de rétropropagation Partie- 1

par Artificial Neural Networks and Machine Learning · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous
🎙 Artificial Neural Networks and Machine Learning 👥 144 📅 17 novembre 2024 ⏱ 42 min 👁 706 📄 tutoriel 🧭 2026-10-09
Disponible en : Français (actuel) English

Mots-clés

rétropropagation du gradientrègle delta généraliséedescente de gradientfonction d'activation dérivablematrice de poids

Résumé

Ce cours constitue la première partie d’une dérivation formelle de l’algorithme de rétropropagation pour l’entraînement d’un perceptron multicouche. L’enseignant commence par rappeler le principe de la descente de gradient : le gradient d’un scalaire pointe vers les maxima, d’où l’usage systématique du gradient négatif de l’erreur pour minimiser celle-ci. Il rappelle la règle delta pour un neurone unique, où l’erreur est le carré de la différence entre réponse désirée et sortie, et où la variation de poids s’obtient par le produit de la constante d’apprentissage, de l’erreur et de la dérivée de la fonction d’activation. Il étend ensuite la définition de l’erreur à l’ensemble des neurones de sortie par une somme pondérée d’un demi, puis introduit la notation matricielle des poids entre couches d’entrée, cachée et de sortie. La dérivation est menée par la règle de dérivation en chaîne : l’erreur dépend des poids via la sortie et le net, ce qui impose de faire apparaître un signal d’erreur intermédiaire noté delta. Pour la couche de sortie, ce signal vaut la différence entre réponse désirée et sortie multipliée par la dérivée de la fonction d’activation évaluée au net. La variation de poids de la couche de sortie se réduit alors à la règle delta classique. Le cas de la couche cachée est traité selon la même procédure, en différenciant par rapport aux poids d’entrée de la couche cachée, ce qui conduit à un signal delta caché dépendant de la somme des signaux delta de sortie pondérés par les poids correspondants. L’enseignant conclut en soulignant que les signaux d’erreur se propagent en sens inverse du flux d’activation, ce qui justifie le nom d’algorithme de rétropropagation, et annonce un exemple numérique pour la séance suivante.

283 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur informative de cette séance réside dans l’enchaînement logique complet qui mène de la règle delta pour un neurone unique à la règle delta généralisée pour un réseau à une couche cachée. L’argumentation est de nature déductive : chaque étape est justifiée par la précédente, sans saut conceptuel, et l’enseignant prend soin de rappeler pourquoi chaque outil est introduit — le gradient négatif parce qu’on cherche un minimum, la dérivabilité de la fonction d’activation parce que la dérivation en chaîne l’exige, le signal delta intermédiaire parce que l’erreur n’est pas directement fonction des poids. La progression est rigoureuse : définition de l’erreur, choix des variables de contrôle, application de la règle de dérivation en chaîne, identification du terme intermédiaire, puis calcul explicite de ce terme. Le passage de la couche de sortie à la couche cachée est présenté comme une répétition de la même procédure, ce qui renforce la cohérence de l’ensemble et évite de traiter le cas caché comme une recette ad hoc. La principale limite est l’absence d’exemple numérique ou de vérification expérimentale dans cette première partie, ce qui laisse l’auditeur sans confirmation concrète de la validité des formules obtenues ; l’enseignant annonce explicitement que l’exemple viendra dans la séance suivante. Le rythme est celui d’un cours magistral au tableau, avec quelques hésitations et reformulations orales, mais sans approximation mathématique notable.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur mathématique est le point fort de cette séance : les définitions sont posées explicitement, les notations sont cohérentes d’un bout à l’autre, et la règle de dérivation en chaîne est appliquée correctement, y compris dans le traitement du facteur un demi introduit dans la définition de l’erreur pour simplifier la dérivée du terme quadratique. Le résultat final pour la couche de sortie correspond bien à la règle delta classique, et celui pour la couche cachée correspond à la forme standard de la rétropropagation, avec sommation sur les neurones de sortie des signaux delta pondérés par les poids. Aucune source externe n’est citée, ni article, ni manuel, ni lien : il s’agit d’un cours autoportant dont la validation repose entièrement sur la cohérence interne du calcul. Cette absence de références bibliographiques est une faiblesse relative pour un auditeur souhaitant approfondir ou vérifier les conventions adoptées, mais elle n’affecte pas la correction du contenu. L’adéquation entre le titre et le contenu est excellente : il s’agit bien d’une dérivation de l’algorithme de rétropropagation, et la mention « partie 1 » est justifiée puisque l’exemple numérique est renvoyé à la séance suivante.

430 mots

Adéquation titre / contenu

Le titre annonce exactement le contenu : première partie d'une dérivation formelle de l'algorithme de rétropropagation, sans exemple numérique (annoncé pour la séance suivante).

Qualité & fiabilité

8/10

Démonstration mathématique menée pas à pas, cohérente et vérifiable : définition de l'erreur quadratique, gradient, règle delta, extension au réseau multicouche, règle de dérivation en chaîne, définition du signal delta de sortie puis du signal delta caché. Aucune affirmation empirique hasardeuse, aucune source externe invoquée, mais aucune référence bibliographique non plus ; le contenu est un cours magistral dont la validité se vérifie par le calcul lui-même.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

Cette séance n’apporte pas de résultat original au sens de la recherche : elle constitue une exposition pédagogique complète et progressive de la dérivation de l’algorithme de rétropropagation, depuis la règle delta pour un neurone unique jusqu’à la règle delta généralisée pour un réseau à une couche cachée. Son intérêt réside dans la clarté de l’enchaînement : chaque outil mathématique est introduit au moment où il devient nécessaire, et le cas de la couche cachée est présenté comme une simple répétition de la procédure appliquée à la couche de sortie, ce qui évite de le traiter comme une recette isolée. La séance s’arrête avant l’exemple numérique, ce qui la rend complémentaire de la suivante plutôt qu’autonome.

Pour aller plus loin :

  • Rétropropagation du gradient — Article encyclopédique présentant l’algorithme et son contexte historique.
  • Perceptron multicouche — Définition de l’architecture dont l’entraînement est dérivé dans cette séance.
  • Descente de gradient — Principe d’optimisation sur lequel repose la règle delta.
  • Règle d’apprentissage delta (Widrow-Hoff), sans URL — Formulation historique de la règle pour un neurone unique, dont la règle généralisée est l’extension.
  • Rétropropagation du gradient (Rumelhart, Hinton et Williams, 1986), sans URL — Publication de référence ayant popularisé l’algorithme pour les réseaux multicouches.

201 mots

Profil radar

Le profil est celui d'un cours magistral dense et cohérent : quantité d'information et niveau technique élevés, qualité et fiabilité soutenues par la rigueur du calcul. Le point faible relatif est l'absence de sources externes et d'exemple numérique dans cette première partie, ce qui limite la vérification empirique immédiate.

Fiabilité 8/10