04 ML regression 03

04 ML regression 03

04 ML régression 03

par Artificial Neural Networks and Machine Learning · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine
🎙 Artificial Neural Networks and Machine Learning 👥 144 📅 17 novembre 2024 ⏱ 41 min 👁 259 📄 tutoriel 🧭 2026-10-09
Disponible en : Français (actuel) English

Mots-clés

OLScovariancevariancehyperplanmatrice de design

Résumé

Cette séance constitue la troisième partie d’un cours de machine learning consacré à la régression linéaire. L’enseignant rappelle d’abord le principe général : ajuster une fonction f telle que la prédiction y_chapeau soit la plus proche possible de la valeur réelle y, la proximité étant mesurée par l’erreur quadratique moyenne (RMSE). Il distingue la régression univariée (ajustement d’une droite) de la régression multivariée (ajustement d’un plan ou d’un hyperplan selon le nombre de variables explicatives). La dérivation des moindres carrés ordinaires (OLS) est reprise depuis la forme scalaire jusqu’à la forme matricielle : le vecteur d’erreur s’écrit y moins A beta, et l’objectif est de minimiser la norme au carré de ce vecteur. Par différentiation par rapport à beta0 puis beta1, et en annulant les dérivées, on obtient un système de deux équations. L’enseignant introduit ensuite une astuce algébrique consistant à ajouter un terme nul (somme des écarts à la moyenne) pour faire apparaître au numérateur la covariance entre X et Y et au dénominateur la variance de X, ce qui donne beta1 = cov(X,Y)/var(X) et beta0 = moyenne(Y) - beta1·moyenne(X). Un exemple numérique à cinq échantillons est traité, avec implémentation Python de fonctions mean, covariance et variance, donnant beta0 = 0,4 et beta1 = 0,8. La séance se conclut par l’extension au cas multidimensionnel, où les coefficients deviennent des thetas et où l’on introduit une colonne de 1 (x_i0 = 1) pour écrire l’estimation sous forme matricielle Y_chapeau = X·Theta. La fin de la vidéo bascule sur une discussion administrative concernant un syllabus de DSP.

256 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur pédagogique de cette séance réside dans la progression rigoureuse du raisonnement : on part de l’intuition géométrique (minimiser l’aire des carrés des écarts) pour aboutir à une formule fermée exploitable en pratique. L’enseignant ne se contente pas d’énoncer beta1 = cov(X,Y)/var(X) : il construit cette expression pas à pas, en montrant explicitement l’astuce algébrique qui consiste à soustraire et ajouter la moyenne de X dans les sommes, ce qui permet de faire apparaître les termes de covariance et de variance. Cette démarche est particulièrement formatrice car elle relie la formule statistique à sa dérivation analytique. L’argumentation est également solide dans le passage du cas univarié au cas multivarié : l’introduction de la colonne de 1 dans la matrice de design est justifiée par la volonté d’écrire l’estimation sous forme matricielle compacte, ce qui prépare naturellement la généralisation à la régression multiple et aux méthodes d’optimisation itératives. L’exemple numérique à cinq points, avec vérification manuelle des prédictions (x=1 donne y_chapeau=1,2 au lieu de 1, etc.), ancre concrètement la théorie. On peut toutefois regretter que l’argumentation reste purement mathématique : aucune discussion sur les hypothèses statistiques sous-jacentes (linéarité, homoscédasticité, indépendance des erreurs, normalité des résidus), sur les limites de l’OLS en présence de valeurs aberrantes ou de multicolinéarité, ni sur les alternatives (régularisation, régression robuste). Le lien avec l’apprentissage automatique moderne reste implicite : on ne mentionne pas que l’OLS est un cas particulier de minimisation d’une fonction de coût par descente de gradient, ce qui aurait permis de faire le pont avec les réseaux de neurones.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur mathématique est irréprochable : chaque étape de la dérivation est justifiée, les notations sont cohérentes (passage de beta à theta pour le cas multivarié), et les résultats sont vérifiés numériquement. Le code Python présenté est minimal mais correct : les fonctions mean, covariance et variance implémentent fidèlement les formules dérivées, et l’enseignant insiste pour que les étudiants écrivent eux-mêmes la partie tracé de la droite. En revanche, la qualité des sources est nulle au sens académique : aucune référence bibliographique n’est citée, ni manuel, ni article fondateur (Legendre, Gauss, Galton, Pearson), ni documentation de bibliothèque (scikit-learn, numpy). Le contenu est présenté comme un savoir établi, sans contextualisation historique ni comparaison avec d’autres approches. L’adéquation titre/contenu est correcte : le titre numéroté correspond bien à une séance de cours sur la régression, mais il n’informe pas sur le contenu précis (dérivation OLS, covariance/variance, extension multivariée). Aucun commentaire n’étant fourni, aucune analyse des tendances du public n’est formulée.

430 mots

Qualité & fiabilité

7/10

Le contenu mathématique présenté est exact et classique : dérivation complète de la régression par moindres carrés ordinaires (OLS), passage à la forme matricielle, expression de beta1 comme rapport covariance/variance, puis extension au cas multivarié avec les thetas et la matrice de design augmentée d'une colonne de 1. Aucune erreur de fond détectée. La fiabilité est toutefois limitée par l'absence totale de références bibliographiques, de sources externes et de contextualisation historique ou comparative. Il s'agit d'un cours magistral filmé, non d'une publication scientifique, ce qui plafonne naturellement le score.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

Cette séance n’apporte pas de contenu original au sens de la recherche : elle constitue une reprise pédagogique standard de la dérivation des moindres carrés ordinaires, matière enseignée depuis le début du XIXe siècle. Son intérêt réside dans la clarté de l’enchaînement entre la forme scalaire, la forme matricielle et l’implémentation Python, ainsi que dans l’astuce algébrique explicite qui fait apparaître la covariance et la variance. L’extension au cas multivarié avec la matrice de design augmentée prépare naturellement la régression multiple et les méthodes d’optimisation itératives utilisées en apprentissage automatique. En revanche, aucun lien n’est fait avec les approches modernes (descente de gradient, régularisation, régression ridge ou lasso), ce qui limite la portée du contenu pour un public déjà familier avec le machine learning.

Pour aller plus loin :

  • Régression linéaire — Article de synthèse couvrant les fondements, les hypothèses et les extensions de la régression linéaire.
  • Moindres carrés ordinaires — Présentation de la méthode des moindres carrés, de son histoire et de ses propriétés statistiques.
  • Covariance et variance — Définitions formelles et interprétations des notions utilisées dans la formule de beta1.
  • Régression ridge — Extension régularisée de l’OLS, utile en présence de multicolinéarité ou de nombreuses variables.
  • Théorème de Gauss-Markov — Justification théorique de l’optimalité de l’estimateur OLS sous les hypothèses classiques.

213 mots

Profil radar

Le profil radar est celui d'un cours magistral technique : quantité d'information et niveau technique élevés, qualité et fiabilité solides sur le plan mathématique, mais absence totale de sources externes et de contextualisation. Le contenu est dense et rigoureux, mais reste confiné à une exposition théorique sans mise en perspective avec la littérature ou les pratiques modernes.

Fiabilité 7/10