20 ML Non Parametric

20 ML Non Parametric

20 ML Non Paramétrique

par Artificial Neural Networks and Machine Learning · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQNRéseaux neuronaux et systèmes flous
🎙 Artificial Neural Networks and Machine Learning 👥 144 📅 1 juillet 2025 ⏱ 28 min 👁 4 📄 tutoriel 🧭 2026-10-09
Disponible en : Français (actuel) English

Mots-clés

estimation de densitéfenêtre de Parzenk plus proches voisinsloi binomialeconvergence

Résumé

Cette vingtième séance d’un cours sur les réseaux de neurones et l’apprentissage automatique introduit les méthodes non paramétriques d’estimation de densité. L’enseignant part du constat que les méthodes paramétriques supposent une forme connue de densité (par exemple gaussienne unimodale) et n’estiment que les paramètres ; cette hypothèse devient invalide lorsque la distribution réelle est multimodale ou de forme arbitraire. Il présente alors deux familles d’approches : l’estimation de la densité conditionnelle p(x|ω) puis application de la règle de Bayes, et l’estimation directe de la probabilité a posteriori p(ω|x), qui correspond au classificateur k plus proches voisins. Le cœur de la séance est la dérivation de l’estimateur de densité en un point : on compte k échantillons tombant dans une région R de volume V parmi n échantillons totaux, et l’on pose p(x) ≈ k/(nV). Cette formule est justifiée par la loi binomiale, dont l’espérance k = nP conduit naturellement à P ≈ k/n, puis par l’hypothèse que p(x) est continue et quasi constante sur R, ce qui permet de sortir p(x) de l’intégrale et d’obtenir p(x) ≈ k/(nV). L’enseignant souligne ensuite le compromis fondamental : si l’on fixe V et que l’on augmente n, l’estimation converge vers une moyenne spatiale de la densité réelle ; si l’on fixe n et que l’on réduit V vers zéro, on risque d’obtenir k = 0 et donc une densité nulle. Il énonce les trois conditions théoriques de convergence (V_n → 0, k_n → ∞, k_n/n → 0) et note leur caractère contradictoire en pratique. Deux stratégies satisfont ces conditions : la fenêtre rétrécissante de Parzen, où V_n = 1/√n, et la fenêtre croissante du k-NN, où k_n = √n. La séance se termine par une illustration comparative des deux méthodes pour n = 1, 4, 9, 16 et 100, avant une interruption due à une réunion institutionnelle liée à la pandémie.

308 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur pédagogique de cette séance réside dans la progression rigoureuse qui va de l’intuition géométrique à la justification probabiliste. L’enseignant ne se contente pas d’énoncer la formule p(x) ≈ k/(nV) : il la reconstruit pas à pas, en partant de l’idée de compter des échantillons dans une région autour du point de test, puis en la formalisant via la loi binomiale et l’hypothèse de continuité locale de la densité. Cette démarche est particulièrement efficace pour faire comprendre pourquoi l’estimateur fonctionne et quelles sont ses limites. L’argumentation met l’accent sur le compromis biais-variance de manière intuitive : un volume trop grand lisse excessivement la densité (effet de moyenne spatiale), un volume trop petit produit une estimation nulle ou très bruitée. L’enseignant insiste sur le fait que l’estimation n’est jamais égale à la densité réelle mais seulement une approximation, ce qui est un point conceptuel important souvent occulté dans les présentations rapides. La discussion des trois conditions de convergence est menée avec honnêteté : il reconnaît explicitement leur caractère contradictoire et souligne qu’elles sont théoriques, non réalisables en pratique. En revanche, l’argumentation reste purement qualitative sur plusieurs points : aucune borne d’erreur n’est donnée, aucune discussion sur le choix pratique de la largeur de fenêtre (règle de Silverman, validation croisée) n’est amorcée, et la comparaison Parzen/k-NN reste au niveau de l’illustration graphique sans analyse quantitative de leurs biais respectifs. La séance est interrompue avant d’aborder les aspects pratiques, ce qui limite la portée de l’argumentation.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur mathématique est solide : la dérivation de l’estimateur est correcte, la loi binomiale est correctement invoquée avec son espérance k = nP, et les conditions de convergence correspondent à celles classiquement attribuées à Duda & Hart. Le vocabulaire technique est employé avec précision (densité conditionnelle, probabilité a posteriori, fenêtre rétrécissante, fenêtre croissante). Cependant, aucune source n’est citée : ni manuel, ni article fondateur (Rosenblatt 1956, Parzen 1962, Fix & Hodges 1951, Cover & Hart 1967), ni lien en description. L’enseignant ne nomme pas non plus explicitement les auteurs des méthodes qu’il décrit, se contentant des termes « Parzen window » et « K nearest neighbor ». Cette absence de références formelles est le principal point faible sur le plan scientifique : l’auditeur n’a aucun moyen d’approfondir par lui-même. L’adéquation titre/contenu est correcte : le titre annonce un épisode sur les méthodes non paramétriques, et le contenu traite effectivement de ce sujet, sans écart notable. La vidéo ne comporte aucune séquence publicitaire.

422 mots

Adéquation titre / contenu

Le titre « 20 ML Non Parametric » correspond au contenu : il s'agit bien du vingtième épisode d'une série sur le machine learning, consacré aux méthodes non paramétriques. Le titre est toutefois très générique et n'annonce ni Parzen ni k-NN spécifiquement.

Qualité & fiabilité

6/10

Cours magistral de niveau master sur les méthodes non paramétriques d'estimation de densité (Parzen, k-NN). Le contenu mathématique est exact et classique : dérivation de l'estimateur k/(nV) à partir de la loi binomiale, conditions de convergence de Duda & Hart, distinction fenêtre rétrécissante / fenêtre croissante. Aucune source n'est citée explicitement, aucun lien en description, et la vidéo est interrompue brutalement par une contrainte externe (réunion de crise liée à la pandémie), ce qui laisse le propos inachevé. La rigueur du raisonnement compense partiellement l'absence totale de références formelles.

Moments clés

Repères établis par PSI à partir de la transcription : le créateur n'a pas défini de chapitres.

Apport & nouveautés

Cette séance n’apporte pas de résultat original : elle constitue une présentation pédagogique standard des méthodes non paramétriques d’estimation de densité, matière classique des cours de reconnaissance de formes. Son intérêt réside dans la clarté de la dérivation et dans l’insistance sur le compromis biais-variance inhérent au choix de la largeur de fenêtre, ainsi que sur le caractère purement approximatif de l’estimateur. La comparaison visuelle entre fenêtre rétrécissante et fenêtre croissante, bien que sommaire, illustre efficacement l’opposition entre les deux stratégies. La séance reste toutefois inachevée et n’aborde ni les aspects pratiques (choix de la largeur de fenêtre, validation croisée) ni les garanties de convergence asymptotique formelles.

Pour aller plus loin :

  • Méthode de Parzen-Rosenblatt — Article encyclopédique présentant l’estimateur à noyau et ses propriétés de convergence.
  • k plus proches voisins — Présentation de la méthode k-NN, de sa règle de décision et de ses variantes.
  • Estimation de densité par noyau — Complément sur le choix de la largeur de bande et le compromis biais-variance.
  • Duda, Hart & Stork, Pattern Classification — Manuel de référence dont les conditions de convergence énoncées dans la vidéo sont issues.
  • Rosenblatt (1956) et Parzen (1962) — Articles fondateurs de l’estimation non paramétrique de densité, non cités dans la vidéo.

205 mots

Profil radar

Le profil est celui d'un cours magistral dense : niveau technique élevé et qualité d'information solide, mais quantité d'information modérée car la séance est interrompue et reste centrée sur un seul estimateur. La fiabilité est correcte sur le plan mathématique mais affaiblie par l'absence totale de références citées.

Fiabilité 6/10