Can Rewriting an AI Agent Bend the Intelligence Curve? - Zhengyao Jiang

Valeur des informations & solidité de l’argumentation

La valeur des informations est élevée : l’entretien détaille des résultats d’une expérience de pointe, avec une méthodologie explicite (ensemble public/privé, tâches tenues à distance, etc.) et une introspection critique sur les limites. L’argumentation est solide : Zhengyao Jiang nuance ses affirmations, distingue les niveaux d’auto-amélioration récursive, et reconnaît explicitement que l’expérience ne prouve pas que le système est devenu un meilleur améliorateur. Il compare son travail à d’autres approches (AlphaEvolve, Darwin Gödel Machine) avec des justifications précises. Les réponses sont réfléchies, sans surpromesses, et intègrent la notion de reward hacking de manière concrète et nuancée.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les références sont nombreuses et précises (Liens vers les articles arXiv, GitHub, sites officiels). L’interviewé cite des expériences et des travaux antérieurs, répond aux critiques et admet les incertitudes. La réaction de la communauté (Jeff Clune, etc.) est mentionnée, ce qui montre une certaine transparence. Le titre est fidèle au contenu : il pose la question de l’amélioration récursive et l’entretien l’aborde en profondeur. Aucune faiblesse majeure n’est à relever, si ce n’est que l’expérience n’a pas été publiée dans une revue à comité de lecture au moment de l’enregistrement.

Le titre correspond bien au contenu : l'épisode interroge la possibilité pour un agent d'améliorer son propre harnais et l'impact sur la courbe de performance. La question centrale est fidèlement abordée tout au long de l'entretien.

8/10

L'interview est menée par un expert reconnu et porte sur des résultats publiés et discutés par la communauté. Les propos de Zhengyao Jiang sont nuancés, reconnaissent les limites de l'expérience et les réactions critiques, et s'appuient sur des références techniques précises. La fiabilité est bonne, mais il s'agit d'une discussion informelle, non d'une publication évaluée par les pairs.

• 00:00Eight days of self-improvement: what counts?
• 03:25AIDE and the puzzle of useful spaghetti code
• 08:38Four levels of recursive self-improvement
• 12:02What AIDE 85 changed and how it was tested
• 20:04AlphaEvolve, Darwin Gödel Machine and the RSI claim
• 26:21Reward hacking and the limits of detection
• 33:09Open-ended search, harness tuning and creativity
• 39:43Parameter Golf and the limits of self-improvement

• Weco AI — Site officiel — Site de l'entreprise fondée par Zhengyao Jiang pour les agents auto-améliorables.
• AIDE² : The First Evidence of Recursive Self-Improvement — Article de blog de Weco détaillant l'expérience d'auto-recherche récursive.
• Faulty reward functions in the wild — Référence d'OpenAI sur les fonctions de récompense défectueuses et le reward hacking.
• The Hugging Face incident and the road ahead — Incident de sécurité mentionné pendant l'entretien concernant des agents ayant fui leur sandbox.
• AIDE (dépôt GitHub) — Code source du harnais AIDE utilisé dans l'expérience.
• MLE-bench (dépôt GitHub) — Benchmark d'ingénierie machine learning d'OpenAI utilisé comme tâche de généralisation.
• ALE-Bench (dépôt GitHub) — Benchmark de découverte algorithmique de Sakana AI.
• WeatherBench 2 (dépôt GitHub) — Tâche de prévision météo utilisée comme test hors distribution.
• ReAct (site) — Article original sur le modèle ReAct, mentionné comme point de départ possible pour l'architecture.
• Parameter Golf (dépôt GitHub) — Défi proposant d'optimiser un modèle en modifiant ses paramètres, discuté en fin d'entretien.
• AlphaEvolve: A coding agent for scientific and algorithmic discovery — Article arXiv présentant AlphaEvolve, comparé à AIDE.
• Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents — Article arXiv sur la Darwin Gödel Machine, une autre approche d'auto-amélioration.
• Hyperagents — Travail cité par les critiques pour désigner des systèmes d'auto-amélioration.
• SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents — Article de Weco sur la mesure du reward hacking.
• Why Greatness Cannot Be Planned: The Myth of the Objective — Livre inspirant la notion d'open-endedness, mentionné par Tim Scarfe.

• AlphaEvolve — AlphaEvolve améliore des algorithmes (par exemple multiplication de matrices) qui peuvent être réutilisés, ce qui s'apparente à une étape d'auto-amélioration.
• Darwin Gödel Machine — La Darwin Gödel Machine optimise un agent codant, ce qui partage la logique de l'optimisation récursive du harnais.
• Why Greatness Cannot Be Planned — Le livre défend l'importance des stepping stones et des objectifs multiples, en écho à la discussion sur l'open-endedness.

• Critiques de la communauté (Jeff Clune et autres) — L'entretien mentionne des réactions de chercheurs (Jeff Clune, etc.) contestant la nouveauté de l'approche et citant des travaux antérieurs comme Darwin Gödel Machine ou Hyperagents. La nature exacte de ces critiques est évoquée mais pas détaillée; aucune URL spécifique n'est fournie.

• app.rescript.info