Sakana AI et des chercheurs de UC Berkeley présentent MASS, une méthode où Qwen3.6-27B s’affine sur les meilleures exécutions de sa propre équipe d’agents : après deux rondes, il bat sa version de base dans 69,9 % des comparaisons sur des tâches tenues à l’écart de l’entraînement. En brèves, FINAL-Bench lance l’Open Quantum Challenge, un concours de simulation quantique et de correction d’erreurs à mener sur un simple GPU, et Qwen Code v0.25.1 passe en version stable.
MASS : Sakana AI et UC Berkeley font progresser Qwen3.6-27B sur le travail de sa propre équipe d’agents
11 octobre — Sakana AI et UC Berkeley présentent MASS, une méthode d’auto-amélioration récursive : Qwen3.6-27B y résout des tâches de recherche en équipe de sous-agents, réécrit le workflow de l’équipe et juge lui-même les résultats, puis s’affine en LoRA sur ses meilleures exécutions. Deux juges externes, GPT-5.5 et Claude Opus 4.8, mesurent les progrès.
| Mesure rapportée | Valeur publiée |
|---|---|
| Victoires contre la base après deux rondes, tâches tenues à l’écart | 69,9 % |
| Score par token de sortie, quatre bancs de recherche | 1,2 à 1,6 fois la base |
| Même mesure, Terminal-Bench 2.0 et SWE-bench Verified | 0,96 et 0,94 fois la base |
Les auteurs jugent eux-mêmes le gain inégal selon les bancs et pensent le corriger en ajoutant des tâches de génie logiciel. Le code est publié sans licence déclarée, et l’article est sur arXiv depuis le 8 octobre.
🔗 Billet MASS · Article arXiv · Code sur GitHub
Brèves
- Open Quantum Challenge — Sur Hugging Face, FINAL-Bench (VIDRAFT) ouvre deux saisons à mener sur un simple GPU, sans ordinateur quantique : estimer l’énergie de l’état fondamental de systèmes de Fermi-Hubbard jusqu’au 28 février 2027, et concevoir un décodeur de correction d’erreurs (QEC) jusqu’au 31 mars 2027, avec 1 000 dollars par saison. 🔗 source · 🔗 espace du concours
- Qwen Code v0.25.1 — La version stable réunit les trois préversions présentées ici depuis le 6 octobre et n’ajoute que 17 entrées, dont un bouton d’envoi immédiat (Send now) pour les messages mis en file dans le Web Shell. Les notes totalisent 57 fonctionnalités et 85 correctifs depuis la v0.25.0, sans changement cassant connu. 🔗 source
Ce que ça signifie
MASS part d’un constat : sur une tâche de recherche ouverte, aucune règle automatique ne dit si une réponse est bonne, et le modèle lui-même peut devenir le superviseur le plus compétent disponible. Sakana AI met en avant l’enjeu de sécurité qui va avec : quand un modèle est son propre évaluateur, des angles morts partagés peuvent faire passer des erreurs pour des progrès, puis les renforcer à l’entraînement. Pour mesurer les progrès sans influencer la boucle, le protocole s’en remet à des juges extérieurs, dont les verdicts ne sont pas transmis à MASS ; face à eux, l’accord de l’évaluateur passe de 73 % pour le modèle de base à 93 % après la deuxième ronde.
L’expérience dit aussi quelque chose des données d’agents. Selon les auteurs, les trajectoires d’équipe instruisent mieux que celles d’un agent seul : un modèle entraîné sur les premières gagne 68,3 % de ses comparaisons avec la base pour 28,8 millions de tokens supervisés, contre 64,0 % avec 42 millions pour un modèle entraîné sur les secondes. Elle tourne d’ailleurs dans Qwen Code, l’agent de code dont la v0.25.1 passe en stable le même jour : un outil de développeur sert ici de paillasse à la recherche.
L’Open Quantum Challenge prend le problème par l’autre bout. Chaque soumission y est notée automatiquement contre une réponse de référence figée, et le guide de participation est pensé pour être confié à un agent de code comme Codex ou Claude Code. Quand une tâche se vérifie, une note calculée suffit à départager les participants ; quand elle ne se vérifie pas, MASS fait du modèle son propre juge, sous le regard de juges extérieurs.