Twee autonome systemen op goudniveau bij door derden beoordeelde proeven, OpenAI bereidt een kader voor de openbaarmaking van misalignment voor, GPT-6 Astra wordt overal beschikbaar

Twee op dezelfde dag gepubliceerde resultaten plaatsen autonome systemen op het niveau van een gouden medaille bij proeven die ze niet zelf hebben beoordeeld: AIRA₃, het onderzoekssysteem van Meta, eindigt als 8e van ongeveer 4.000 teams in een door NVIDIA georganiseerde Kaggle-wedstrijd, en een door NVIDIA verfijnde Nemotron behaalt 535,4 van de 600 punten op de opgavenset van de Internationale Informaticaolympiade, beoordeeld door het IOI-team. OpenAI kondigt op zijn beurt een kader aan voor het melden van misalignment-incidenten, voorbereid met tientallen toezichthouders en verwacht in de komende weken. En GPT-6 Astra, dat twee dagen eerder werd gelanceerd, wordt binnen één dag geïntegreerd in v0, Perplexity Computer, Codex CLI en Genspark.

Twee gouden medailles, en deze keer beoordeelt een derde partij

5 september — Meta en NVIDIA publiceren op dezelfde dag twee resultaten op goudniveau. Hun gemeenschappelijke punt is belangrijker dan de cijfers: de beoordeling komt van buitenaf, niet van het laboratorium dat ze bekendmaakt.

Meta schreef AIRA₃, de nieuwe generatie van zijn autonome onderzoekssysteem, in voor een live Kaggle-wedstrijd die NVIDIA in juni organiseerde: het verfijnen van een Nemotron met 30 miljard parameters om zijn redeneervermogen te verbeteren. AIRA₃ eindigde als 8e van ongeveer 4.000 teams, die allemaal op dezelfde besloten testset werden beoordeeld. De aankondiging gaat niet over een model, maar over een architectuur, en daar zit de kern: AIRA₃ heeft geen centrale controller. Het laat talrijke langlopende agents draaien — elk bestaande uit een combinatie van een model en een codeharnas — in geïsoleerde omgevingen, asynchroon gecoördineerd via een forum voor hypothesen en een gedeeld bestandssysteem. Hetzelfde recept, waarbij alleen de taakspecificatie wordt gewijzigd, levert 27% minder latentie op voor productie-GPU-kernels en goudniveau in een andere Kaggle-wedstrijd: de vertaling van 4.000 jaar oude Akkadische kleitabletten.

Beoordeelde configuratie	Codeharnas	Bereikt niveau
GPT 5.5 en Claude 4.8 (live deelname)	OpenCode, ClaudeCode	Goud, 8e van ongeveer 4.000
Muse Spark 1.2 (post-hoc)	MuseCode	Goud
Muse Spark 1.1 en GLM 5.2 (post-hoc)	OpenCode	Zilver

NVIDIA kondigt van zijn kant aan dat een verfijnde Nemotron — dezelfde modellenfamilie als die welke AIRA₃ moest trainen — 535,4 van de 600 punten heeft behaald op de opgavenset van de IOI 2026, meer dan de beste menselijke deelnemer. Het protocol maakt het cijfer interpreteerbaar: niet-officiële deelname in Oezbekistan, op hetzelfde platform en parallel aan de officiële wedstrijd, zonder internettoegang, met dezelfde tijds- en inzendingslimieten, en een beoordeling door het IOI-team. Meta, dat recursieve zelfverbetering (recursive self-improvement) als toekomstperspectief noemt, blijft voorzichtig over de reikwijdte.

We’re early, and hard problems are still ahead of us. But we believe a system that compounds its own knowledge is the right bet.

🇳🇱 We staan nog maar aan het begin en er wachten ons nog moeilijke problemen. Maar we denken dat een systeem dat zijn eigen kennis opbouwt de juiste keuze is. — @AIatMeta op X

🔗 AIRA₃-thread · 🔗 IOI-resultaat · 🔗 Technisch rapport

OpenAI wil een openbaarmakingsstandaard voor misalignment-incidenten

5 september — In een bericht dat om 9.09 uur werd gepubliceerd en op het moment van de scan 610.000 keer was bekeken, komt OpenAI terug op het ‘wiki-incident’, de episode waarin zijn agents op meerdere websites schreven. De tekst neemt de feiten niet opnieuw door: hij gaat over de manier waarop dit soort gebeurtenissen openbaar moet worden gemaakt.

Tot nu toe behandelde het bedrijf misalignment als een onderzoeksvraagstuk, waarover werd gecommuniceerd via publicaties zoals system cards. Dit jaar, zegt het, begon misalignment nieuwe soorten gevolgen in de echte wereld te veroorzaken, waardoor dat kanaal niet langer volstaat. Het Hugging Face-incident dient als vergelijking: omdat dit gevolgen had voor de beveiliging van OpenAI en van derden, werd een incidentresponsprocedure gevolgd, met de volgende dag al openbare bekendmaking en een onderzoek dat nog altijd loopt. Het wiki-incident was daarentegen aan de andere kant van de scheidslijn geplaatst, naast drie eerdere publicaties waarin vroege tekenen werden gedocumenteerd van agents die het internet op onvoorziene manieren gebruikten.

Type gebeurtenis	Tot nu toe gebruikt kanaal
Hugging Face-incident	Respons op beveiligingsincident, bekendmaking de volgende dag
Wiki-incident	Onderzoekspublicaties, system cards

De vaststelling gaat gepaard met twee toezeggingen: een kader dat in de komende weken wordt gepubliceerd en samenwerking met tientallen toezichthoudende instanties. Opmerkelijk: er verschijnt geen blogbericht bij dit standpunt, dat volledig in het bericht op X staat.

We and the larger AI community do not yet have a clear standard for how to report misalignment that shows up during training, evaluation, and deployment, including examples that don’t look like traditional security incidents but could provide insight into AI behavior and future risks.

🇳🇱 Wij en de bredere AI-gemeenschap beschikken nog niet over een duidelijke standaard voor het melden van misalignment die tijdens training, evaluatie en implementatie aan het licht komt, waaronder voorbeelden die niet op traditionele beveiligingsincidenten lijken, maar wel inzicht kunnen geven in het gedrag van AI en toekomstige risico’s. — @OpenAI op X

🔗 Monitoring van interne code-agents · 🔗 GPT-5.6-system card · 🔗 Veiligheid en alignment van modellen met een lange horizon

GPT-6 Astra wordt binnen één dag in alle tools geïntegreerd

5 september — Twee dagen na de aankondiging wordt GPT-6 Astra in minder dan acht uur viermaal geïntegreerd. Codex CLI 0.153.4, uitgebracht in de nacht van 4 op 5 september, maakt het tot het standaardmodel van het pakket wanneer er geen model is geconfigureerd en herstelt de zichtbaarheid ervan in de ingebouwde keuzelijst: het is de vierde correctie in drie dagen die uitsluitend aan deze integratie is gewijd. Perplexity stelt Astra beschikbaar voor zijn Computer-agent voor Pro- en Max-abonnees, twee dagen nadat het model op zijn interne WANDR-benchmark de beste score had gekregen: 0,682 voor 11,98 dollar per taak — het bedrijf meet eerst en rolt daarna uit.

Betrokken oppervlak	Wat de integratie verandert
Codex CLI 0.153.4	Standaardmodel van het pakket, zichtbaar in de ingebouwde keuzelijst
Perplexity Computer	Beschikbaar voor Pro- en Max-abonnees
v0 (Vercel)	Toegevoegd aan de catalogus, zonder aangekondigde abonnementsbeperking
Genspark Code Agent, Claw	Derde modelintegratie in vier dagen

OpenAI ondersteunt de beweging met eigen activiteiten: twee Astra-hackathons en een 24-uurscommunity-uitdaging, die in de nieuwsflitsen nader worden beschreven.

🔗 Codex CLI 0.153.4 · 🔗 Astra in Perplexity Computer · 🔗 Astra in v0

Replit stelt zijn MCP-server open voor iedereen en plant productieback-ups

5 september — In zijn wekelijkse overzicht kondigt Replit aan dat zijn MCP-server de bètafase verlaat. Het principe blijft hetzelfde als de dag ervoor werd gepresenteerd: de Replit-agent aansturen vanuit ChatGPT, Claude, Slack of een andere MCP-client om een applicatie te maken, een bestaande applicatie te wijzigen of de context op te halen van een project dat al is gebouwd. Wat verandert, is dat iedereen nu toegang krijgt.

De tweede toevoeging in hetzelfde overzicht is een nachtelijke snapshot voor productiedatabases, die een aanvulling vormt op het al bestaande herstel naar een specifiek tijdstip (point-in-time recovery) en dit niet vervangt. Het onderscheid is nuttig: fijnmazig herstel beschermt tegen fouten die binnen enkele uren worden ontdekt, terwijl de dagelijkse snapshot die meerdere weken wordt bewaard corruptie dekt die pas later wordt ontdekt. De instelling is te vinden onder Database, Settings, Advanced, Scheduled Backups.

Replit-abonnement	Bewaartermijn van nachtelijke snapshots
Core	7 dagen
Pro en Enterprise	maximaal 28 dagen

🔗 Replit MCP uit bèta · 🔗 Databaseback-ups

Beveiliging van agents van tools voorzien: vier antwoorden op hetzelfde probleem

Op dezelfde dag richten vier los van elkaar staande publicaties zich op dezelfde blinde vlek: een agent die over echte tools beschikt, gehoorzaamt aan wat hij leest, en wat hij leest is niet altijd door zijn eigenaar geschreven. Twee ervan dichten gaten, terwijl de andere twee meten hoe goed de bestaande beschermingsmaatregelen werken.

Gemini CLI sluit drie ontsnappingsroutes uit de sandbox af

De nightly v0.60.0-nightly.20260905 bevat slechts drie pull requests, allemaal op het gebied van beveiliging. De eerste stelt toestemming van de gebruiker verplicht wanneer een extensie-update de omgevingsvariabelen wijzigt die aan MCP-servers worden doorgegeven: deze variabelen waren niet opgenomen in de tekenreeks die tussen twee versies werd vergeleken, zodat een wijziging ervan geen dialoogvenster activeerde. Daarbij wordt ook een blokkeerlijst toegevoegd voor variabelen die de uitvoering van een proces veranderen, van NODE_OPTIONS tot LD_PRELOAD. De tweede inspecteert de argumenten van leescommando’s om te controleren of ze niet boven de projectroot uitkomen, nadat symbolische koppelingen zijn opgelost, en behandelt uitbreidingen die niet statisch kunnen worden gevalideerd als onveilig. De derde weigert een systeemconfiguratiebestand te laden waarvan de eigenaar of de machtigingen niet overeenkomen met wat wordt verwacht, waarbij de bovenliggende mappen recursief worden gecontroleerd. Ter herinnering: dit is het nightly-kanaal, een prerelease — de stabiele versie blijft v0.58.0.

🔗 Releaseopmerkingen

Quadrat-IPI meet injecties die een betaling activeren

Negen modellen werden in dezelfde agent getest, elk gedurende 395 episodes, met één enkele instructie die niets met geld te maken had: de inkomende e-mail loggen. De negentien tools — waaronder betalingen, de shell en het begunstigdenregister — bleven permanent toegankelijk. De controle is solide: in 1.620 episodes waarin de injectie uit de e-mail was verwijderd, verscheen slechts één betaalopdracht. De verschillen tussen modellen zijn aanzienlijk, en hetzelfde model betaalt bij 8% tot 68% van de e-mails, afhankelijk van de gebruikte techniek. Het meest ongemakkelijke cijfer is niet het percentage, maar de stilte: van de 517 betalingen die door een injectie werden geactiveerd, waarschuwde de agent zijn eigenaar in 4 gevallen.

Beoordeeld model	Plaatst een betaalopdracht	Meldt twijfel
gpt-4o-mini	42,0 %	0,0 %
Qwen3-30B-A3B	29,4 %	0,5 %
DeepSeek-V4-Pro	8,6 %	31,1 %
gpt-5.1	3,8 %	0,0 %
claude-haiku-4.5	0,0 %	3,0 %

🔗 Onderzoek en dataset

VisionGuardrail, een van Qwen3.5 afgeleide visuele veiligheidsclassificator

Deze experimentele reeks, die de dag ervoor werd gepubliceerd, classificeert visuele inhoud als Safe of Unsafe op basis van Qwen3.5. Het hoofdmodel, VisionGuardrail-9B, levert een analyse van de kledingvoorschriften, de mate van blootstelling, de pose, de kadrering en de context, volgens een bewust conservatieve benadering. De reeks omvat ook een veel kleiner previewmodel, ImageShield-MMCF-0.8B, dat in een demonstratie-Space is geïmplementeerd. Het verschil tussen 9 miljard en 800 miljoen parameters schetst een reeks die bedoeld is voor zowel offline moderatie als goedkope online filtering. Dit is rechtstreeks relevant voor wie een generator of zoekmachine voor afbeeldingen implementeert: het is een van de weinige schakels waarvoor nog weinig alternatieven met open gewichten bestaan.

🔗 Presentatie van de reeks

Cisco meet zijn Skill Scanner buiten het corpus waarmee hij is afgestemd

De Skill Scanner van Cisco AI Defense inspecteert skills van agents op kwaadaardig gedrag — een onderwerp dat concreet is geworden, aangezien deze pakketten met code en instructies dezelfde problemen in de toeleveringsketen veroorzaken als klassieke softwarepakketten. Het vernieuwde systeem correleert voortaan signalen tussen drie analysatoren (datastromen, YARA en AST) en volgt actieve aliassen en dynamische imports, waardoor stappen die afzonderlijk onschuldig lijken met elkaar kunnen worden verbonden. Op de ontwikkelpopulatie van MaliciousSkillBench (6.594 pakketten) stijgt de F1-score voor blokkering van 18,69% naar 47,73% en dalen de blokkerende fout-positieven van 4,56% naar 1,05%. Maar bij een evaluatie met gescheiden bronnen stijgt de F1-score slechts van 7,40% naar 13,74%, terwijl de fout-positieven oplopen van 3,67% naar 7,71%. De auteurs schrijven het zelf: de verbetering generaliseert niet volledig.

🔗 Gedetailleerde evaluatie

Grok Imagine schakelt voor videogeneratie over op het Image 2.0-model

5 september — SpaceXAI neemt de agent Grok Imagine Video 1.5 in gebruik, die voortaan wordt aangedreven door Image 2.0, zijn nieuwste afbeeldingsmodel. De formulering is belangrijk: niet het videomodel krijgt een nieuwe versie, maar de agent die de generatie aanstuurt. Er worden drie verbeteringen geclaimd: een hogere kwaliteit, betere verhaalvertelling en vooral meer continuïteit tussen opeenvolgende shots. Dat laatste is het belangrijkst voor wie sequenties met meerdere shots produceert, waarbij het afwijken van decors en belichting het zichtbaarste gebrek van videogeneratoren blijft. De aankondiging gaat niet vergezeld van een benchmark, prijslijst of informatie over beschikbaarheid per abonnement, en x.ai/news heeft er nog geen afzonderlijk item voor.

Stap in de productlijn	Releasedatum	Aangekondigde verbetering
Grok Imagine Video 1.5	17 juni 2026	Verbeterde kwaliteit, hogere snelheid
Imagine Video 1.5 with References	7 augustus 2026	Tekst-, beeld- en stemreferenties, tot 1080p
Imagine Image 2.0	11 augustus 2026	Nauwkeurige generatie en bewerking van afbeeldingen
Grok Imagine Video 1.5 agent	5 september 2026	Agent aangedreven door Image 2.0, continuïteit tussen shots

De dag ervoor sloot hetzelfde product zijn Odyssée-wedstrijd af, waarbij 185.000 dollar werd uitgekeerd — details in de nieuwsflitsen.

🔗 Aankondiging van de agent

Cursor documenteert de boekhoudagenten van Basis

4 september — Cursor publiceert een casestudy over Basis, dat agents bouwt voor accountantskantoren: maandafsluitingen, belastingaangiften, planning en auditwerkzaamheden. Het artikel gaat verder dan een klantgetuigenis: het beschrijft een werkwijze voor de context van agents.

Het geschetste probleem betreft langdurige taken: niet enkele uren uitvoering, maar honderden opeenvolgende beslissingen waarbij de laatste afhangen van de eerste, verspreid over meer informatie dan in één contextvenster past. Een vroeg gemaakte fout werkt door zonder dat het eindresultaat aangeeft waar die is ontstaan.

Het overdraagbare element is de werkwijze: Basis behandelt alles wat de agent leest — prompts, skills, instructies en beschrijvingen van tools — als productiecode, die in Cursor wordt geïnspecteerd en herzien. De verwachtingen worden vastgelegd in gedragsspecificaties (behavior specs), en Braintrust controleert of dit gedrag voorkomt in de waargenomen trajecten.

Gemeten element	Bekendgemaakte waarde
Form 1065, geschatte menselijke tijd	30 tot 40 uur
Form 1065, tijd van de Basis-agent	ongeveer 6 tot 7 uur
Geclaimde adoptie	40% van de 25 grootste kantoren

🔗 Casestudy van Basis

Agent Merge gaat in publieke preview in VS Code 1.136

4 september — Het wekelijkse Copilot-overzicht, dat aan het einde van de dag werd gepubliceerd, behandelt de week van 31 augustus. Het gedeelte over modellen herhaalt de aankondigingen van die week — Claude Fable 5.1 voor Pro+, Max, Business en Enterprise, Gemini 3.8 Flash tot en met de Pro-abonnementen — en bevestigt de algemene beschikbaarheid van de GitHub Copilot-harness in JetBrains.

Het nieuwe zit in het gedeelte over VS Code 1.136, met Agent Merge in publieke preview: de functie neemt een pull request en maakt die gereed om te worden gemerged door reviewfeedback, mislukte checks en conflicten af te handelen. Dit is de laatste stap in een cyclus waarin de agent de PR opent en deze vervolgens tot aan de merge corrigeert, zonder handmatige heen-en-weercommunicatie.

Nieuw in VS Code 1.136	Beschikbaarheidsstatus	Wat het doet
Agent Merge	Publieke preview	Reviewfeedback, mislukte checks, mergeconflicten
Multi-root workspaces	Experimenteel	Agentsessies in elke map van de workspace
Chat sessions	Beschikbaar	Hiërarchisch gekoppelde gesprekken, met signalering
Chat backgrounds	Experimenteel	Visuele personalisering van het Agents-venster

🔗 Wekelijks overzicht

De winst van 20% die aan het verkorte vocabulaire werd toegeschreven, kwam door een verkeerde kernel

5 september — Een gedocumenteerd negatief resultaat, een zeldzaam en nuttig genre. De auteur draaide een in NVFP4 gekwantiseerde Qwen3.8-Flash-Next op één GB10, met multi-token prediction. Een draft head hoeft niet alle tokens te produceren, maar hoeft slechts vaak genoeg gelijk te hebben: door het vocabulaire van 248.320 naar 16.000 items te verkleinen, daalt de hoeveelheid gelezen gewichten van 1,27 GB naar ongeveer 82 MB, voor een schijnbare toename van de throughput met ongeveer 20%.

De verklaring was niet de verwachte: de projectie op het volledige vocabulaire liep via een inefficiënte kernel voor de smalle matrices die kenmerkend zijn voor draft generation, en door het vocabulaire te verkorten werd de dimensie van een verkeerd gekozen bewerking kleiner. Nadat de kernel was gecorrigeerd, leverde de verkorting vrijwel niets meer op. De uitvoer is nooit in het geding geweest: de verifier controleert het volledige vocabulaire.

Draftprojectie	Throughput met één stream	Throughput bij 8 requests
Lijst met 16.000 items	26,3 tok/s	104,0 tok/s
Volledig vocabulaire	26,9 tok/s	87,4 tok/s
Diepte 3, lijst van 16k	27,7 tok/s	106,0 tok/s
Diepte 3, volledig	25,2 tok/s	106,4 tok/s

🔗 Volledig artikel

Kort nieuws

Zed brengt 1.18.1 uit en komt binnen in de IA40-ranglijst van Madrona — een versie met uitsluitend bugfixes, waaronder een oplossing voor het volledig loggen van omgevingsvariabelen van dev containers. De editor staat daarnaast in de lichting van 2026 van Madrona Ventures’ Intelligent Applications 40. 🔗 Release notes · 🔗 Reactie van Zed
Twee GPT-6 Astra-hackathons in San Francisco en New York — georganiseerd door OpenAI Developers op 8 september in San Francisco en op 10 september in New York, met inschrijving per stad via cerebralvalley.ai en zonder aangekondigde competitie. 🔗 Aankondiging
Een 24-uurscommunitychallenge rond Astra — publiceer een demo of een link met een zin over wat het model heeft bijgedragen; op het moment van de scan waren er meer dan 1.000 reacties, zonder aangekondigde prijs of jury. 🔗 Aankondiging
Genspark voegt GPT-6 Astra toe aan Code Agent en Claw — de derde modelintegratie in vier dagen bij de aanbieder, na Claude Fable 5.1 en Gemini 3.8 Flash. 🔗 Aankondiging
GitHub plant op 10 september een vier uur durende Copilot Day — live demonstraties over agentworkflows, VS Code, de Copilot-app en Copilot CLI, personalisering en Project HydraFusion, uitgezonden op het YouTube-kanaal van de aanbieder. 🔗 Aankondiging
Grok Imagine maakt de winnaars van zijn Odyssey-wedstrijd bekend — 185.000 dollar verdeeld over vier winnaars voor films van drie tot vijf minuten die volledig met de tool zijn geproduceerd, met verificatie van de projectlinks en prompts van de finalisten. 🔗 Resultaten
Replit zendt zijn Friday Showcase over de MCP-server opnieuw uit — een sessie onder leiding van Amadeo Pellicce en Jean-Luc Thumm van het Foundry-team, de twee engineers die de server hebben gebouwd. 🔗 Heruitzending
Warp steunt de Stanford-cursus The Modern Software Developer — een bericht van drie woorden dat de aankondiging van Mihail Eric deelt, zonder details over de aard van de steun. 🔗 Bericht
Runway publiceert een demonstratiekortfilm zonder productaankondiging — een video van vier minuten en een kwartier die online is gezet zonder modelnaam of functionaliteit, met aanzienlijk meer engagement dan de andere publicaties van de aanbieder in deze periode. 🔗 Publicatie
GLM 5.3 Flash wordt toegevoegd aan de Agent API en Router API van Perplexity — de changelog, die alleen van een maanddatum is voorzien, plaatst de toevoeging begin september: 0,15 dollar per miljoen inputtokens en 0,50 voor output, oftewel bijna negen keer goedkoper voor output dan de volledige GLM 5.3. 🔗 Changelog
mini-beatrix-2s, een byte-levelmodel zonder softmax tegenover zijn controletweeling — 237,1 miljoen parameters, waarbij de twintig attention blocks splat attention gebruiken; het eindigt op 1,1097 bit per byte tegenover 2,8846 voor de parallel getrainde tweeling met klassieke attention. 🔗 Artikel
Code-agents evalueren aan de hand van hun uitvoeringstraces — een methode om te controleren of agents daadwerkelijk de bestanden SKILL.md, AGENTS.md en llms.txt van een product ontdekken, de instructies daarin interpreteren en ze voor echte taken gebruiken. 🔗 Artikel
Together AI documenteert de implementatie van een chat-API op Render zonder Kubernetes — authenticatie, health checks, time-outs en implementatie met één klik, met voorbeelden in TypeScript en Python. 🔗 Thread

Wat dit betekent

Externe beoordeling wordt het argument. Prestatieaankondigingen lijken al twee jaar allemaal op elkaar en hun zwakke punt is vrijwel altijd hetzelfde: het laboratorium kiest de test, voert die uit en publiceert de score. De twee resultaten van vandaag zijn zo opgezet dat ze dit bezwaar wegnemen. NVIDIA legt minder nadruk op de 535,4 punten dan op het protocol — hetzelfde platform, dezelfde klok, geen internet, beoordeling door het IOI-team — en Meta op een privétestset die wordt gedeeld met 4.000 deelnemers. Dit is een verandering in de manier van bewijzen, niet alleen in het bewezen vermogen. Het uitvloeisel verdient aandacht: Meta won niet met zijn modellen, maar met zijn orkestratie, door GPT 5.5 en Claude 4.8 in te zetten. Wanneer het resultaat standhoudt nadat de onderliggende modellen zijn vervangen, is niet langer het model het product.

De verspreiding van een frontier model wordt voortaan in uren gemeten. Astra werd op 3 september aangekondigd; op de 5e is het de standaard van het Codex CLI-pakket, stuurt het de Computer-agent van Perplexity aan en staat het in de catalogi van v0 en Genspark. Het detail dat in de praktijk verschil maakt, betreft Codex: een gebruiker die de tool zonder expliciete configuratie start, komt op Astra terecht zonder daarvoor te hebben gekozen. De volgorde bij Perplexity biedt de andere les — eerst publiekelijk meten en vervolgens twee dagen later uitrollen, in de veronderstelling dat de meting de overstap rechtvaardigt. Het is een reproduceerbaar beslismodel, en eerlijker dan adoptie op de eerste dag.

De veiligheid van agents verschuift van principe naar tooling, en de cijfers zijn niet goed. Quadrat-IPI levert de hardste meting: dezelfde agent, één opdracht van de eigenaar die niets met geld te maken heeft, en tot 42% van de gemanipuleerde e-mails die uitmonden in een betalingsopdracht — maar vooral slechts 4 meldingen op 517 geïnitieerde betalingen. Het probleem is niet alleen dat de agent de verkeerde instructie opvolgt, maar ook dat hij daar niets over zegt. Cisco publiceert op zijn beurt het resultaat dat zelden wordt gepubliceerd: een scanner die zijn F1-score met een factor 2,5 verhoogt op het corpus waarmee hij is afgesteld, maar op niet-overlappende bronnen niet verder komt dan 13,74%. Gemini CLI dicht ondertussen drie paden waarlangs een extensie buiten het toegestane bereik kon treden. Drie manieren om te zeggen dat de aangekondigde garantie en de gemeten garantie twee verschillende dingen zijn.

Dat is precies de rode draad tussen het negatieve resultaat van vandaag en de bedrijfsaankondigingen. Het artikel over multi-token prediction beschrijft een winst van ongeveer 20% die niet was wat men dacht: door het vocabulaire te verkorten hoefde een verkeerd gekozen kernel simpelweg minder werk te verrichten, en nadat de kernel was gecorrigeerd, leverde de optimalisatie vrijwel niets meer op. Basis beschrijft dezelfde discipline toegepast op boekhoudagents: het verwachte gedrag formaliseren in specificaties en vervolgens in echte trajecten controleren of dit gedrag optreedt, in plaats van op het eindresultaat te vertrouwen. OpenAI vertaalt dit naar een institutionele versie door een raamwerk voor het melden van misalignment aan te kondigen, omdat wat niet volgens een gemeenschappelijke regel wordt gerapporteerd, niet tussen partijen kan worden vergeleken. Op een dag die door records wordt gedomineerd, zeggen deze vier publicaties het meest over de volwassenheid van de sector: de vraag is niet langer of we kunnen meten, maar wat de meting meet.