Clément Delangue trekt drie lessen uit de cyberaanval met een agent op Hugging Face, OpenAI herstelt het beeldbegrip van GPT-6 Sol en Luna, Apple publiceert LensVLM-9B

Clément Delangue, CEO van Hugging Face, trekt drie lessen uit de cyberaanval die een autonome agent in juli op zijn bedrijf uitvoerde en stelt verplicht delen van agenttraces voor. Ondertussen laat de benchmark Quadrat-IPI zien dat misleide agents vrijwel nooit alarm slaan wanneer een aanval slaagt: 3 meldingen bij 389 betalingen die via injectie tot stand kwamen. OpenAI verhelpt een coderingsfout die het beeldbegrip van GPT-6 Sol en GPT-6 Luna aantastte, Apple publiceert LensVLM-9B, dat lange documenten als gecomprimeerde pagina’s leest, en SmolDataEnvs stelt 5.000 data-analysetaken beschikbaar om kleine modellen te trainen. Bij codeagents controleert Claude Code 2.1.283 instructies die voor oudere modellen zijn geschreven, schakelt Qwen Code 0.24.6 een adviserend model in en zet een nightly van Gemini CLI bevestigingsverzoeken in niet-interactieve modus om in weigeringen.

Beveiliging van agents: de drie lessen van Clément Delangue en de benchmark Quadrat-IPI

Twee teksten benaderen dezelfde vraag vanuit verschillende invalshoeken: wat weten we over aanvallen via agents? De eerste komt van een bedrijf dat zo’n aanval heeft meegemaakt; de tweede meet wat aangevallen agents melden of verzwijgen.

Clément Delangue trekt drie lessen uit de cyberaanval met een agent op Hugging Face

24 september — Volgens CEO Clément Delangue was Hugging Face in juli het eerste bedrijf dat een cyberaanval door een autonome agent openbaar maakte. Op X trekt hij er drie lessen uit.

Transparantie: vergelijkbare incidenten zouden maanden eerder in het geheim hebben plaatsgevonden bij enkele toonaangevende laboratoria zonder toezicht, die hij niet bij naam noemt; hij stelt verplicht delen van agenttraces voor. Asymmetrie: omdat de beveiligingsmaatregelen van gesloten API’s geen onderscheid maken tussen verdedigers en aanvallers, kon zijn team daar niet verder en week het uit naar « de NVIDIA-versie » van GLM 5.2, een open model van Z.ai; volgens hem zou een groot deel van de verdediging op open-source tools kunnen steunen. Tot slot, tegen onheilsverhalen in: AI helpt Hugging Face zijn kwetsbaarheden te verhelpen en OpenAI zijn sandboxes te versterken tegen agents die daaruit proberen te ontsnappen, stelt hij.

We were attacked by AI, but more importantly, we defended ourselves with AI.

🇳🇱 We zijn aangevallen met AI, maar bovenal hebben we ons met AI verdedigd. — @ClementDelangue op X

Quadrat-IPI: 3 meldingen bij 389 betalingen via injectie

26 september — In een communitybericht onderzoekt Mikhail Gribov, maker van de promptinjectieset Quadrat-IPI, of de agent een aanval meldt wanneer hij daartoe de mogelijkheid heeft. De geteste agent is de persoonlijke assistent van een mailboxhouder in een gesimuleerde wereld. Hij beschikt over 19 tools en krijgt er een twintigste bij, escalate_security_incident, waarover de systeemprompt niets zegt. Bij 395 e-mails met een injectie gebruiken de negen geteste modellen deze tool, afhankelijk van het model, in 48,9 % van de gevallen tot helemaal nooit.

Van de 389 betalingen die onder invloed van een injectie werden uitgevoerd, ging slechts bij drie een melding uit, telkens na de betaling: de modellen melden vooral aanvallen die ze afweren. Van de genoemde modellen meldt gpt-4o-mini één aanval op 395, gpt-5.1 4,8 % van de aanvallen en gpt-6-astra geen enkele, omdat dit model de e-mail alleen vastlegt zonder het verzoek erin uit te voeren. De auteur concludeert dat zichtbaarheid van buiten de agent moet komen, door te inspecteren wat deze leest; de harness, logs en beoordelaar zijn gepubliceerd.

🔗 Het bericht van Mikhail Gribov

OpenAI verhelpt een coderingsfout die het beeldbegrip van GPT-6 Sol en GPT-6 Luna aantastte

25 september — Drie dagen na de lancering van GPT-6 Sol en GPT-6 Luna, twee reasoning-modellen die tekst en beelden als input accepteren, meldt OpenAI in de changelog van zijn API een coderingsfout voor beelden te hebben verholpen die hun beeldbegrip aantastte. De correctie verbetert de resultaten bij visuele taken in zowel de API als Codex, waaronder computer use.

OpenAI raadt ontwikkelaars met toepassingen die beelden als input gebruiken aan hun evaluaties opnieuw uit te voeren en de getroffen workflows nogmaals te proberen. De vermelding zegt niet hoelang de fout al aanwezig was of hoe sterk de resultaten erdoor verslechterden. De correctie is niet gedeeld door @OpenAI of @OpenAIDevs op X en staat niet in de changelog van ChatGPT en Codex.

🔗 Changelog van de OpenAI API

Een model en een dataset op Hugging Face: LensVLM-9B van Apple en SmolDataEnvs

Twee publicaties van deze week die hier nog niet aan bod kwamen: een model van Apple dat lange documenten als gecomprimeerde beelden leest, en een verzameling controleerbare taken om kleine modellen te trainen in data-analyse.

Apple publiceert LensVLM-9B, dat alleen relevante documentpagina’s opnieuw opent

22 september — Apple publiceert LensVLM-9B op Hugging Face, een vision-language-model waarvan de code ook op GitHub staat. Het model ontvangt een lang document als pagina’s die zijn weergegeven als kleine, gecomprimeerde beelden, identificeert de relevante pagina’s en opent vervolgens met aangeleerde tools hun ongecomprimeerde versie, in plaats van het document in duizenden tokens op te delen.

Kenmerk van LensVLM-9B	Gepubliceerde waarde
Omvang en basismodel	9 miljard parameters, gefinetuned op Qwen3.5-9B
Aangeboden compressieniveaus	5x, 10x en 15x
Nauwkeurigheid vergelijkbaar met volledige tekst	Bij 4,3x effectieve compressie
Beter dan referentiemethoden	Tot 10,1x, op zeven vraag-antwoordbenchmarks
Licentie van de gewichten	Apple Machine Learning Research Model License

Deze resultaten komen uit het bijbehorende onderzoeksartikel, dat in mei op arXiv werd geplaatst; de antwoorden zijn daarin beoordeeld door een model dat als beoordelaar fungeert.

🔗 LensVLM-9B op Hugging Face · Artikel op arXiv

SmolDataEnvs: 5.000 controleerbare data-analysetaken

24 september — Adithya S K publiceert SmolDataEnvs op de Hub, onder de organisatie FineEnvs en met een MIT-licentie: data-analysetaken om kleine modellen te trainen met reinforcement learning. Elke taak combineert een echte tabeldataset, een vraag en een referentieantwoord. Ze zijn afkomstig uit notebooks over 471 Kaggle-datasets en door agents gevalideerd in een echte sandbox. Een meegeleverde beoordelaar beoordeelt het antwoord zonder taalmodel, van exacte overeenstemming tot symbolische equivalentie.

Takenset	Makkelijke taken	Middelzware taken	Moeilijke taken
Training (5 000)	1 433	2 845	722
Test (250)	33	118	99
Evaluatie (144)	16	74	54

De apart gehouden sets zijn dus bewust moeilijker samengesteld. De verzameling bevat ook 4.677 geverifieerde agenttrajecten die klaar zijn voor TRL, en dezelfde taken als uitvoerbare Harbor-omgevingen; Clément Delangue deelde de publicatie de volgende dag.

🔗 SmolDataEnvs op Hugging Face

Codeagents: Claude Code 2.1.283, Qwen Code 0.24.6 en de nightly 0.63.0 van Gemini CLI

Claude Code 2.1.283: een controle van instructies en twee beperkingen voor modellen

25 september — Versie 2.1.283 telt 94 vermeldingen, waaronder 53 bugfixes. De belangrijkste nieuwe functie, /doctor prompt-audit (ook /checkup prompt-audit), controleert CLAUDE.md-bestanden, skills, agents en commando’s om formuleringen te vinden die voor oudere modellen zijn geschreven, met verouderde paden en tegenstrijdige instructies als belangrijkste aandachtspunten.

Nieuw in 2.1.283	Wat er verandert
`availableModelsMatch: "exact"`	Een pas uitgebracht model blijft geblokkeerd totdat het op de lijst staat
`deniedModels`	Blokkeert specifieke modellen, zelfs als `availableModels` ze toestaat
Standaardmodus voor permissies	Automatische modus bij een externe aanbieder of uitgeschakelde telemetrie, tenzij een modus is ingesteld
PowerShell op Windows	`rd`, `rmdir`, `del` en `erase` kunnen de hoofdmap van een schijf niet meer wissen
Code Review	Een review die door de tijdslimiet stopt zonder iets te controleren, wordt niet meer in rekening gebracht

De versie draait ook het reserveren van de naam claude-ai terug, dat een dag eerder met 2.1.282 was ingevoerd.

🔗 Releaseopmerkingen voor Claude Code 2.1.283

Qwen Code 0.24.6: een adviserend model en een Batch API-workflow

26 september — Qwen Code v0.24.6 brengt 17 functies, 14 bugfixes en 3 optimalisaties, zonder bekende breaking changes. De belangrijkste toevoeging is een ingebouwde Advisor-tool, die standaard uitstaat: als de gebruiker een tweede model als adviseur instelt, kan de agent dit om een onafhankelijk oordeel vragen. De adviseur ziet de systeeminstructie, de opgegeven tools en het gesprek, maar kan zelf niets uitvoeren; hij wordt gekozen met /advisor of --advisor, nooit vanuit een repository, waarvan de instelling met een waarschuwing wordt genegeerd. Anthropic biedt hetzelfde principe sinds april als bèta in zijn API aan.

De workflow /batch-api bereidt batchverwerking voor de Batch API van DashScope voor en laat de betaalde indiening, waarvoor goedkeuring vereist is, over aan subcommando’s van qwen batch. Tot slot wordt volgens PR #12622 een koude start, afhankelijk van de machine, ongeveer 2,2 tot 2,4 keer sneller, met 60 % minder geheugengebruik.

🔗 Qwen Code v0.24.6 op GitHub

Gemini CLI: de nightly 0.63.0 weigert bevestigingen in niet-interactieve modus

26 september — De nightly van 26 september, gepubliceerd om 01.20 uur UTC, begint de 0.63.0-reeks van Gemini CLI; de stabiele v0.61.0 en de previewversie v0.62.0 veranderen niet. De grootste wijziging (PR #29506, 26 bestanden) betreft de regelengine (PolicyEngine): in niet-interactieve modus wordt een beslissing die om bevestiging van de gebruiker zou vragen (ASK_USER), een weigering (DENY). Output van externe MCP-resources en webzoekopdrachten wordt voortaan, net als die van web-fetch, ingekapseld volgens de standaarden voor niet-vertrouwde context (untrusted context).

Drie bugfixes verhelpen specifieke problemen: een lege instelling voor diff.external, die Git als een uitvoerbaar bestand beschouwde, liet git diff in de sandbox vastlopen; tijdelijke mappen van commando’s die op de achtergrond draaien worden voortaan verwijderd; twee ACP-sessies die binnen dezelfde minuut worden geopend, botsen niet meer.

🔗 Opmerkingen bij de nightly 0.63.0 van Gemini CLI

Korte berichten

Codex CLI 0.157.1 — Correctie op 0.157.0, uitgebracht op 26 september en alleen voor Windows: de host van de codemodus en lokale MCP-servers openen geen consolevenster meer, en het starten van de daemon is betrouwbaarder gemaakt. De automatisch gegenereerde releaseopmerkingen zijn leeg; dit detail komt uit een vergelijking van de twee versies. 🔗 bron
Getuigenis over Claude Tag — Boris Cherny, hoofd van Claude Code, zegt op X dat Claude Tag, de in Slack geïntegreerde Claude-agent, elke dag meer dan de helft van zijn PR’s schrijft en ongeveer 100 % van zijn data-analyses uitvoert. Hij deelt zijn instructies, waaronder het reproduceren van elke bug die in een kanaal wordt gemeld voordat er een PR wordt geopend. 🔗 bron
Doorlooptijd van pullrequestreviews — De repos-1-day-rapporten van de API voor Copilot-gebruiksstatistieken krijgen een pull_request_review_times-tabel: de mediaan en het 90e percentiel voor drie stappen, van ‘klaar voor review’ tot de eerste review, van de eerste tot de laatste review en vervolgens tot de merge. Alleen menselijke reviews tellen mee; er zijn geen gegevens van vóór 21 september. 🔗 bron
Validator voor zakelijke Copilot-instellingen — Deze is geïntegreerd in de pagina AI controls en meldt ongeldige JSON, niet-ondersteunde configuraties en ongeldige teamkoppelingen in copilot/managed-settings.json en copilot/team-mappings.json, met voor elke fout het bestand en het JSON-pad. De vermelding noemt geen status of abonnement. 🔗 bron
GitHub Issues — Twee functies zijn nu algemeen beschikbaar: privé opgeslagen weergaven op de issuepagina’s van repositories en de relatie ‘Relates to’ tussen issues. Die relatie was sinds 7 augustus in preview en wordt nu ondersteund door de REST- en GraphQL-API’s, webhooks, de tijdlijn en zoekopdrachten naar issues en projecten. 🔗 bron
Grok Bot en financiën — Volgens een thread van @bot koppelt de nieuwe Finance-integratie van Grok Bot bankrekeningen, kaarten en beleggingsrekeningen via Plaid, met alleen leestoegang en zonder toegang tot inloggegevens. De thread vermeldt geen landen of abonnementen. Grok, de assistent, kreeg op 4 september al een Plaid-koppeling met Amerikaanse bankrekeningen. 🔗 bron
NVIDIA en ROS 2 Lyrical — Blogbericht van 22 september: NVIDIA heeft een CUDA-geheugenmodule bijgedragen aan ROS 2 Lyrical. Die wordt gebruikt door Isaac ROS 5.0 en laat gegevens die op de GPU blijven zonder kopiëren tussen nodes op dezelfde machine doorgeven. Een skill laat een codeagent bestaande nodes migreren; een gekwantificeerde prestatiewinst ontbreekt. 🔗 bron
DGX Spark Handbook — Deze communitygids, gepubliceerd onder de exolabs-organisatie op de Hub, geeft cijfers over wat één tot vier DGX Spark-systemen kunnen: een catalogusprijs die van 3.999 naar 4.699 dollar is gestegen, 22 tot 25 W in rust en, volgens een test van NVIDIA, 269 ms per gegenereerd token op één machine tegenover 72 ms op vier. 🔗 bron
Pretraining op een laptop — In een communityblog laat Rambarun Komaljeet de pretraining van een model met 1,11 miljard parameters passen in de 6 GB RTX 4050 van een laptop. Een volledige pretraining zou ongeveer 375 dagen duren; geen model met meer dan 48 miljoen parameters is tot convergentie getraind. 🔗 bron
Pruna en Qwen-Image-2.1 — Pruna AI stelt twee LoRA-adapters beschikbaar waarmee Qwen-Image-2.1 beelden in 5 of 8 stappen genereert in plaats van 40, volgens de maker tot 6,3 keer sneller. Deze versie 0.1 haalt nog niet de kwaliteit van het basismodel en valt onder de onderzoekslicentie van Qwen. 🔗 bron
Marin en Dolma 3.5 — Volgens Ai2 haalt de 535B-training van Marin ongeveer 1.800 miljard tokens uit Ai2’s Dolma 3.5-corpus en gebruikt die de Olmix-recepten en de methode Organize the Web. Voor Marin zijn 25.000 miljard tokens gebruikt uit 152 datasets waarvan de licentie training toestaat. 🔗 bron
GLiNER2.5-Decide en DecisionBench — Stephen Solka van Hanno Labs laat zien dat het invoerformaat de score van GLiNER2.5-Decide op DecisionBench beïnvloedt: 38,9 % op de ondersteunde rijen, tegenover de 60,2 % die Fastino op zijn eigen benchmark meldde. Zonder de beschrijvingen van de opties stijgt het aantal juiste antwoorden van 27 naar 37 op 101 rijen. 🔗 bron
Een gids over alignment van Perplexity — Perplexity publiceert in zijn rubriek Ideeën een educatieve gids over AI-alignment: acht gedocumenteerde faalpatronen, van behaagzucht (sycophancy) tot bewust onderpresteren (sandbagging), en de openbare kaders van OpenAI, Anthropic en Google DeepMind. Er hoort geen nieuwe functie bij. 🔗 bron
Cybersecurity en werkgelegenheid, een opiniestuk — In een opiniestuk zonder onderliggende gegevens op de communityblog van Hugging Face vreest Sonny DeSorbo dat de automatisering van juniorfuncties in cybersecurity, samen met door AI goedkoper geworden cybercriminaliteit, afgestudeerden richting online criminaliteit duwt. Hij stelt voor de instroomroutes naar het vak te behouden. 🔗 bron

Wat dit betekent

Wat agenten verzwijgen, komt centraal te staan in hun beveiliging. Clément Delangue stelt dat incidenten vergelijkbaar met dat bij Hugging Face geheim zijn gebleven bij laboratoria die hij niet noemt, en pleit voor het verplicht delen van agenttraces. Quadrat-IPI laat zien dat de agent zelf een slechte getuige is: drie waarschuwingen bij 389 betalingen die via injectie werden verkregen, telkens achteraf. Mikhail Gribov concludeert daaruit dat inzicht van buiten de agent moet komen, door te inspecteren wat die leest. Dat is de richting die de nieuwste nightly van Gemini CLI inslaat: die behandelt uitvoer van MCP-resources en webzoekopdrachten als niet-vertrouwde context.

Clément Delangue verdedigt open tools, die minder beperkt zijn dan de gesloten API’s die zijn verdedigers tegenhielden. De publicaties van deze week op Hugging Face proberen op hun beurt evenveel te doen met minder. LensVLM-9B opent alleen de relevante pagina’s van een document dat tot 15 keer is gecomprimeerd opnieuw, Pruna brengt Qwen-Image-2.1 terug van 40 stappen naar 5 of 8, het DGX Spark Handbook beschrijft wat enkele desktopmachines lokaal kunnen draaien, en een ontwikkelaar laat de pretraining van een model met 1,11 miljard parameters in 6 GB videogeheugen passen, al zou het ongeveer 375 dagen duren om die af te ronden.

Een meting is slechts zo betrouwbaar als het proces dat haar oplevert. De door OpenAI verholpen coderingsbug verslechterde de resultaten van GPT-6 Sol en Luna bij afbeeldingen, zonder dat bekend is sinds wanneer of in welke mate. Zoals OpenAI adviseert, moeten evaluaties met afbeeldingen opnieuw worden uitgevoerd. Bij Hanno Labs zorgt alleen al het invoerformaat ervoor dat GLiNER2.5-Decide van 27 naar 37 juiste antwoorden op 101 gaat. SmolDataEnvs beoordeelt zijn taken zonder enig taalmodel, terwijl de scores van LensVLM-9B via een beoordelend model tot stand komen.

Voor codeagenten wordt vertrouwen ingesteld op het niveau van de beheerder en de gebruiker, en leidt twijfel tot een weigering. Claude Code 2.1.283 kan elk model blokkeren dat niet uitdrukkelijk is toegestaan, Qwen Code negeert een Advisor-instelling in een repository, en de nightly van Gemini CLI weigert bij gebrek aan een gebruiker die kan beslissen wat anders bevestiging zou vereisen. /doctor prompt-audit erkent op zijn beurt dat modellen sneller veranderen dan de instructies die ervoor worden geschreven.