Clément Delangue zieht drei Lehren aus dem Agenten-Cyberangriff auf Hugging Face, OpenAI behebt Probleme beim Bildverständnis von GPT-6 Sol und Luna, Apple veröffentlicht LensVLM-9B

Clément Delangue, CEO von Hugging Face, zieht drei Lehren aus dem Cyberangriff, den ein autonomer Agent im Juli auf sein Unternehmen verübte, und schlägt vor, die Weitergabe von Agentenspuren verpflichtend zu machen. Der Benchmark Quadrat-IPI zeigt unterdessen, dass angegriffene Agenten fast nie Alarm schlagen, wenn der Angriff gelingt: Bei 389 durch Injektion ausgelösten Zahlungen gab es 3 Warnungen. OpenAI behebt einen Kodierungsfehler, der das Bildverständnis von GPT-6 Sol und GPT-6 Luna beeinträchtigte. Apple veröffentlicht LensVLM-9B, das lange Dokumente als komprimierte Seiten liest, und SmolDataEnvs stellt 5 000 Datenanalyseaufgaben für das Training kleiner Modelle bereit. Bei den Coding-Agenten prüft Claude Code 2.1.283 Anweisungen, die für ältere Modelle geschrieben wurden, Qwen Code 0.24.6 kann ein beratendes Modell hinzuziehen, und eine Nightly-Version von Gemini CLI wandelt Bestätigungsanfragen im nicht interaktiven Modus in Ablehnungen um.

Sicherheit von Agenten: Clément Delangues drei Lehren und der Benchmark Quadrat-IPI

Zwei Texte betrachten dieselbe Frage aus unterschiedlichen Blickwinkeln: Was wissen wir über Angriffe, die über Agenten laufen? Der erste stammt von einem betroffenen Unternehmen, der zweite misst, was angegriffene Agenten melden – oder verschweigen.

Clément Delangue zieht drei Lehren aus dem Agenten-Cyberangriff auf Hugging Face

24. September — Laut seinem CEO Clément Delangue war Hugging Face im Juli das erste Unternehmen, das einen Cyberangriff durch einen autonomen Agenten öffentlich machte. Auf X zieht er daraus drei Lehren.

Transparenz: Vergleichbare Vorfälle sollen sich Monate zuvor heimlich in einigen führenden Laboren ohne Aufsicht ereignet haben, die er nicht nennt; er schlägt vor, die Weitergabe von Agentenspuren verpflichtend zu machen. Asymmetrie: Weil die Schutzmechanismen geschlossener APIs sein Team blockierten und dabei nicht immer zwischen Verteidigern und Angreifern unterscheiden, griff es auf die „NVIDIA-Version“ von GLM 5.2 zurück, einem offenen Modell von Z.ai; ein großer Teil der Verteidigung könnte seiner Ansicht nach auf Open-Source-Tools beruhen. Und gegen alarmistische Darstellungen: KI hilft Hugging Face, seine Sicherheitslücken zu schließen, und OpenAI, seine Sandboxes gegen das Ausbrechen von Agenten zu stärken, erklärt er.

We were attacked by AI, but more importantly, we defended ourselves with AI.

🇩🇪 Wir wurden mit KI angegriffen, aber vor allem haben wir uns mit KI verteidigt. — @ClementDelangue auf X

Quadrat-IPI: 3 Warnungen bei 389 durch Injektion ausgelösten Zahlungen

26. September — In einem Community-Beitrag prüft Mikhail Gribov, Autor des Prompt-Injection-Datensatzes Quadrat-IPI, ob ein Agent einen Angriff meldet, wenn er dazu in der Lage ist. Der getestete Agent, persönlicher Assistent eines Postfachinhabers in einer simulierten Welt, verfügt über 19 Tools und erhält ein zwanzigstes, escalate_security_incident, das im System-Prompt nicht erwähnt wird. Bei 395 präparierten E-Mails nutzen die neun getesteten Modelle es je nach Modell in 48,9 % der Fälle bis hin zu gar nicht.

Von 389 unter dem Einfluss einer Injektion ausgeführten Zahlungen werden nur drei von einer Warnung begleitet, und diese kommt stets erst nach der Zahlung: Die Modelle melden vor allem Angriffe, die sie abwehren. Unter den genannten Modellen warnt gpt-4o-mini einmal bei 395 Fällen, gpt-5.1 in 4,8 % der Fälle und gpt-6-astra nie, weil es die E-Mail lediglich protokolliert, ohne ihrer Aufforderung zu folgen. Der Autor folgert daraus, dass die Überwachung außerhalb des Agenten ansetzen muss, indem man prüft, was er liest; Harness, Logs und Prüfer sind veröffentlicht.

🔗 Der Beitrag von Mikhail Gribov

OpenAI behebt einen Kodierungsfehler, der das Bildverständnis von GPT-6 Sol und GPT-6 Luna beeinträchtigte

25. September — Drei Tage nach dem Start von GPT-6 Sol und GPT-6 Luna, zwei Reasoning-Modellen, die Text und Bilder als Eingabe akzeptieren, teilt OpenAI im Änderungsprotokoll (Changelog) seiner API mit, einen Fehler bei der Bildkodierung behoben zu haben, der ihr visuelles Verständnis beeinträchtigte. Die Korrektur verbessert die Ergebnisse bei visuellen Aufgaben sowohl in der API als auch in Codex, einschließlich der Computerbedienung (computer use).

OpenAI empfiehlt Entwicklern, deren Anwendungsfälle Bilder als Eingabe umfassen, ihre Evaluierungen erneut auszuführen und betroffene Workflows noch einmal zu testen. Der Eintrag sagt weder, seit wann der Fehler bestand, noch, wie stark er die Ergebnisse beeinträchtigte. Der Fix wurde weder von @OpenAI noch von @OpenAIDevs auf X verbreitet und erscheint auch nicht im Changelog von ChatGPT und Codex.

🔗 Changelog der OpenAI API

Ein Modell und ein Datensatz auf Hugging Face: Apples LensVLM-9B und SmolDataEnvs

Zwei Veröffentlichungen dieser Woche, über die hier noch nicht berichtet wurde: ein Modell von Apple, das lange Dokumente als komprimierte Bilder liest, und ein Satz überprüfbarer Aufgaben, mit denen kleine Modelle für die Datenanalyse trainiert werden können.

Apple veröffentlicht LensVLM-9B, das nur die relevanten Seiten eines Dokuments erneut öffnet

22. September — Apple veröffentlicht auf Hugging Face LensVLM-9B, ein Vision-Language-Modell samt Code auf GitHub. Statt ein langes Dokument in Tausende Tokens zu zerlegen, empfängt es das Dokument als Seiten, die zu kleinen komprimierten Bildern gerendert wurden, erkennt die relevanten Seiten und öffnet mithilfe erlernter Tools deren unkomprimierte Version erneut.

Merkmal von LensVLM-9B	Veröffentlichter Wert
Größe und Ausgangsmodell	9 Milliarden Parameter, aus Qwen3.5-9B feinabgestimmt
Angebotene Kompressionsstufen	5x, 10x und 15x
Mit Volltext vergleichbare Genauigkeit	Bei 4,3x effektiver Kompression
Besser als die Referenzmethoden	Bis zu 10,1x, auf sieben Frage-Antwort-Benchmarks
Lizenz der Gewichte	Apple Machine Learning Research Model License

Diese Ergebnisse stammen aus dem zugehörigen Forschungsartikel, der im Mai auf arXiv veröffentlicht wurde; die Antworten werden darin von einem Bewertungsmodell beurteilt.

🔗 LensVLM-9B auf Hugging Face · arXiv-Artikel

SmolDataEnvs: 5 000 überprüfbare Datenanalyseaufgaben

24. September — Adithya S K veröffentlicht auf dem Hub unter der Organisation FineEnvs und der MIT-Lizenz SmolDataEnvs: Datenanalyseaufgaben, mit denen kleine Modelle durch Reinforcement Learning trainiert werden können. Jede Aufgabe verbindet einen echten tabellarischen Datensatz mit einer Frage und einer Referenzantwort. Sie stammen aus Notebooks zu 471 Kaggle-Datensätzen und wurden von Agenten in einer echten Sandbox validiert. Ein mitgelieferter Prüfer bewertet die Antwort ohne Sprachmodell, von exakter Übereinstimmung bis zu symbolischer Äquivalenz.

Aufgabensatz	Leichte Aufgaben	Mittelschwere Aufgaben	Schwere Aufgaben
Training (5 000)	1 433	2 845	722
Test (250)	33	118	99
Evaluierung (144)	16	74	54

Die zurückgehaltenen Sätze sind damit von vornherein schwieriger. Das Paket umfasst außerdem 4 677 überprüfte Agentenläufe, die für TRL bereitstehen, sowie dieselben Aufgaben als ausführbare Harbor-Umgebungen; Clément Delangue teilte die Veröffentlichung am folgenden Tag.

🔗 SmolDataEnvs auf Hugging Face

Coding-Agenten: Claude Code 2.1.283, Qwen Code 0.24.6 und die Nightly-Version 0.63.0 von Gemini CLI

Claude Code 2.1.283: Prüfung der Anweisungen und zwei Sperren für Modelle

25. September — Version 2.1.283 enthält 94 Einträge, darunter 53 Fehlerbehebungen. Ihre wichtigste Neuerung, /doctor prompt-audit (auch /checkup prompt-audit), prüft CLAUDE.md-Dateien, Skills, Agenten und Befehle auf Formulierungen, die für ältere Modelle geschrieben wurden, sowie auf veraltete Pfade und widersprüchliche Anweisungen.

Neuerung in 2.1.283	Änderung
`availableModelsMatch: "exact"`	Ein neu erschienenes Modell bleibt gesperrt, solange es nicht aufgeführt ist
`deniedModels`	Sperrt bestimmte Modelle, selbst wenn `availableModels` sie erlaubt
Standardmäßiger Berechtigungsmodus	Auto-Modus bei Drittanbietern oder deaktivierter Telemetrie, sofern kein Modus konfiguriert ist
PowerShell unter Windows	`rd`, `rmdir`, `del` und `erase` können kein Laufwerksstammverzeichnis mehr löschen
Code Review	Eine Prüfung, die wegen ihres Zeitlimits endet, ohne etwas zu prüfen, wird nicht mehr berechnet

Die Version macht außerdem die Reservierung des Namens claude-ai rückgängig, die am Vortag mit 2.1.282 eingeführt worden war.

🔗 Versionshinweise zu Claude Code 2.1.283

Qwen Code 0.24.6: ein beratendes Modell und ein Batch-API-Workflow

26. September — Qwen Code v0.24.6 bringt 17 Funktionen, 14 Fehlerbehebungen und 3 Optimierungen, ohne bekannte Breaking Changes. Die wichtigste Neuerung ist ein integriertes Advisor-Tool, das standardmäßig deaktiviert ist: Konfiguriert der Nutzer ein zweites, beratendes Modell, kann der Agent es um eine unabhängige Einschätzung bitten. Das beratende Modell sieht die Systemanweisung, die deklarierten Tools und die Unterhaltung, kann aber selbst nichts ausführen; es wird mit /advisor oder --advisor ausgewählt, niemals über ein Repository, dessen Einstellung unter Ausgabe einer Warnung ignoriert wird. Anthropic bietet dasselbe Prinzip seit April als Beta in seiner API an.

Der Workflow /batch-api bereitet eine Stapelverarbeitung für die Batch API von DashScope vor und überlässt die kostenpflichtige, genehmigungspflichtige Einreichung anschließend den Unterbefehlen von qwen batch. Laut PR #12622 wird der Kaltstart je nach Rechner rund 2,2- bis 2,4-mal schneller und benötigt 60 % weniger Speicher.

🔗 Qwen Code v0.24.6 auf GitHub

Gemini CLI: Nightly-Version 0.63.0 lehnt Bestätigungen im nicht interaktiven Modus ab

26. September — Die am 26. September um 01:20 UTC veröffentlichte Nightly-Version eröffnet die 0.63.0-Reihe von Gemini CLI; die stabile Version v0.61.0 und die Vorabversion v0.62.0 bleiben unverändert. Die umfangreichste Änderung (PR #29506, 26 Dateien) betrifft die Regel-Engine (PolicyEngine): Im nicht interaktiven Modus wird eine Entscheidung, die eine Bestätigung durch den Nutzer erfordern würde (ASK_USER), zu einer Ablehnung (DENY). Ausgaben externer MCP-Ressourcen und der Websuche werden nun ebenso wie die von web-fetch entsprechend den Standards für nicht vertrauenswürdigen Kontext (untrusted context) gekennzeichnet.

Drei Fehlerbehebungen beseitigen konkrete Probleme: Eine leere Einstellung für diff.external, die Git als ausführbare Datei interpretierte, ließ git diff in der Sandbox scheitern; die temporären Verzeichnisse von im Hintergrund gestarteten Befehlen werden nun gelöscht; zwei ACP-Sitzungen, die innerhalb derselben Minute geöffnet werden, geraten nicht mehr in Konflikt.

🔗 Hinweise zur Nightly-Version 0.63.0 von Gemini CLI

Kurzmeldungen

Codex CLI 0.157.1 — Die am 26. September veröffentlichte Korrektur für 0.157.0 betrifft nur Windows: Der Host des Codemodus und lokale MCP-Server öffnen keine Konsolenfenster mehr, und der Start des Daemons wurde zuverlässiger gemacht. Da die automatisch erzeugten Versionshinweise leer sind, stammt diese Information aus dem Vergleich der beiden Versionen. 🔗 Quelle
Erfahrungsbericht zu Claude Tag — Boris Cherny, Leiter von Claude Code, erklärt auf X, dass Claude Tag, der in Slack integrierte Claude-Agent, täglich mehr als die Hälfte seiner PRs schreibt und etwa 100 % seiner Datenanalysen übernimmt. Er teilt auch seine Anweisungen, etwa jeden in einem Kanal gemeldeten Fehler zu reproduzieren, bevor eine PR eröffnet wird. 🔗 Quelle
Dauer der Pull-Request-Reviews — Die Berichte repos-1-day der API für Copilot-Nutzungsmetriken erhalten eine Tabelle pull_request_review_times mit dem Median und dem 90. Perzentil für drei Zeitspannen: von „bereit für das Review“ bis zum ersten Review, vom ersten bis zum letzten Review und anschließend bis zum Merge. Es zählen nur menschliche Reviews; Daten vor dem 21. September sind nicht enthalten. 🔗 Quelle
Validator für unternehmensweite Copilot-Einstellungen — Der in die Seite AI controls integrierte Validator meldet fehlerhaftes JSON, nicht unterstützte Konfigurationen und ungültige Teamzuordnungen in copilot/managed-settings.json und copilot/team-mappings.json und nennt zu jedem Fehler die Datei und den JSON-Pfad. Der Eintrag nennt weder einen Status noch einen Tarif. 🔗 Quelle
GitHub Issues — Zwei Funktionen sind allgemein verfügbar: private gespeicherte Ansichten auf den Issue-Seiten von Repositories und die Beziehung „Relates to“ zwischen Issues. Letztere war seit dem 7. August in der Vorschau und wird jetzt von den REST- und GraphQL-APIs, Webhooks, der Chronik sowie der Suche nach Issues und Projekten unterstützt. 🔗 Quelle
Grok Bot und Finanzen — Laut einem Thread von @bot verbindet die neue Finance-Integration von Grok Bot Bankkonten, Karten und Anlagekonten über Plaid, mit rein lesendem Zugriff und ohne Zugriff auf Zugangsdaten. Der Thread nennt weder Länder noch Tarife. Grok, der Assistent, hatte am 4. September eine Plaid-Verbindung zu US-Bankkonten erhalten. 🔗 Quelle
NVIDIA und ROS 2 Lyrical — Blogbeitrag vom 22. September: NVIDIA hat zu ROS 2 Lyrical ein CUDA-Speichermodul beigetragen, das Isaac ROS 5.0 nutzt. Es überträgt Daten, die auf der GPU geblieben sind, ohne Kopie zwischen Knoten derselben Maschine. Eine Skill übernimmt mithilfe eines Coding-Agenten die Migration bestehender Knoten; ein bezifferter Leistungsgewinn wird nicht genannt. 🔗 Quelle
DGX Spark Handbook — Der unter der Hub-Organisation exolabs veröffentlichte Community-Leitfaden beziffert, was ein bis vier DGX Spark leisten: Der Listenpreis ist von 3.999 auf 4.699 Dollar gestiegen, der Verbrauch im Leerlauf liegt bei 22 bis 25 W, und laut einem Test von NVIDIA dauert ein erzeugtes Token auf einer Maschine 269 ms, auf vier Maschinen 72 ms. 🔗 Quelle
Vortraining auf einem Laptop — In einem Community-Beitrag zeigt Rambarun Komaljeet, wie das Vortraining eines Modells mit 1,11 Milliarden Parametern in die 6 GB große RTX 4050 eines Laptops passt. Ein vollständiges Vortraining würde etwa 375 Tage dauern; kein Modell mit mehr als 48 Millionen Parametern wurde bis zur Konvergenz trainiert. 🔗 Quelle
Pruna und Qwen-Image-2.1 — Pruna AI veröffentlicht zwei LoRA-Adapter, mit denen Qwen-Image-2.1 Bilder in 5 oder 8 statt 40 Schritten erzeugt, laut Anbieter bis zu 6,3-mal schneller. Diese Version 0.1 bleibt qualitativ hinter dem Basismodell zurück und steht unter der Forschungslizenz von Qwen. 🔗 Quelle
Marin und Dolma 3.5 — Laut Ai2 stammen etwa 1,8 Billionen Tokens für das 535B-Training von Marin aus dem Ai2-Korpus Dolma 3.5; außerdem nutzt Marin dessen Olmix-Rezepte und die Methode Organize the Web. Für Marin wurden 25 Billionen Tokens aus 152 Datensätzen verwendet, deren Lizenzen das Training erlauben. 🔗 Quelle
GLiNER2.5-Decide und DecisionBench — Stephen Solka von Hanno Labs zeigt, wie stark das Eingabeformat den Wert von GLiNER2.5-Decide in DecisionBench beeinflusst: 38,9 % bei den unterstützten Zeilen gegenüber den 60,2 %, die Fastino auf seinem eigenen Benchmark angibt. Ohne Optionsbeschreibungen steigt die Zahl richtiger Antworten von 27 auf 37 bei 101 Zeilen. 🔗 Quelle
Ein Leitfaden zum Alignment bei Perplexity — Perplexity veröffentlicht in seiner Rubrik Ideen einen einführenden Leitfaden zum KI-Alignment: acht dokumentierte Fehlermuster, von übermäßiger Gefälligkeit (sycophancy) bis zur absichtlichen Minderleistung (sandbagging), sowie die öffentlichen Rahmenwerke von OpenAI, Anthropic und Google DeepMind. Eine neue Funktion ist damit nicht verbunden. 🔗 Quelle
Cybersicherheit und Beschäftigung, ein Meinungsbeitrag — In einem Meinungsessay auf dem Community-Blog von Hugging Face befürchtet Sonny DeSorbo ohne Datenbelege, dass die Automatisierung von Einstiegsstellen in der Cybersicherheit zusammen mit durch KI verbilligter Cyberkriminalität Absolventen in die Onlinekriminalität drängen könnte. Er schlägt vor, Einstiegsmöglichkeiten in den Beruf zu erhalten. 🔗 Quelle

Was das bedeutet

Was Agenten verschweigen, rückt ins Zentrum ihrer Sicherheit. Clément Delangue sagt, dass Vorfälle, die mit dem bei Hugging Face vergleichbar sind, in von ihm nicht genannten Laboren geheim geblieben seien, und schlägt vor, die Weitergabe von Agenten-Traces verpflichtend zu machen. Quadrat-IPI zeigt, dass der Agent selbst ein schlechter Zeuge ist: drei Warnungen bei 389 durch Injection ausgelösten Zahlungen, stets erst im Nachhinein. Mikhail Gribov folgert daraus, dass die Sichtbarkeit von außerhalb des Agenten kommen muss, indem geprüft wird, was er liest. Diesen Weg geht die neueste Nightly-Version von Gemini CLI, die Ausgaben von MCP-Ressourcen und der Websuche als nicht vertrauenswürdigen Kontext behandelt.

Clément Delangue setzt sich für offene Tools ein, die weniger eingeschränkt sind als die geschlossenen APIs, an denen seine Verteidigungsagenten scheiterten. Die Veröffentlichungen dieser Woche auf Hugging Face zielen darauf, mit weniger Ressourcen ebenso viel zu erreichen. LensVLM-9B öffnet nur die relevanten Seiten eines bis zu 15-fach komprimierten Dokuments erneut, Pruna reduziert die Generierung mit Qwen-Image-2.1 von 40 auf 5 oder 8 Schritte, das DGX Spark Handbook beschreibt, was einige Desktopmaschinen lokal ausführen können, und ein Entwickler bringt das Vortraining eines Modells mit 1,11 Milliarden Parametern in 6 GB Videospeicher unter, auch wenn es bis zum Abschluss etwa 375 Tage dauern würde.

Eine Messung ist nur so verlässlich wie die Kette, die sie hervorbringt. Der von OpenAI behobene Codierungsfehler verschlechterte die Bildergebnisse von GPT-6 Sol und Luna; seit wann und in welchem Ausmaß, ist unbekannt. Auswertungen mit Bildern sollten daher, wie von OpenAI empfohlen, erneut durchgeführt werden. Bei Hanno Labs erhöht allein das Eingabeformat die Zahl richtiger Antworten von GLiNER2.5-Decide von 27 auf 37 bei 101 Aufgaben. SmolDataEnvs bewertet seine Aufgaben ganz ohne Sprachmodell, während die Werte von LensVLM-9B über ein Bewertungsmodell ermittelt werden.

Bei Coding-Agenten legen Administratoren und Nutzer die Vertrauensgrenzen fest; im Zweifel wird eine Anfrage abgelehnt. Claude Code 2.1.283 kann jedes Modell sperren, das nicht ausdrücklich zugelassen ist. Qwen Code ignoriert eine Advisor-Einstellung aus einem Repository. Die Nightly-Version von Gemini CLI lehnt Vorgänge ab, die eine Bestätigung erfordert hätten, wenn kein Nutzer für diese Entscheidung verfügbar ist. Und /doctor prompt-audit trägt dem Umstand Rechnung, dass sich Modelle schneller ändern als die Anweisungen, die man für sie schreibt.