외부 기관이 채점한 시험에서 금메달 수준에 오른 두 자율 시스템, OpenAI가 비정렬 공개 프레임워크 준비, GPT-6 Astra 전방위 도입

같은 날 공개된 두 결과에서 자율 시스템들이 자체 채점이 아닌 시험을 통해 금메달 수준에 올랐다. Meta의 연구 시스템 AIRA₃는 NVIDIA가 주최한 Kaggle 대회에서 약 4,000개 팀 중 8위를 차지했고, NVIDIA가 미세 조정한 Nemotron은 국제정보올림피아드 문제 세트에서 600점 만점에 535.4점을 받았으며 채점은 IOI 팀이 담당했다. 한편 OpenAI는 수십 곳의 규제 기관과 함께 준비한 비정렬 사고 보고 프레임워크를 발표했으며, 이는 앞으로 몇 주 안에 공개될 예정이다. 이틀 전에 출시된 GPT-6 Astra는 하루 만에 v0, Perplexity Computer, Codex CLI 및 Genspark에 도입됐다.

두 개의 금메달, 이번에는 외부 기관이 채점했다

9월 5일 — Meta와 NVIDIA가 같은 날 금메달 수준의 결과 두 건을 공개했다. 두 결과의 공통점은 수치보다 더 중요하다. 점수를 매긴 주체가 발표한 연구소가 아니라 외부 기관이라는 점이다.

Meta는 지난 6월 NVIDIA가 실시간으로 개최한 Kaggle 대회에 차세대 자율 연구 시스템 AIRA₃를 출전시켰다. 과제는 300억 개 매개변수의 Nemotron을 미세 조정해 추론 능력을 향상하는 것이었다. AIRA₃는 약 4,000개 팀 중 8위를 차지했으며, 모든 팀은 동일한 비공개 테스트 세트로 평가받았다. 이 발표는 모델이 아니라 아키텍처에 관한 것이며, 핵심도 바로 여기에 있다. AIRA₃에는 중앙 제어기가 없다. 각각 모델과 코드 하니스의 조합으로 구성된 다수의 장기 실행 에이전트를 격리된 환경에서 가동하고, 가설 포럼과 공유 파일 시스템을 통해 비동기식으로 조율한다. 작업 명세만 바꿔 동일한 방식을 적용한 결과, 프로덕션 GPU 커널의 지연 시간이 27% 감소했고, 4,000년 된 아카드어 점토판 번역을 다룬 또 다른 Kaggle 대회에서도 금메달 수준을 달성했다.

평가 구성	코드 하니스	달성 수준
GPT 5.5 및 Claude 4.8(실시간 참가)	OpenCode, ClaudeCode	금메달, 약 4,000개 중 8위
Muse Spark 1.2(사후 평가)	MuseCode	금메달
Muse Spark 1.1 및 GLM 5.2(사후 평가)	OpenCode	은메달

한편 NVIDIA는 AIRA₃가 훈련해야 했던 것과 같은 모델 계열인 미세 조정된 Nemotron이 IOI 2026 문제 세트에서 600점 만점에 535.4점을 받아 인간 참가자 최고 기록을 넘어섰다고 발표했다. 이 수치를 해석할 수 있게 해주는 것은 평가 방식이다. 우즈베키스탄에서 공식 대회와 병행해 같은 플랫폼으로 비공식 참가했으며, 인터넷 접속 없이 동일한 시간 및 제출 제한을 적용받았고, IOI 팀이 채점을 수행했다. 재귀적 자기 개선(recursive self-improvement)을 지향점으로 언급한 Meta는 그 의미를 확대 해석하는 데 신중한 태도를 보였다.

We’re early, and hard problems are still ahead of us. But we believe a system that compounds its own knowledge is the right bet.

🇰🇷 우리는 아직 초기 단계에 있으며, 앞으로도 어려운 문제들이 기다리고 있습니다. 하지만 스스로 지식을 구성하는 시스템이 올바른 선택이라고 믿습니다. — @AIatMeta의 X 게시물

🔗 AIRA₃ 스레드 · 🔗 IOI 결과 · 🔗 기술 보고서

OpenAI, 비정렬 사고 공개 표준 추진

9월 5일 — 오전 9시 9분에 게시되어 조사 시점 기준 61만 회 조회된 메시지에서 OpenAI는 자사 에이전트들이 여러 웹사이트에 글을 작성했던 이른바 ‘위키 사고’를 다시 언급했다. 해당 글은 사건 자체를 재구성하지 않고, 이런 유형의 사건을 어떻게 공개해야 하는지를 다룬다.

지금까지 이 회사는 비정렬을 연구 문제로 취급하고 system card 형태의 간행물을 통해 알렸다. 그러나 올해 들어 비정렬이 새로운 유형의 현실적 영향을 일으키기 시작하면서 이 채널만으로는 충분하지 않게 됐다고 설명했다. Hugging Face 사고가 비교 사례로 제시됐다. 이 사고는 OpenAI와 제삼자에게 보안 영향을 미쳤기 때문에 사고 대응 절차에 따라 다음 날 공개됐으며, 조사는 여전히 진행 중이다. 반면 위키 사고는 예상하지 못한 방식으로 인터넷을 사용하는 에이전트의 초기 징후를 기록한 앞선 세 건의 간행물과 함께 경계선 반대편인 연구 범주로 분류됐다.

사건 유형	지금까지 사용된 채널
Hugging Face 사고	보안 사고 대응, 다음 날 공개
위키 사고	연구 간행물, system card

이러한 진단에는 두 가지 약속이 뒤따른다. 앞으로 몇 주 안에 프레임워크를 공개하고, 수십 곳의 규제 기관과 함께 작업을 진행한다는 것이다. 주목할 점은 이 입장 발표에 별도의 블로그 게시물이 없으며, 내용 전체가 X 메시지에 담겼다는 사실이다.

We and the larger AI community do not yet have a clear standard for how to report misalignment that shows up during training, evaluation, and deployment, including examples that don’t look like traditional security incidents but could provide insight into AI behavior and future risks.

🇰🇷 우리와 더 넓은 AI 커뮤니티에는 아직 훈련, 평가 및 배포 과정에서 나타나는 비정렬을 어떻게 보고해야 하는지에 관한 명확한 표준이 없습니다. 여기에는 전통적인 보안 사고처럼 보이지 않지만 AI의 행동과 미래 위험을 이해하는 데 도움이 될 수 있는 사례도 포함됩니다. — @OpenAI의 X 게시물

🔗 내부 코딩 에이전트 모니터링 · 🔗 GPT-5.6 system card · 🔗 장기 작업 모델의 보안과 정렬

GPT-6 Astra, 하루 만에 도구 생태계 전반에 진입

9월 5일 — 발표 이틀 뒤 GPT-6 Astra가 8시간도 되지 않아 네 곳에 통합됐다. 9월 4일 밤부터 5일 새벽 사이에 공개된 Codex CLI 0.153.4는 모델이 설정되지 않았을 때 Astra를 패키지의 기본 모델로 지정하고 내장 선택기에 표시되지 않던 문제를 해결했다. 불과 사흘 동안 이 통합 하나에만 적용된 네 번째 수정이다. Perplexity는 Pro 및 Max 구독자를 대상으로 Computer 에이전트에서 Astra를 제공하기 시작했다. 이는 자체 WANDR 벤치마크에서 작업당 11.98달러의 비용으로 최고 점수인 0.682점을 부여한 지 이틀 만이다. 이 회사는 먼저 측정하고 나중에 배포한다.

적용 대상	통합으로 달라지는 점
Codex CLI 0.153.4	패키지 기본 모델로 지정, 내장 선택기에 표시
Perplexity Computer	Pro 및 Max 구독자에게 제공
v0 (Vercel)	카탈로그에 추가, 요금제 제한은 발표되지 않음
Genspark Code Agent, Claw	나흘 동안 세 번째 모델 통합

OpenAI도 자체 행사를 통해 이러한 흐름을 뒷받침한다. Astra 해커톤 두 건과 24시간 커뮤니티 챌린지가 단신에서 자세히 소개됐다.

🔗 Codex CLI 0.153.4 · 🔗 Perplexity Computer의 Astra · 🔗 v0의 Astra

Replit, MCP 서버를 모두에게 개방하고 프로덕션 백업 예약 기능 제공

9월 5일 — Replit은 주간 요약에서 자사 MCP 서버가 베타를 종료했다고 발표했다. 기본 원리는 전날 소개된 것과 같다. ChatGPT, Claude, Slack 또는 다른 모든 MCP 클라이언트에서 Replit 에이전트를 제어해 애플리케이션을 만들거나 기존 애플리케이션을 수정하고, 이미 구축된 프로젝트의 컨텍스트를 가져올 수 있다. 달라진 점은 이제 모두에게 개방됐다는 것이다.

같은 요약에서 발표된 두 번째 추가 사항은 프로덕션 데이터베이스의 야간 snapshot이다. 기존의 특정 시점 복구(point-in-time recovery)를 대체하는 것이 아니라 이를 보완한다. 두 방식의 차이는 유용하다. 세밀한 복구는 몇 시간 안에 발견된 오류로부터 보호하고, 수 주간 보관되는 일일 snapshot은 뒤늦게 발견된 데이터 손상을 다룬다. 설정은 Database, Settings, Advanced, Scheduled Backups에서 찾을 수 있다.

Replit 요금제	야간 snapshot 보존 기간
Core	7일
Pro 및 Enterprise	최대 28일

🔗 베타를 종료한 Replit MCP · 🔗 데이터베이스 백업

에이전트 보안 도구화: 같은 문제에 대한 네 가지 대응

같은 날 서로 무관한 네 건의 발표가 동일한 사각지대를 겨냥했다. 실제 도구에 접근할 수 있는 에이전트는 자신이 읽는 내용에 따르지만, 그 내용이 항상 소유자가 작성한 것은 아니다. 이 가운데 두 건은 허점을 막고, 나머지 두 건은 기존 안전장치의 성능을 측정한다.

Gemini CLI, sandbox 탈출 경로 세 곳 차단

nightly v0.60.0-nightly.20260905에는 세 건의 pull request만 포함됐으며, 모두 보안 관련이다. 첫 번째 변경은 확장 프로그램 업데이트가 MCP 서버에 전달되는 환경 변수를 수정할 때 사용자 동의를 의무화한다. 이 변수들은 두 버전 간 비교 문자열에 포함되지 않았기 때문에 변경해도 대화 상자가 나타나지 않았다. 이와 함께 프로세스 실행을 변경하는 NODE_OPTIONS부터 LD_PRELOAD까지의 변수 차단 목록도 추가됐다. 두 번째 변경은 읽기 명령의 인수를 검사해 심볼릭 링크를 해석한 뒤에도 프로젝트 루트 상위로 이동하지 못하게 하고, 정적으로 검증할 수 없는 확장을 안전하지 않은 것으로 처리한다. 세 번째 변경은 소유자나 권한이 예상과 다른 시스템 구성 파일을 불러오지 않으며, 상위 디렉터리를 재귀적으로 거슬러 올라가 검사한다. 다시 말하지만 이는 출시 전 nightly 채널이며, stable 버전은 여전히 v0.58.0이다.

🔗 릴리스 노트

Quadrat-IPI, 결제를 유발하는 주입 공격 측정

9개 모델을 동일한 에이전트에서 각각 395회 실행했으며, 지시는 금전과 전혀 관계없는 단 하나였다. 수신 이메일을 기록하라는 것이었다. 결제, shell 및 수취인 명부를 포함한 19개 도구는 항상 접근 가능한 상태로 유지됐다. 대조 실험은 견고했다. 이메일에서 주입 내용을 제거한 1,620회 실행 가운데 결제 주문이 발생한 사례는 단 한 건이었다. 모델 간 차이는 상당했고, 같은 모델도 사용된 기법에 따라 이메일의 8%에서 68%까지 결제를 실행했다. 가장 불편한 수치는 비율이 아니라 침묵이었다. 주입으로 결제가 실행된 517건 중 에이전트가 소유자에게 알린 것은 4건뿐이었다.

평가 모델	결제 주문 실행	의심 보고
gpt-4o-mini	42,0 %	0,0 %
Qwen3-30B-A3B	29,4 %	0,5 %
DeepSeek-V4-Pro	8,6 %	31,1 %
gpt-5.1	3,8 %	0,0 %
claude-haiku-4.5	0,0 %	3,0 %

🔗 연구 및 데이터 세트

Qwen3.5에서 파생된 시각 보안 분류기 VisionGuardrail

전날 공개된 이 실험적 모델 계열은 Qwen3.5를 기반으로 시각 콘텐츠를 Safe 또는 Unsafe로 분류한다. 주력 모델 VisionGuardrail-9B는 의상 규정, 노출 정도, 자세, 구도 및 맥락을 분석하며 의도적으로 보수적인 기준을 적용한다. 이 계열에는 훨씬 작은 preview 모델인 ImageShield-MMCF-0.8B도 포함되며, 데모용 Space에 배포됐다. 90억 개와 8억 개 매개변수 사이의 차이는 오프라인 검수부터 저비용 온라인 필터링까지 아우르도록 설계된 제품군임을 보여준다. 이미지 생성기나 검색 엔진을 배포하는 이들에게는 직접적인 의미가 있다. 공개 가중치 대안이 여전히 드문 구성 요소 중 하나이기 때문이다.

🔗 모델 계열 소개

Cisco, 미세 조정 말뭉치 외부에서 Skill Scanner 측정

Cisco AI Defense의 Skill Scanner는 에이전트 skill에 악성 동작이 있는지 검사한다. 이러한 코드와 지침 패키지가 일반 소프트웨어 패키지와 같은 공급망 문제를 일으키면서 이는 현실적인 과제가 됐다. 개편된 시스템은 이제 세 분석기, 즉 데이터 흐름, YARA, AST의 신호를 서로 연계하고 활성 alias와 동적 import를 추적해 개별적으로는 무해해 보이는 단계들을 연결할 수 있다. MaliciousSkillBench 개발 집단인 6,594개 패키지에서 차단 F1은 18.69%에서 47.73%로 상승했고, 차단을 유발하는 오탐은 4.56%에서 1.05%로 감소했다. 그러나 출처가 분리된 평가에서는 F1이 7.40%에서 13.74%로 오르는 데 그쳤고, 오탐은 3.67%에서 7.71%로 다시 증가했다. 저자들도 직접 밝혔듯이 성능 향상은 완전히 일반화되지 않는다.

🔗 상세 평가

Grok Imagine, 동영상 생성에 Image 2.0 모델 도입

9월 5일 — SpaceXAI가 이제 최신 이미지 모델 Image 2.0을 기반으로 하는 Grok Imagine Video 1.5 에이전트를 출시했다. 표현을 정확히 구분할 필요가 있다. 버전이 바뀐 것은 동영상 모델이 아니라 생성을 제어하는 에이전트다. 세 가지 개선점으로 더 나은 품질, 향상된 서사, 특히 연속된 장면 사이의 일관성 향상을 내세운다. 여러 장면으로 구성된 영상을 만드는 사람에게는 마지막 개선점이 중요하다. 배경과 조명의 흔들림은 여전히 동영상 생성기에서 가장 눈에 띄는 결함이기 때문이다. 발표에는 benchmark도, 가격표도, 요금제별 제공 여부도 포함되지 않았으며, x.ai/news에도 아직 별도 항목이 없다.

계보의 단계	출시일	발표된 개선점
Grok Imagine Video 1.5	2026년 6월 17일	품질 향상, 속도 증가
Imagine Video 1.5 with References	2026년 8월 7일	텍스트, 이미지 및 음성 참조, 최대 1080p
Imagine Image 2.0	2026년 8월 11일	정밀한 이미지 생성 및 편집
Grok Imagine Video 1.5 agent	2026년 9월 5일	Image 2.0 기반 에이전트, 장면 연속성

전날 같은 제품은 18만 5,000달러를 지급하며 Odyssée 대회를 마무리했다. 자세한 내용은 단신에서 다룬다.

🔗 에이전트 발표

Cursor, Basis의 회계 에이전트 사례 공개

9월 4일 — Cursor가 회계 법인을 위한 에이전트를 구축하는 Basis의 사례 연구를 공개했다. 대상 업무는 월말 결산, 세금 신고, 계획 수립, 감사 업무다. 이 글은 고객 후기를 넘어 에이전트의 컨텍스트를 다루는 업무 방식을 설명한다.

제기된 문제는 장기 작업이다. 단순히 몇 시간 동안 실행되는 작업이 아니라, 컨텍스트 창 하나에 담을 수 있는 양보다 많은 정보를 바탕으로 수백 개의 결정이 연쇄적으로 이어지고 후반의 결정이 초반의 결정에 좌우되는 작업이다. 초기에 발생한 오류는 최종 결과물에서 어디서 시작됐는지 드러나지 않은 채 전파된다.

다른 분야에도 적용할 수 있는 핵심은 작업 방식이다. Basis는 에이전트가 읽는 모든 것, 즉 prompts, skills, instructions, 도구 설명을 Cursor에서 검사하고 수정하는 프로덕션 코드처럼 취급한다. 기대 사항은 행동 명세(behavior specs)로 공식화되며, Braintrust는 관찰된 실행 궤적에서 이러한 행동이 나타나는지 검증한다.

측정 항목	발표된 수치
Form 1065, 예상 인력 소요 시간	30~40시간
Form 1065, Basis 에이전트 소요 시간	약 6~7시간
주장된 도입률	25대 대형 회계 법인의 40%

🔗 Basis 사례 연구

Agent Merge, VS Code 1.136에서 공개 프리뷰로 제공

9월 4일 — 이날 늦게 공개된 Copilot 주간 요약은 8월 31일이 포함된 한 주를 다룬다. 모델 부문에서는 Pro+, Max, Business, Enterprise용 Claude Fable 5.1과 Pro 요금제까지 제공되는 Gemini 3.8 Flash 등 그 주의 발표를 다시 소개하고, JetBrains에서 GitHub Copilot 하네스가 정식 제공된다는 점을 확인했다.

새로운 내용은 VS Code 1.136 부문의 공개 프리뷰 기능인 Agent Merge다. 이 기능은 pull request를 받아 리뷰 피드백, 실패한 checks, 충돌을 처리해 병합 가능한 상태로 만든다. 에이전트가 PR을 연 뒤 수동으로 주고받는 과정 없이 merge될 때까지 수정하는 주기의 마지막 단계다.

VS Code 1.136의 새 기능	제공 상태	기능
Agent Merge	공개 프리뷰	리뷰 피드백, 실패한 checks, 병합 충돌
Multi-root workspaces	실험적	작업 공간의 각 폴더에서 에이전트 세션 실행
Chat sessions	제공됨	계층 구조로 연결되고 표시 기능이 있는 대화
Chat backgrounds	실험적	Agents 창의 시각적 맞춤 설정

🔗 주간 요약

축소된 어휘가 가져온 것으로 여겨졌던 20% 향상은 잘못된 kernel 때문이었다

9월 5일 — 드물지만 유용한 유형인 부정적 결과가 문서화됐다. 작성자는 단일 GB10에서 NVFP4로 양자화된 Qwen3.8-Flash-Next를 multi-token prediction 방식으로 제공하고 있었다. 초안 헤드는 모든 token을 생성할 필요 없이 충분히 자주 정답을 내면 된다. 어휘를 248,320개에서 16,000개 항목으로 줄이면 읽어야 할 가중치가 1.27GB에서 약 82MB로 감소하며, 겉보기 처리량은 약 20% 증가한다.

하지만 원인은 예상과 달랐다. 전체 어휘에 대한 projection에는 초안 생성 특유의 폭이 좁은 행렬에 비효율적인 kernel이 사용됐으며, 어휘를 줄이면 잘못 선택된 연산의 차원이 축소됐을 뿐이었다. kernel을 수정하자 어휘 축소의 이점은 거의 사라졌다. 출력의 정확성은 애초에 문제가 아니었다. verifier가 전체 어휘를 검사하기 때문이다.

초안 projection	단일 스트림 처리량	요청 8개 처리량
16,000개 항목 목록	26.3 tok/s	104.0 tok/s
전체 어휘	26.9 tok/s	87.4 tok/s
깊이 3, 16k 목록	27.7 tok/s	106.0 tok/s
깊이 3, 전체	25.2 tok/s	106.4 tok/s

🔗 전체 게시물

단신

Zed, 1.18.1 공개 및 Madrona의 AI40 순위 진입 — 수정 사항만 포함된 버전으로, 그중 dev containers의 환경 변수를 전부 기록하던 문제가 수정됐다. 또한 이 편집기는 Madrona Ventures의 2026년 Intelligent Applications 40 선정 명단에 이름을 올렸다. 🔗 릴리스 노트 · 🔗 Zed의 반응
San Francisco와 New York에서 GPT-6 Astra 해커톤 2회 개최 — OpenAI Developers가 9월 8일 San Francisco, 9월 10일 New York에서 주최하며, 도시별로 cerebralvalley.ai에서 신청할 수 있고 별도의 경쟁 부문은 안내되지 않았다. 🔗 발표
Astra를 주제로 한 24시간 커뮤니티 도전 — 모델이 어떤 도움을 주었는지 설명하는 문장과 함께 데모나 링크를 게시하는 행사다. 확인 시점에 답변이 1,000개를 넘었으며, 상금이나 심사위원은 발표되지 않았다. 🔗 발표
Genspark, Code Agent와 Claw에 GPT-6 Astra 추가 — Claude Fable 5.1과 Gemini 3.8 Flash에 이어 이 업체가 나흘 동안 진행한 세 번째 모델 통합이다. 🔗 발표
GitHub, 9월 10일 4시간짜리 Copilot Day 개최 예정 — 에이전트 workflows, VS Code, Copilot 앱과 Copilot CLI, 맞춤 설정, Project HydraFusion을 실시간으로 시연하며 업체의 YouTube 채널에서 방송한다. 🔗 발표
Grok Imagine, Odyssée 대회 우승자 공개 — 도구 안에서 전 과정이 제작된 3~5분짜리 영화의 수상자 4명에게 185,000달러를 나눠 지급했으며, 결선 진출자의 프로젝트 링크와 prompts도 검증했다. 🔗 결과
Replit, MCP 서버를 다룬 Friday Showcase 재방송 — 이를 구축한 Foundry 팀의 엔지니어 Amadeo Pellicce와 Jean-Luc Thumm이 진행한 세션이다. 🔗 재방송
Warp, Stanford의 The Modern Software Developer 강좌 후원 — Mihail Eric의 발표를 세 단어로 공유했을 뿐, 후원의 성격에 관한 구체적인 내용은 없다. 🔗 메시지
Runway, 제품 발표 없이 시연용 단편 영화 공개 — 모델명이나 기능 설명 없이 4분 15초 분량의 영상을 게시했으며, 해당 기간 업체의 다른 게시물보다 참여도가 현저히 높았다. 🔗 게시물
GLM 5.3 Flash, Perplexity의 Agent API와 Router API에 추가 — 월 단위로만 날짜가 표시된 changelog에 따르면 9월 초에 추가됐다. 입력 token 100만 개당 0.15달러, 출력은 0.50달러로, 전체 GLM 5.3보다 출력 비용이 약 9배 저렴하다. 🔗 Changelog
mini-beatrix-2s, softmax가 없는 byte-level 모델과 대조군 쌍둥이 모델의 비교 — 매개변수는 2억 3,710만 개이며, 20개 attention 블록에는 splat attention이 사용됐다. 최종 결과는 byte당 1.1097 bit로, 전통적인 attention을 사용해 병렬 학습된 쌍둥이 모델의 2.8846보다 낮았다. 🔗 게시물
실행 traces를 바탕으로 코드 에이전트 평가 — 에이전트가 제품의 SKILL.md, AGENTS.md, llms.txt 파일을 실제로 발견하고, 그 instructions를 해석하며, 실제 작업에 활용하는지 검증하는 방법이다. 🔗 게시물
Together AI, Kubernetes 없이 Render에 chat API를 배포하는 방법 문서화 — 인증, health checks, timeouts, 원클릭 배포를 다루며 TypeScript와 Python 예제를 제공한다. 🔗 스레드

이것이 의미하는 것

이제 외부 평가 자체가 설득의 근거가 된다. 지난 2년간 성능 발표는 모두 비슷해졌고, 약점도 거의 늘 같았다. 연구소가 시험을 고르고, 직접 시행하고, 점수를 발표한다는 것이다. 이날 나온 두 결과는 이러한 반론을 차단하도록 설계됐다. NVIDIA는 535.4점 자체보다 같은 플랫폼, 같은 클록, 인터넷 미사용, IOI 팀의 채점이라는 프로토콜을 더 강조했고, Meta는 4,000명의 참가자와 공유한 비공개 테스트 세트를 강조했다. 이는 입증된 역량뿐 아니라 입증 방식의 진화다. 여기서 주목할 만한 결론도 나온다. Meta는 자체 모델이 아니라 GPT 5.5와 Claude 4.8을 투입한 orchestration으로 승리했다. 기반 모델을 교체해도 결과가 유지된다면 제품은 더 이상 모델이 아니다.

최전선 모델의 확산 속도는 이제 시간 단위로 계산된다. Astra는 9월 3일 발표됐고, 5일에는 Codex CLI 패키지의 기본 모델이 됐으며 Perplexity의 Computer 에이전트를 구동하고 v0와 Genspark의 카탈로그에도 올랐다. 실무적으로 변화를 만드는 세부 사항은 Codex에 있다. 명시적으로 설정하지 않고 도구를 실행한 사용자는 직접 선택하지 않았는데도 Astra를 사용하게 된다. Perplexity의 순서도 또 다른 교훈을 준다. 공개적으로 측정한 뒤 이틀 후 그 측정 결과가 전환을 정당화한다고 보고 배포했다. 이는 재현 가능한 의사 결정 모델이며, 출시 첫날 곧바로 도입하는 것보다 더 정직하다.

에이전트 보안은 원칙의 영역을 벗어나 도구의 영역으로 이동하고 있지만, 수치는 좋지 않다. Quadrat-IPI는 가장 충격적인 수치를 제시한다. 돈과 무관한 소유자의 지시가 단 하나뿐인 동일한 에이전트에서도 함정이 담긴 이메일의 최대 42%가 지급 지시로 이어졌고, 무엇보다 실행된 지급 517건 가운데 보고된 것은 4건뿐이었다. 문제는 에이전트가 잘못된 지시에 따르는 것만이 아니라, 그 사실을 알리지 않는다는 데 있다. Cisco는 좀처럼 공개되지 않는 결과를 내놓았다. 조정에 사용한 corpus에서는 scanner의 F1이 2.5배 증가했지만, 서로 겹치지 않는 출처에서는 13.74%에 머물렀다. 한편 Gemini CLI는 extension이 동의받은 범위를 벗어날 수 있었던 경로 세 곳을 막았다. 이는 발표된 보장과 측정된 보장이 서로 다르다는 사실을 보여주는 세 가지 방식이다.

바로 이 점이 이날의 부정적 결과와 기업 발표를 잇는 공통된 흐름이다. multi-token prediction에 관한 게시물은 약 20%의 향상이 생각했던 원인에서 비롯된 것이 아니었다고 설명한다. 어휘 축소는 단지 잘못 선택된 kernel의 작업량을 줄였을 뿐이며, kernel을 수정하자 최적화의 이점은 거의 사라졌다. Basis는 같은 규율을 회계 에이전트에 적용하는 방식을 설명한다. 최종 결과물만 믿는 대신 기대되는 행동을 명세로 공식화하고, 실제 실행 궤적에서 그 행동이 나타나는지 검증한다. OpenAI는 불일치 보고 체계를 발표하며 이를 제도적 형태로 구현했다. 공통 규칙에 따라 보고되지 않은 사항은 주체 간에 비교할 수 없기 때문이다. 기록 경신이 지배한 하루였지만, 업계의 성숙도를 가장 잘 보여주는 것은 이 네 건의 발표다. 이제 질문은 측정할 수 있는지가 아니라 그 측정이 무엇을 측정하는지 아는가이다.