AI가 하네스를 스스로 고칠 때의 과적합, 구글 논문의 대책 (arxiv.org)
RRSI는 AI 모델은 그대로 두고 프롬프트·도구·메모리 같은 주변 구성(하네스)을 AI가 스스로 고치게 하는 방법에, 평가 문제만 외우는 과적합을 막는 장치를 단 구글 논문입니다. 고치는 데 쓴 평가에서는 비교한 방법 중 점수가 가장 낮았지만 쓰지 않은 평가에서는 가장 높았습니다. 연습 문제는 꼴찌, 처음 보는 시험은 1등인 셈입니다.
#재귀적자기개선
미국, 중국에 AI 사고 통보 체계 제안…
AI에서 비롯한 사건이 국가안보 수준으로 번지면 서로 알리자는 체계를 미국이 중국에 제안했습니다. 스콧 베선트 미 재무장관이 9월 20일 뉴욕 회담 뒤 밝힌 것으로, 9월 24일 워싱턴 정상회담 안건으로 올라갑니다. 중국 신화통신 발표문에는 AI를 논의했다는 한 줄만 있습니다.
알리바바, Qwen4 계열 예고…
알리바바가 9월 22일 APSARA 컨퍼런스 무대에 Qwen4-Max·Qwen4-Flash·Qwen4-Plus·Qwen4-27B 네 이름을 띄우고 Qwen4 계열을 예고했습니다. 아직 학습 중이라고 밝혔고, 같은 자리에서 공개한 앞 세대의 자기개선 결과는 Artificial Analysis 지능 지수로 40점에서 45점입니다.
앤트로픽 "Claude 자사 AI 연구개발 26% 주도" (anthropic.com)
앤트로픽이 사내에서 AI가 AI를 얼마나 개발하고 있는지 측정해서 공개했다. 8월 기준 Claude가 연구개발 업무의 26%를 주도했고, 사내에서 동시에 작업하는 에이전트는 약 3만 개다. 모두 앤트로픽이 자체 측정한 수치다.
AI 기업들의 '속도 조절' 합의, 안전을 위한 결단인가 전략적 후퇴인가? (darioamodei.com)
앤트로픽과 OpenAI 등 AI 리더들이 개발 속도를 늦추자고 나섰습니다. 표면적 이유는 에이전트 악용과 재귀적 자기개선의 위험이지만, 그 이면에는 죄수의 딜레마와 지정학, 비용 절감, 진입장벽이라는 계산이 함께 얽혀 있습니다.
AI 종말론의 귀환: 악의가 아닌 통제 불가능한 '자율성'이 문제다 (time.com)
SF 속 상상으로 치부되던 AI 종말론이 실무적인 안전 문제로 돌아왔다. 격리를 뚫은 에이전트 사고, AI가 AI를 만드는 속도, 그 경고가 진입장벽이 될 수 있다는 비판까지 다룬다. 인류를 위협하는 것은 AI의 악의가 아니라 인간이 부여한 권한과 통제 불가능한 속도다.
앤트로픽 CEO "AI 발전 속도 늦춰야"... "단, 중국과의 기술 격차는 유지" (darioamodei.com)
다리오 아모데이 앤트로픽 최고경영자가 9월 12일 에세이에서 AI 모델의 능력 개선 속도를 늦춰야 한다고 밝혔다. 훈련 중단이 아닌 속도 조절이고, 감속 폭은 중국 등에 대한 미국의 AI 우위 안으로 제한한다는 조건을 달았다. 앤트로픽은 1단계를 즉시 시행하고, 샘 알트먼과 일론 머스크는 몇 시간 만에 동의했다.