AI 교과서 저자 러셀, '완벽한 정렬'은 답이 아니라고 본 이유 (youtube.com)
AI 교과서 공저자 스튜어트 러셀이 10월 6일 공개된 The Information 팟캐스트에서, 지금의 LLM은 목표를 적어 넣는 '표준 모델'이 아니라 사람 말을 흉내 낸 모방 학습의 산물이라 무엇을 목표로 배웠는지 읽을 수 없다고 진단했다. 그의 해법은 사람의 목표를 모른다는 불확실성을 설계에 넣는 '보조 게임'이다.
#논문
OpenAI, EU의 ChatGPT 텍스트에 워터마크 적용 (cdn.openai.com)
OpenAI가 10월 5일 EU 이용자의 ChatGPT·Codex가 만든 텍스트에 눈에 보이지 않는 워터마크를 넣기 시작한다고 발표했다. 단어 선택에 패턴을 심는 textGrain 방식이고, API 개발자는 일부 모델에서 선택해 켤 수 있다. 동의어로 10%를 바꾸면 탐지율이 약 92%에서 66%로 낮아진다.
구글 연합학습, 서버의 계산을 외부에서 확인하게 했다 (research.google)
연합학습은 학습 데이터를 기기에 두고 모델을 만드는 방식인데, 서버가 개인정보 보호를 제대로 했는지는 믿는 수밖에 없었습니다. 구글 리서치가 10월 2일 서버의 계산을 외부에서 확인할 수 있게 한 새 시스템을 공개했고, Gboard의 영어 모델은 학습이 2개월에서 3주로 줄었습니다.
AI가 하네스를 스스로 고칠 때의 과적합, 구글 논문의 대책 (arxiv.org)
RRSI는 AI 모델은 그대로 두고 프롬프트·도구·메모리 같은 주변 구성(하네스)을 AI가 스스로 고치게 하는 방법에, 평가 문제만 외우는 과적합을 막는 장치를 단 구글 논문입니다. 고치는 데 쓴 평가에서는 비교한 방법 중 점수가 가장 낮았지만 쓰지 않은 평가에서는 가장 높았습니다. 연습 문제는 꼴찌, 처음 보는 시험은 1등인 셈입니다.
스탠포드 AI 에이전트 무료 강의, 성능 원리부터 워크플로까지 (youtube.com)
스탠포드가 과목 CS329A '자기 개선 AI 에이전트'의 첫 수업을 유튜브에 무료로 공개했습니다. 학습 연산을 키우는 스케일링 법칙에서 추론 연산으로 축이 옮겨 간 흐름, 답을 여러 번 뽑아 고르면 코딩 해결률이 15.9%에서 56%로 오른 논문, 워크플로 패턴 5종을 다룹니다.
AI 모델은 사용자의 고통이 아니라 자기 피해에 반응했다 (arxiv.org)
연구자 세 명이 오픈웨이트 모델 25종을 들여다보니, 고통을 담은 문장에서만 함께 움직이는 값의 묶음이 있었다. 이 묶음은 사용자가 겪는 고통에는 반응하지 않고 모델 자신을 향한 피해에만 반응했다. 여기를 건드리자 모델은 1인칭으로 무가치함을 말하고, 고통을 없애는 버튼까지 골랐다.
KAIST, 서버 호출 55% 줄인 온디바이스 AI 기술 공개 (news.kaist.ac.kr)
KAIST 이재길 교수팀이 기기 속 작은 AI가 서버의 큰 AI에게서 받은 답을 기기에 쌓아 두고 다시 쓰는 기술 CURE를 공개했다. 모델을 다시 학습시키지 않고 붙이는 방식으로, 서버 호출을 평균 55.61% 줄이면서 정확도는 전부 서버로 보냈을 때에 근접했다. 9월 유럽컴퓨터비전학회에서 발표했다.
논문을 AI 에이전트로 바꾸는 Paper2Agent, 네이처 게재 (nature.com)
연구 논문과 코드를 AI가 직접 실행해 검증한 뒤, 질문하면 논문 속 분석을 대신 수행하는 에이전트로 바꾸는 스탠포드의 Paper2Agent가 네이처에 실렸다. 논문 100편 중 74편을 바꿨고 1편당 평균 15달러가 들었다. 함께 공개된 심사 기록에는 새 패러다임이라는 주장에 대한 반론도 남았다.
모델은 변경 없이, 프롬프트만 바꿔 정답률이 올랐다 (arxiv.org)
예시를 하나도 주지 않고 문장 한 줄만 덧붙였더니 정답률이 네 배 가까이 뛰었습니다. text-davinci-002는 MultiArith 17.7%→78.7%, GSM8K 10.4%→40.7%로 올랐습니다. 넉 달 전 논문은 예시 여덟 개로 최고 성적을 냈습니다. 모델은 그대로, 바뀐 건 프롬프트뿐입니다. '프롬프트 엔지니어링 변천사' 시리즈 4편입니다.
'앤트로픽 PDF'로 퍼진 메모리 5계층, 누가 만들었나 (x.com)
앤트로픽이 에이전트 메모리 5계층을 다룬 13쪽 PDF를 냈다는 X 게시물이 퍼졌다. 첨부된 PDF 첫 페이지에는 앤트로픽과 관계없이 따로 엮은 자료라는 문장이 적혀 있고, 기억 이름 네 가지와 90% 수치는 CoALA와 Mem0 논문에서 확인된다.
OpenAI, 나비에-스토크스 풀었다고 주장…
9월 8일, OpenAI가 미공개 차세대 모델로 나비에-스토크스 방정식 관련 문제를 풀었다고 발표했습니다. 166쪽짜리 논문과 GitHub 저장소까지 통째로 공개했습니다. 다만 외부 수학자 검증이나 클레이수학연구소의 공식 확인은 아직 진행 중입니다.
프롬프트란 말, 핵심 용어가 된 건 언제부터 (arxiv.org)
GPT-3 논문에도 'prompt'라는 단어는 27번 나오지만, 예시 몇 개로 모델이 추가 학습 없이 과제를 푸는 이 현상에 논문이 실제로 붙인 이름은 '인컨텍스트 러닝'이었습니다. 지금 쓰는 뜻의 핵심 용어로 프롬프트가 자리 잡은 건 2주 뒤 나온 OpenAI의 GPT-3 API 공개 발표문입니다. '프롬프트 엔지니어링 변천사' 시리즈 2편입니다.
프롬프트 엔지니어링은 죽지 않고 진화했다 (arxiv.org)
프롬프트 엔지니어링은 2020년 GPT-3의 few-shot 학습과 함께 등장해, 2023년 앤트로픽 채용공고(최대 33만 5천 달러)로 화제가 됐습니다. 2025년엔 '컨텍스트 엔지니어링'이, 2026년 상반기엔 '하네스 엔지니어링'과 '루프 엔지니어링'이 잇따라 등장했습니다. '프롬프트 엔지니어링 변천사' 시리즈 1편입니다.