AI가 하네스를 스스로 고칠 때의 과적합, 구글 논문의 대책
RRSI는 AI 모델은 그대로 두고 프롬프트·도구·메모리 같은 주변 구성(하네스)을 AI가 스스로 고치게 하는 방법에, 평가 문제만 외우는 과적합을 막는 장치를 단 구글 논문입니다. 고치는 데 쓴 평가에서는 비교한 방법 중 점수가 가장 낮았지만 쓰지 않은 평가에서는 가장 높았습니다. 연습 문제는 꼴찌, 처음 보는 시험은 1등인 셈입니다.
구글 클라우드 AI 리서치(Google Cloud AI Research)와 UNC 채플힐(UNC-Chapel Hill)·스탠포드(Stanford University)·워싱턴대 세인트루이스(Washington University in St. Louis) 연구진이 9월 21일 에 RRSI 논문을 올렸습니다. 제목은 '의 정규화된 (Regularized Recursive Self-Improvement of Agent Harnesses)'입니다. 하네스(harness)는 AI 모델 본체는 그대로 두고 그 둘레에 붙이는 지시문·도구·기억 같은 구성을 말합니다. AI가 이 하네스를 스스로 고치게 하는 방법은 이미 여러 개 나와 있는데, 고치는 데 쓴 문제에서는 점수가 오르지만 처음 보는 문제에서는 오르지 않는 (overfitting)이 걸림돌이었고, 이 논문은 과적합을 막는 장치를 더했습니다. 수정 범위를 줄이고, 정답 베끼기와 우연한 점수 차이를 걸러 내는 제약입니다. 하네스를 고치는 데 쓴 평가에서는 비교한 방법 중 점수가 가장 낮았지만, 쓰지 않은 평가에서는 가장 높았습니다. 연습 문제 점수는 꼴찌였는데 처음 보는 시험에서는 1등이었다는 뜻입니다. 논문과 GitHub 저장소, 프로젝트 페이지는 필자가 원문을 직접 확인했습니다.
하네스는 모델이 일하도록 둘러싼 지시·도구·기억이다
AI 모델은 학습으로 정해진 수치(가중치)가 곧 본체입니다. 는 이 수치를 뺀 나머지, 곧 모델을 둘러싼 지시·도구·기억 전체입니다. 논문이 꼽는 구성은 다섯 가지입니다. 시스템 와 과제 지시문, 가 언제 계획하고 실행하고 되돌아보고 멈출지 정한 순서, 쓸 수 있는 도구와 그 설명, 참고할 메모리와 파일, 매 단계에서 모델에게 무엇을 보여 줄지 고르는 방식입니다. 논문은 최근 에이전트 제품이 좋아진 것이 새 모델 덕이라기보다 하네스를 손봐서 된 경우가 많다고 보고, 사람이 실패 기록을 읽고 손으로 고치는 방식은 엔지니어가 읽을 수 있는 기록의 양에 제한된다고 지적합니다.
그래서 나온 것이 AI가 하네스를 고치게 하는 방법입니다. 순서는 이렇습니다. 지금 하네스로 평가용 문제 묶음(논문에서는 evolve set)을 풀어 기록을 모읍니다. 수정안을 내는 AI(제안기, proposer)가 그 기록을 요약한 피드백을 보고 새 하네스 후보를 만듭니다. 후보를 같은 문제 묶음으로 평가해 가장 좋은 것을 다음 하네스로 삼습니다. 논문은 이 과정을 에이전트 시스템 수준의 (recursive self-improvement, RSI)이라고 부릅니다. 모델 가중치는 그대로이고 하네스만 바뀝니다.
논문이 같은 조건에서 비교한 기존 방법은 네 개입니다. Meta-Harness는 하네스 코드를 바깥쪽 반복 구조(outer loop)에서 최적화하고, AHE(Agentic Harness Engineering)는 코딩 에이전트 하네스를 관찰 결과에 따라 진화시키며, TTHE(Test-Time Harness Evolution)는 테스트하는 동안 하네스를 바꾸고, HarnessX는 하네스를 정해진 부품의 조합으로 봅니다. 네 방법의 설명은 각 논문의 초록과 대조해 확인했습니다. 본문 전체는 읽지 않았고, 초록에 적힌 범위만 확인했습니다.
같은 문제 묶음으로 계속 고치면 그 문제에만 맞게 된다
기계학습에서 은 모델이 학습 데이터의 우연한 특징까지 외워서 새 데이터에서는 성능이 떨어지는 현상입니다. 이를 막는 고전적인 방법이 정규화(regularization)로, 모델이 지나치게 복잡해지면 벌점을 주는 L1·L2 정규화가 대표적입니다. 지금까지 정규화는 모델 가중치에 거는 것이었습니다. RRSI는 가중치 대신 를 고치는 과정에 제약을 겁니다. 논문은 고칠 수 있는 범위(, 제어 흐름, 도구, , 메모리, )는 그대로 열어 두고, 수정이 진행되는 방식을 규제한다고 설명합니다.
하네스를 고칠 때도 같은 문제가 생깁니다. 정해진 문제 묶음의 피드백으로 수정과 선택을 되풀이하면, 그 묶음에서는 점수가 오르는데 처음 보는 과제에서는 오르지 않을 수 있습니다. 논문은 원인을 세 가지로 봅니다. 특정 벤치마크의 패턴을 하네스에 심어 넣는 것, 평가에 섞인 우연한 점수 차이(잡음, evaluation noise)를 실력으로 착각해 후보를 채택하는 것, 점수에는 보탬이 안 되면서 복잡도만 쌓이는 것입니다. 평가 묶음을 바꾸면 보고된 개선이 사라지는 사례가 선행 연구에 있다고도 논문은 인용합니다.
수정안을 만들 때 3가지, 채택할 때 4가지 제약을 둔다
RRSI는 후보를 만드는 단계에 3가지, 후보를 채택하는 단계에 4가지 제약을 둡니다. 각각 위의 세 원인 가운데 하나 이상을 겨냥합니다. 아래 한글 이름은 필자가 뜻을 풀어 붙인 것이고, 괄호 안이 논문의 용어입니다.
후보를 만드는 단계
- 수정 개수 점차 줄이기(annealed update sparsity): 후보 하나에 넣을 수 있는 수정 개수를 라운드가 갈수록 줄입니다. 처음에는 3개까지 허용하다가 마지막에는 1개로 줄이고, 줄어드는 모양은 코사인 곡선입니다. 관련 없는 수정을 한꺼번에 넣으면 지금 피드백의 우연한 특징에 맞추기 쉽고, 점수가 오른 이유가 어느 수정인지 알 수 없기 때문입니다.
- 이전 시도 기록 참고하기(evidence-aware credit assignment): 후보마다 어느 부분을 고쳤는지, 어떤 가설이었는지, 점수와 비용이 어떻게 바뀌었는지, 채택됐는지를 기록하고 수정안을 내는 AI가 그 기록을 읽게 합니다. 이미 효과가 없다고 확인된 가설을 다시 시도하는 낭비를 막습니다.
- 손대지 않은 곳 시험하기(structured exploration): 점수가 잡음 범위 안에서 더 오르지 않으면 수정안 일부를 아직 손대지 않은 구성 요소에 배정합니다. 만 계속 고치는 식의 쏠림을 막습니다.
후보를 채택하는 단계
- 정답 베끼기 걸러내기(leakage screening): 평가하기 전에 검토 AI가 수정 내용을 읽고, 과제 이름이나 정답처럼 그 평가에서만 통하는 내용이 들어간 후보는 탈락시킵니다. 걸러진 후보는 부풀려진 점수를 받을 기회조차 얻지 못합니다.
- 우연한 점수 차이 거르기(noise-adjusted performance floor): 수정 전 를 여러 번 평가해 점수가 우연히 흔들리는 폭을 구하고, 후보 점수가 지금까지의 최고점에서 그 폭을 뺀 값 이상이어야 채택합니다. 우연히 높게 나온 후보와, 하나하나는 잡음처럼 보일 만큼 작은 퇴보가 연달아 쌓이는 것을 막습니다.
- 늘어난 비용 따져 보기(complexity-aware acceptance): 점수가 잡음 범위를 넘어 올라도, 늘어난 비용에 걸맞은 이득이 있어야 채택합니다.
- 효과 없는 부분 빼기(structural pruning): 최근 라운드에서 점수에 보탬이 없던 구성 요소를 삭제 후보로 수정안을 내는 AI에게 알려 줍니다. 한 번 들어온 장치가 효과 없이 남는 것을 막습니다.
논문은 수정 개수 줄이기와 효과 없는 부분 빼기를 L0·L1 정규화에, 비용 따져 보기를 L2 정규화에 빗대지만, 실제 수학적 벌점이 아니라 비유라고 직접 밝혔습니다. 그림의 L0·L1 표기가 본문과 다르게 붙어 있어 이 글에서는 이름을 쓰지 않았습니다.
점수가 가장 낮은 방법이 다른 시험에서 가장 높았다
주 실험에서 를 실행하는 모델(고정 모델)은 Claude Opus 4.8이고, 수정안을 내는 AI와 분석·검토 AI도 같은 모델입니다. 구글 연구인데도 실제로 쓴 모델은 Claude Opus 4.8입니다. 하네스를 고치는 데 쓴 평가(Terminal-Bench 2.1, Harvey LAB, EngDesign)와 쓰지 않은 평가를 나눠 측정했고, 모든 수치는 같은 시기에 측정한 수정 전 하네스(H0)와 비교한 값입니다.
- Terminal-Bench 2.1(고치는 데 사용): 74.2 → 80.2, +6.0점
- EngDesign(고치는 데 사용): 50.0 → 54.9, +4.9점
- Harvey LAB(고치는 데 사용): 89.4 → 90.5, +1.1점
- Verified(미사용): 82.0 → 83.8, +1.8점
- JobBench(미사용): 36.0 → 40.7, +4.7점
- GDPval(미사용): 48.8 → 52.3, +3.5점
- APEX-Agents(미사용): 34.2 → 37.9, +3.7점
- Frontier-Eng(미사용): 17.7 → 22.0, +4.3점
고치는 데 쓰지 않은 평가(논문에서는 OOD, out-of-distribution) 5개는 모두 올랐습니다. 고치는 데 쓰지 않은 Harvey LAB 40과제까지 합친 6개 모두 개선됐고 점수가 내려간 곳은 없다고 논문은 밝혔습니다. 더 중요한 것은 기존 방법과의 비교입니다. 워크스페이스 영역의 표에서 고치는 데 쓴 Harvey LAB 점수는 Meta-Harness 93.0, HarnessX 91.8, TTHE 91.1, AHE 90.7, RRSI 90.5로 RRSI가 가장 낮습니다. 그런데 고치는 데 쓰지 않은 3개 평가의 평균은 RRSI가 43.6으로, 수정 전 39.7과 Meta-Harness 40.6, HarnessX 39.7, AHE 39.2, TTHE 38.0을 앞섭니다. AHE와 TTHE는 수정 전 하네스보다도 낮습니다.
같은 영역에서 제약을 모두 뺀 변형이 이 현상을 확인해 줍니다. 고치는 데 쓴 평가 점수는 92.8로 모든 변형 중 가장 높지만 OOD 평균은 40.3으로 수정 전과 0.6점 차이이고, 은 시행당 380만 개로 RRSI의 242만 개보다 많습니다. 후보를 만드는 쪽 제약만 빼거나 채택하는 쪽 제약만 빼도 고치는 데 쓴 평가 점수는 오르고 OOD 점수는 내려갑니다. 논문은 이것이 제약이 의도한 트레이드오프(trade-off)라고 설명합니다.
논문 초록의 "기존 방법 평균보다 최대 22.9%"는 Frontier-Eng에서 RRSI(22.0)가 기존 방법 평균(17.9)보다 상대적으로 22.9% 높다는 값입니다. 프로젝트 페이지의 그림 데이터로 역산해 맞췄고, 논문 본문에는 계산식이 없습니다. 포인트 차이로 읽으면 안 됩니다.
고정 모델을 바꾼 실험도 있습니다. Gemini 3.5 Flash로 같은 방법을 실행하면 Terminal-Bench 2.1이 64.6에서 78.7로 14.1점, SWE-bench Verified가 76.8에서 79.0으로 2.2점 올랐습니다. 이 하네스를 고치는 데 쓰지 않은 더 작은 모델 Gemini 3.1 Flash Lite에 그대로 적용하면 Terminal-Bench 2.1이 11.2에서 14.6으로 올라 상대 30.4% 개선이라고 논문은 밝혔습니다.
비용은 수정 전보다 늘었고 통계는 공개되지 않았다
절감은 비교 대상을 봐야 합니다. 워크스페이스 영역에서 RRSI는 시행당 242만 토큰으로, 제약 없이 고친 경우(380만)보다 약 36% 적습니다. 논문 초록은 "30%"로, 프로젝트 페이지는 36%로 적었습니다. 하지만 고치지 않은 수정 전 (156만)보다는 약 55% 더 씁니다. 논문도 고친 하네스는 어느 것이든 수정 전만큼 싸지 않으며, 추론에 쓰는 계산량을 늘려 이득의 일부를 얻는다고 인정합니다. 단계 수도 RRSI는 시행당 26.3으로, 수정 전 21.2보다 많고 다른 방법(27.3~34.6)보다는 적습니다.
평가 방식에도 제약이 있습니다. Harvey LAB과 APEX-Agents는 Gemini 3.5 Flash가, GDPval은 모델 3개의 다수결(majority voting)이 심사하는 구조라 심사 모델의 취향이 점수에 섞일 수 있습니다. 논문은 정해진 규칙으로 채점하는 엔지니어링 영역에서도 개선이 나왔다는 점으로 이를 보완합니다. 한편 EngDesign은 라이선스 문제로 61과제만 썼고, Frontier-Eng는 평가 환경을 만들지 못한 과제를 0점 처리해 47과제 중 38과제만 점수에 반영됩니다.
논문 본문에서 무작위 시드를 바꿔 반복한 결과나 신뢰구간, 표준편차는 찾지 못했고, 하네스를 한 번 고치는 데 드는 총비용(달러·시간)도 공개돼 있지 않습니다. 개선 폭이 Harvey LAB 1.1점, Verified 1.8점처럼 작은 항목은 우연한 변동과 구분되는지 논문에 나와 있지 않습니다.
저자는 한계로 모델 가중치를 함께 고치는 설정을 다루지 않았다는 점, 한정된 문제 묶음과 여러 설정값(하이퍼파라미터)에 의존한다는 점, 구조가 많이 다른 나 도구 환경, 더 오래 이어지는 자기개선에서도 통하는지는 추가 확인이 필요하다는 점을 적었습니다. 논문은 아직 학회 게재 표시가 없는 프리프린트입니다. 코드와 설정값, 라운드별 수정안·검토·하네스 변경 기록이 공개돼 있어 같은 조건으로 다시 실행해 볼 수 있지만, 저장소 안내에 따르면 구글 Vertex AI의 Claude Opus 4.8 접근이 필요합니다.
