구글, 모델 대신 하네스를 고치는 Harness² 공개
구글 연구진이 AI 모델은 그대로 두고 프롬프트·메모리·스킬 같은 주변 구성(하네스)을 스스로 고치게 하는 오픈소스 프레임워크 Harness²를 공개했다. 설정을 바꾸는 방법을 여러 가지 만들어 같은 일을 하나씩 실제로 시켜 보고, 결과가 좋은 쪽을 골라 합친다. 이 과정을 한 번 거친 것만으로 GLM-5와 Gemini 3.5 Flash의 점수가 올랐다.
연구진이 AI 모델은 그대로 두고 그 주변의 실행 환경을 스스로 고치게 하는 오픈소스 프레임워크 ²를 공개했다. 정답이 정해지지 않은 처음 보는 일에서도 어떤 설정이 더 나은지 스스로 판단하게 한 것이 특징이다.
구글 클라우드 AI 리서치(Google Cloud AI Research) 연구진은 10월 9일 에 논문을 올리고 에 코드를 공개했다. 하네스는 모델이 로 일하도록 둘러싼 구성을 말한다. Harness²는 이 가운데 시스템 와 메모리, 도구 안내, , (서브에이전트) 등 여덟 가지를 고칠 수 있다.
여러 방법을 직접 시켜 보고 결과가 좋은 쪽을 고른다
²는 먼저 나 도구 사용법을 어떻게 바꿀지 여러 가지 방법을 만든다. 그다음 같은 일을 방법마다 한 번씩 실제로 시켜 결과를 비교하고, 더 잘 된 방법들을 합쳐 새 설정을 만든다. 이때 배운 점은 기록해 두었다가 다음 일을 맡았을 때 다시 쓴다.
연구진은 이 단계를 한 번만 거쳐도 -5와 3.5 Flash가 원래 하네스보다 높은 점수를 냈다고 밝혔다. 가장 크게 오른 벤치마크는 WorkBuddy-Bench로, 11.5점이 올랐다.
같은 연구 조직의 RRSI 논문이 하네스를 고칠 때 생기는 을 막는 데 집중한 반면, Harness²는 정답을 확인할 수 없는 일에서도 더 나은 설정을 고르는 데 초점을 맞췄다. 코드는 라이선스로 공개돼 나 를 실행기로 붙여 쓸 수 있다. 다만 설정을 한 번 바꿀 때마다 같은 일을 여러 번 시켜 봐야 하기 때문에 그만큼 모델 사용 비용이 더 든다.
