보고서처럼 정답 없는 일, AI는 어떻게 배우나

AI에게 코딩을 가르치기는 비교적 쉽다. 코드를 실행해 보면 맞았는지 틀렸는지 바로 나오기 때문이다. 투자 검토 메모나 이사회 보고서는 사정이 다르다. 잘 쓴 보고서도 여러 모양으로 나올 수 있고, 어느 쪽이 나은지는 결국 사람의 판단이다.

미국 스타트업 Paper Instruments가 이 문제에 대한 답을 내놨다. 회사는 10월 14일(현지시간) 업무용 모델 Ultramarine 1 Flash를 공개하면서 학습 방법을 담은 기술 보고서를 함께 올렸다. 핵심은 과제마다 채점표를 따로 만들어 AI의 결과물에 점수를 주는 방식이다.

정답 대신 채점표로 점수를 준다

reinforcement learning(강화학습)은 AI가 여러 번 시도해 보고 점수가 높았던 방식을 더 자주 쓰도록 만드는 학습이다. 그래서 점수를 어떻게 주느냐가 곧 AI가 무엇을 배우느냐가 된다.

Paper Instruments는 과제마다 rubric(채점표)을 따로 만들었다. 채점표는 여러 채점 항목으로 이뤄지고, 항목 하나에는 확인할 내용을 하나만 적는다. 채점을 맡은 AI는 결과물이 항목마다 그 내용을 갖췄는지 아닌지만 판단하고, 갖춘 항목의 배점을 더한 값이 그 시도의 점수가 된다.

어떤 내용을 한 항목에 넣고 어떤 내용을 따로 뺄지도 정해 뒀다. 서로 상관없이 따로 해낼 수 있는 일은 항목을 각각 만들어, 하나를 못 해도 나머지 항목 점수는 받게 했다. 반대로 하나라도 빠지면 쓸모가 없는 조건들은 한 항목에 같이 넣어, 전부 갖췄을 때만 점수를 줬다.

보고서가 든 예는 임원에게 올리는 메모다. 무엇을 확인했는지, 그래서 어떤 결정을 해야 하는지, 아직 남은 것이 무엇인지가 함께 적혀 있어야 읽는 사람이 확정된 것과 미정인 것을 구분할 수 있다. 그래서 이 셋은 한 항목으로 묶었다.

너무 좁게 쓰면 맞는 답이 떨어지고, 너무 넓게 쓰면 틀린 답이 붙는다

채점표에서 가장 어려운 일은 항목 하나하나의 문장을 쓰는 것이다. 보고서는 이사회 자료를 고치는 과제를 예로 들었다. 이사회가 지금 승인할 수 있는 것과 법무 검토를 더 거쳐야 하는 것을 나눠 보여 줘야 하는 과제다.

이 과제에서 맞는 답은 세 가지가 나왔는데, 문장 순서도 표현도 제각각이었다. 모범 답안의 표현과 순서를 그대로 요구하는 항목을 쓰면 셋 중 둘이 떨어진다. 반대로 "이사회에 유용한 업데이트를 제공한다"처럼 두루뭉술하게 쓰면 절반만 맞힌 답까지 점수를 받는다.

실제로 쓴 항목은 "지금 승인할 수 있는 것과 검토가 남은 것을 나눠 보여 줬는가"를 묻는다. 이렇게 쓰면 맞는 답 셋만 통과한다. 회사는 채점의 정확도를 좌우하는 것이 채점하는 AI의 성능보다 이 문장을 얼마나 정확히 쓰느냐에 있다고 봤다.

채점표에 회사 이름이나 날짜, 전제 조건을 구체적으로 적어 두는 것도 같은 이유다. 채점하는 AI가 채점표만 보고도 결과물과 맞춰 볼 수 있어야 점수가 덜 흔들린다.

연습 문제는 AI로 만들었다

다음 문제는 이런 과제를 어디서 많이 구하느냐다. 회사는 세 가지 방법을 따져 봤다. 실제 사용자의 작업 기록, 전문가가 손으로 만든 과제, 그리고 AI로 만든 과제다.

실제 기록은 생생하지만 사용자가 말하지 않은 전제가 숨어 있다. 보고서의 예를 들면, "의료기기 상위 10개 회사"를 물은 사용자가 매출 순위를 생각했다면 그 기록으로 만든 채점표는 시가총액 순위로 답한 AI를 틀렸다고 채점하게 된다. 전문가가 만든 과제는 이런 문제가 없지만 비싸고 많이 만들기 어렵다. 회사는 결국 AI로 만드는 쪽을 택했다.

과제는 금융·법률·컨설팅·운영 네 분야에서 88가지 업무 상황으로 나눠 만들었다. 인수합병 거래, 기업 회생, 공장 교대 근무, 내부통제 점검 같은 상황이다. 상황마다 미국 증권거래위원회(SEC)에 실제로 제출된 공시 자료와 AI가 만든 계약서·이메일, 고객관리(CRM)·전사자원관리(ERP) 같은 업무 시스템이 함께 들어 있다.

과제 하나를 만드는 데 AI 작업 수십 건과 여러 차례 검토가 들어갔다. 근거가 맞는지, 실제 업무처럼 보이는지, 난이도가 적당한지, 지시와 채점표가 서로 맞는지를 본다. 답이 미리 새어 나가는 과제나, AI가 채점의 허점을 노려 점수만 따는 reward hacking(보상 해킹)이 가능한 과제도 걸러 냈다.

연습할 때는 지시를 최소한으로 줬다

학습할 때 AI에게 준 기본 지시문은 세 문장, 약 50토큰이 전부였다. 회사가 살펴본 코딩 에이전트 도구들은 기본 지시문만 1,800~4,400토큰이었다. 도구 설명에도 언제 어떻게 쓰라는 말은 빼고 그 도구가 무엇을 하는지만 적었다.

자세한 업무 지침은 학습 마지막 단계에서야 넣었다. 처음부터 절차를 정해 주면 당장 점수는 오르지만, AI가 다른 방법을 시도해 보지 않게 된다는 것이 회사의 판단이다.

실패도 원인을 나눠서 다뤘다. AI가 명령을 잘못 내려 생긴 오류는 그대로 알려 주고 스스로 고치게 했다. 반면 작업 환경이 끊기는 것처럼 AI 탓이 아닌 실패는 0점을 주는 대신 그 시도를 학습에서 아예 뺐다. AI가 잘못한 게 아닌데 점수를 깎으면 점수에 잡음만 섞이기 때문이다.

보고서 작업은 늘고, 코딩은 조금 줄었다

결과를 보면 공개된 업무 평가 6개 모두에서 원래 모델보다 점수가 올랐다. 평균 4.1점이 올랐고, 같은 문제를 푸는 데 쓴 출력 토큰은 6.5% 줄었다.

회사가 만든 평가에서는 59.3점에 과제당 0.13달러가 들었다. Claude Fable 5(57.8점)보다는 높고 Claude Opus 5.5(61.9점)나 Claude Fable 5.1(65.5점)에는 못 미친다. GPT-6 Luna는 58.3점에 0.11달러로 비슷한 수준이다.

대신 코딩 평가 두 개에서는 원래 모델보다 1~2점 내려갔다. 보고서 작업을 집중해서 연습한 만큼 코딩 실력까지 오르지는 않은 셈이다.

채점 도구는 지금 누구나 쓸 수 있다

보고서에 나온 도구 일부는 바로 써 볼 수 있다. 채점표로 AI 결과물을 채점하는 파이썬 라이브러리 rubric↗은 GitHub에 MIT 라이선스로 공개돼 있고, uv add rubric으로 설치한다. 모델을 직접 학습시키지 않더라도, 자기 회사 보고서 업무에 맞는 채점표를 만들어 여러 AI의 결과물을 비교해 보는 데 쓸 수 있다.

워드·파워포인트·엑셀 파일을 다루는 paper-docx↗, paper-pptx↗, paper-xlsx↗도 공개됐다. 많이 쓰이는 python-docx·python-pptx·openpyxl을 고친 버전이라 기존 코드를 그대로 쓸 수 있다. 안전하게 고칠 수 없는 편집이면 파일을 건드리지 않고 오류를 낸다. AI가 문서를 고치다 파일을 망가뜨리고도 모른 채 넘어가는 일을 막으려는 것이다.

학습과 평가에 쓴 작업 도구 Feather도 feather-train↗ 저장소로 공개됐다. 모델은 API↗로 쓸 수 있고, 회사는 설정 몇 개만 바꾸면 Claude Code에서도 쓸 수 있다고 안내했다. 모델 파일은 10월 말 공개될 예정이다.

정답이 정해져 있지 않은 일도 무엇을 확인할지 문장으로 정확히 적을 수 있으면 채점할 수 있고, 채점할 수 있으면 AI에게 가르칠 수 있다. 회사가 보고서에서 가장 중요한 문제로 꼽은 것도 모델 구조가 아니라 과제와 채점표를 함께 만드는 일이었다.