선택지 고르는 AI 모델, 세 가지 방식이 나왔다

글을 쓰지 않고 미리 정한 선택지 중 하나를 골라 확률과 함께 내놓는 AI 모델을 이 글에서는 결정 모델(decision model)이라고 부릅니다. 9월 15일 TypeSafe AI가 Jev를 공개했고, 2주 뒤인 9월 29일까지 오픈 모델과 OpenAI의 Decisions API가 나왔습니다. 만든 방식이 다른 제품이 셋이 됐지만 공개된 자료로는 어느 쪽이 낫다고 말하기 어렵습니다. 무엇이 확인되고 무엇이 공개되지 않았는지 정리합니다. 각 사 문서와 공식 게시물, 보도는 필자가 원문을 직접 확인했습니다.

Jev 공개 뒤 2주 안에 오픈 모델과 OpenAI가 같은 형태를 냈다

Jev가 나온 뒤 첫 반응은 평가자였습니다. 랭퓨즈(Langfuse)가 9월 18일, 랭체인(LangChain)의 랭스미스(LangSmith)가 9월 20일, 브레인트러스트(Braintrust)가 9월 21일에 Jev를 다른 AI의 답을 채점하는 평가자(judge)로 써 본 글을 냈습니다.

9월 28일에는 Ollama가 0.35.0 버전↗에서 결정 모델을 지원한다고 밝혔습니다. TypeSafe의 Jev API를 바탕으로 한 /v1/systemone 엔드포인트를 열었고, 모델은 베스포크 랩스(Bespoke Labs)의 Nimble과 투게더 AI(Together AI)의 Tev1입니다. 9월 29일에는 OpenAI가 개발자 행사 데브데이(DevDay)에서 Decisions API를 제한 프리뷰로 공개했습니다.

더뉴스택(The New Stack)↗은 이 API가 Jev에 대한 대응으로 보인다고 추정했고, 더 디코더(The Decoder)는 OpenAI가 TypeSafe가 쓰는 이름으로 'System One 모델' 영역에 들어왔다고 썼습니다. 다만 OpenAI 개발자 계정의 게시물과 데브데이 회고 페이지↗, 개발자 문서에는 Jev도 TypeSafe도 언급되지 않습니다. 대응이라는 해석은 매체의 것입니다.

세 제품은 만든 방식이 다르다

Jev는 TypeSafe가 처음부터 따로 훈련한 모델입니다. TypeSafe 문서↗에 따르면 RLCD(Reinforcement Learning for Calibrated Decisions)라는 강화학습(reinforcement learning) 방식으로 훈련해 보정(calibration)된 결정을 내도록 했고, 고객 데이터로 파인튜닝(fine-tuning)하지 않으며 모든 계정이 같은 가중치를 씁니다. 문장을 생성하지 않고 선택지별 확률을 한 번에 계산해 내놓습니다.

Decisions API는 OpenAI 회고 페이지의 설명대로 GPT-6 Luna의 능력을 사용자가 정한 질문과 유한한 답 목록에 집중시킨 것입니다. 입력은 텍스트 또는 이미지입니다. 어떤 구조인지는 공개되지 않았습니다.

오픈 모델은 방식이 또 다릅니다. Ollama 라이브러리 페이지에 따르면 Nimble은 Qwen3.5-9B를 파인튜닝한 90억 개 파라미터 모델로, 질문마다 프롬프트를 한 번 읽고 답 토큰의 점수를 직접 계산합니다. 추론 단계가 없고 선택지는 2개에서 26개까지 받습니다. 맥북 프로(M5 Max)에서 100밀리초 미만으로 응답한다고 적혀 있습니다. 지난 인사이트에서 필자가 공개 모델로 실험한 '보기 확률 읽기'와 같은 원리로 보입니다.

신뢰도는 제품마다 뜻이 다르고 정답률과도 다르다

'신뢰도'는 정답률로 읽히기 쉬운 말인데, 공개된 문서는 이 말을 따로 정의합니다.

TypeSafe 문서에서 신뢰도(confidence)는 선택지별 확률 분포에서 계산하는 0에서 1 사이의 값입니다. 확률이 한쪽에 몰릴수록 1에 가깝고 고르게 퍼질수록 0에 가깝습니다. 분포의 모양을 요약한 통계이지 그 답이 맞을 확률이 아닙니다. Ollama의 Nimble 페이지도 같은 취지로 신뢰도는 확률이 얼마나 집중됐는지를 나타내는 값이라고 설명합니다.

TypeSafe는 확률 자체에 대해서는 따로 보정을 내세웁니다. 문서↗는 확률 0.2를 준 일이 실제로 약 20% 일어나야 한다는 기준을 제시하면서, 이 보정은 예측을 여러 건 모아 봤을 때의 성질이지 개별 답이 맞다는 보증은 아니라고 덧붙였습니다. 확률이 실제 정답률과 맞는지 보여 주는 측정치는 TypeSafe 공개 문서에서 찾지 못했습니다.

OpenAI는 신뢰도와 보정에 대해 공개한 내용이 없습니다. X 게시물, 회고 페이지, 개발자 문서 어디에도 그 말이 나오지 않고, 신뢰도 점수를 내놓는다는 서술은 더뉴스택 한 곳에만 있습니다.

TypeSafe 문서는 스스로 한계도 적어 두었습니다. 고객 문의 하나를 두고 "환불을 요구하는가"를 참일 확률로 물었을 때 0.22였는데, 같은 질문을 예·아니오 선택지로 물으면 '예'가 0.01이었습니다. 질문과 그 부정형을 각각 참일 확률로 물으면 두 값의 합이 1.19가 되는 경우도 있었습니다. 문서는 질문 유형이 다르면 확률 값이 수학적으로 맞아떨어지기를 기대하지 말고, 한 유형에서 정한 기준값을 다른 유형에 그대로 쓰지 말라고 안내합니다.

AIGeek의 지난 실험에서도 확률의 쓸모는 모델마다 달랐습니다. 작은 모델은 긴급도를 여섯 건 모두 '예'로 판단했고, Gemma 4 26B는 18개 답 전부에 사실상 100%를 부여했습니다. Qwen3.8-27B만 애매한 문항에 중간 값을 부여했는데, 보기 순서를 바꾸자 18개 답 중 3개가 달라졌습니다.

제3자 측정은 평가자 용도와 소표본 비교뿐이다

브레인트러스트는 Jev를 평가자로 시험했습니다. 답이 근거에 기댔는지 보는 근거성(groundedness) 과제에서 Jev의 정확도는 80.2%로 가장 높았지만 추론을 끈 DeepSeek V4 Flash가 79.2%였습니다. 저자는↗ 1점 차로는 더 낫다고 말하기 어렵다고 적었습니다. 도메인에 따라 정확도가 53.3%에서 92.3%까지 차이가 났고, 두 답 중 정답을 고르는 과제에서는 78.1%로 추론을 켠 GPT-5.6 Luna보다 10.6%포인트 낮았습니다. 대신 판정 1,000건당 비용은 0.072달러, 응답 시간 중앙값은 0.17초로 추론을 켠 GPT-5.6 Luna보다 13.2배 싸고 23.3배 빨랐습니다. 랭스미스↗는 연속 점수의 분산이 GPT-5.6 Luna와 Terra, Claude Sonnet 4.6보다 92배에서 913배 낮았다고 밝혔습니다. 결과가 유망하지만 초기라는 설명입니다.

두 제품을 같은 과제에서 비교한 것은 에브리(Every)의 소규모 테스트↗ 두 건이 전부입니다. 컴퓨터 작업을 글로 옮긴 78단계에서 Decisions API는 76단계, Jev는 73단계를 맞혔고 응답은 230밀리초 대 500밀리초였습니다. 대화 스레드를 분류한 과제에서는 정확도가 사실상 같았고 응답 시간 중앙값은 Jev가 161밀리초, Decisions API가 309밀리초였습니다. 속도는 과제에 따라 앞서는 제품이 달랐고, 측정 환경은 글에 밝혀져 있지 않습니다.

두 회사가 내세우는 속도 수치는 서로 비교할 수 없습니다. TypeSafe 홈페이지의 0.114초 대 8.566초는 자사 데모를 GPT-5.6 Terra 기본 추론 설정과 비교한 것이고, OpenAI의 건당 150밀리초 대 1.6초는 고객 요청 한 건을 라우팅(routing)하는 작업을 Responses API와 비교한 것입니다. 과제와 비교 대상, 추론 설정이 모두 다릅니다.

결정 모델의 첫 쓰임새가 평가자였다는 점은 앞서 다룬 스탠포드 CS329A 강의의 논지와 이어집니다. 그 글에서 다룬 반복 샘플링(repeated sampling) 논문은 맞는 답을 골라내는 검증기(verifier)가 있을 때 성능이 오른다고 밝혔는데, 값싸고 빠르게 판정하는 결정 모델은 검증기로 쓸 후보입니다. 확률을 얼마나 믿어도 되는지가 위 표에서 미공개로 남은 항목입니다.

공개 자료에 없는 것은 확률이 정답률과 맞는지에 대한 측정이다

공개된 자료에는 속도와 가격 수치는 있지만, 확률을 판단 기준으로 써도 되는지에 대한 측정은 없습니다. TypeSafe 문서는 신뢰도가 높으면 자동으로 처리하고 낮으면 사람에게 넘기는 방식을 권하는데, 이 방식은 확률과 실제 정답률이 맞아야 성립합니다. 세 제품 가운데 어느 쪽이 나은지도 그 측정이 공개된 뒤에야 비교할 수 있다고 필자는 봅니다.