선택지 고르는 결정 모델, 첫 순위표에서 분류 강하고 지식 약했다

글을 쓰지 않고 미리 정한 선택지 가운데 하나를 골라 확률과 함께 돌려주는 decision model(결정 모델)이 한 달 사이 20여 개로 늘었다. 이 모델들을 같은 시험으로 비교한 첫 외부 순위표도 나왔다.

결과는 쓰임새에 따라 분명하게 나뉘었다. 유해한 요청을 걸러 내거나 도구를 부를지 정하는 일에서는 언어 모델과 점수가 비슷하거나 높았고, 훨씬 빠르고 쌌다. 반면 지식 문제는 언어 모델에 크게 뒤졌고, 스스로 붙인 확률도 실제보다 높았다.

결정 모델은 TypeSafe AI가 9월 15일 Jev를 공개하면서 알려졌다. 고객 문의 하나를 넣고 "어느 부서로 보낼까", "급한가"를 물으면 선택지마다 확률을 한 번에 계산해 돌려준다. 문장을 생성하지 않으므로 언어 모델보다 빠르다.

9월 30일 인사이트를 쓸 때는 이런 제품이 세 개였다. 확률이 실제 정답률과 맞는지 측정한 외부 자료도 없었다. 제품 수와 외부 측정이 모두 달라졌다.

OpenAI·마이크로소프트까지 같은 형태의 API를 냈다

OpenAI는 10월 6일 Decisions API를 공개 베타로 전환하고 가격을 공개했다. 호출 주소는 POST /v1/decisions 이며, 답마다 확률과 confidence 값을 함께 돌려준다.

리퀴드 AI(Liquid AI)는 10월 15일 d1-ultra를 내놓았다. 글과 이미지를 함께 읽는 모델로, 회사는 "회로 기판의 결함을 사양과 대조하거나, 손해 청구를 고객 사진과 대조하는" 일을 겨냥했다고 소개했다.

TypeSafe AI도 10월 14일 Jev 1.14를 내면서 가격을 그대로 뒀다. 이미지 입력과 긴 문맥은 요청 헤더로 켜야 쓰는 실험 기능으로 붙였다. 가장 크게 나아진 부분으로는 다국어 지원을 꼽았다.

마이크로소프트(Microsoft)는 Qwen3.5-9B를 추가 학습해 Microsoft-Decision-1을 만들었다. 클라우드플레어(Cloudflare)와 퍼플렉시티(Perplexity)도 결정 모델을 냈다.

가격을 공개한 제품은 모두 입력에만 요금을 받는다. 답을 몇 개 돌려받든 출력 요금은 없다.

open weights(오픈 가중치)로 내려받아 자체 장비에서 돌릴 수 있는 모델도 나왔다. 클라우드플레어는 Clef를 Apache 2.0 라이선스로 공개했다. 리퀴드 AI가 10월 7일 공개한 d1-3B는 엔비디아의 소형 장비 Jetson AGX Thor에서 질문 하나에 16밀리초가 걸린다. 고객 데이터를 외부 API로 보내기 어려운 회사가 고를 수 있는 길이다.

Artificial Analysis가 처음 같은 시험으로 비교했다

모델 평가 회사 Artificial Analysis는 10월 13일 Decision Index를 공개했다. 결정 모델만 따로 비교하는 첫 외부 지수로, 모든 시험을 이 회사가 직접 치렀다.

지수는 성격이 다른 시험 네 개를 같은 비중으로 평균한다.

10월 17일 순위에서 1위는 65점의 d1-ultra다. 지수 공개 당일에는 Jev 1.13이 1위였는데, 이틀 뒤 나온 d1-ultra가 그 자리를 넘겼다.

Jev 1.14가 57점으로 2위다. OpenAI의 Decisions API는 11개 모델 가운데 10위에 머물렀다.

안전 판정·도구 호출 판단 점수는 언어 모델과 비슷하거나 높았다

Artificial Analysis는 같은 시험을 언어 모델에도 치렀다. 결정 모델이 강한 곳과 약한 곳이 시험별로 뚜렷하게 나뉘었다.

안전 판정과 도구 호출 판단에서는 상위 결정 모델이 언어 모델과 비슷하거나 앞섰다. 지식 문제는 사정이 달랐다. 결정 모델의 정확도는 28~41점에 머물렀다.

속도 차이는 크다. Jev 1.14는 과제 하나를 0.08초에 처리했고, Claude Haiku 5.5(Low)는 1.4초가 걸렸다.

지식 문제에서는 확률이 실제 정답률보다 높게 나왔다

결정 모델은 고른 답에 확률을 붙인다. 그래서 확률 0.9를 붙인 답이 실제로 열에 아홉 번 맞는지 측정할 수 있다. 이 일치 정도를 calibration(보정)이라고 한다.

Artificial Analysis에 따르면 거의 모든 확률 구간에서 결정 모델의 실제 정확도가 스스로 붙인 확률보다 낮았다. 차이는 지식·추론 시험에서 컸다. 도구 호출 판단과 안전 분류에서는 대부분의 모델이 비교적 잘 맞았다.

리퀴드 AI도 같은 문제를 짚었다. 회사는 "대부분의 결정 모델이 자기 답을 실제보다 더 확신한다는 것을 알게 됐다"며, d1-ultra는 확률이 더 믿을 만하도록 따로 학습시켰다고 설명했다.

실제로 d1-ultra는 모르는 지식 문제에 "모른다"를 고르는 경우가 많았다. 이 비율을 나타내는 non-hallucination rate(비환각률)가 85점이었다. 다른 결정 모델은 40점 이하였다.

OpenAI는 확률을 그대로 기준으로 쓰지 말고, 자기 서비스에서 정답을 단 예시로 threshold(기준값)를 정하라고 권한다. 잘못 걸러 냈을 때와 놓쳤을 때 어느 쪽 손해가 큰지 따져 기준값을 고르라는 안내다.

순위표마다 1위가 다르다

결정 모델 순위표는 이것 하나가 아니다. Hugging Face에서 커뮤니티가 운영하는 Jev Decision Index와 개인 개발자가 운영하는 JevBench도 있다. 두 순위표는 시험 문항과 채점 방식이 달라 순위도 다르다.

그래서 회사마다 "1위"라고 내세우는 근거가 다르다. 클라우드플레어는 10월 1일 Clef가 Jev Decision Index에서 선두라고 발표했다. 같은 Clef가 Artificial Analysis 지수에서는 11개 중 9위다.

하려는 일에 따라 고르는 모델이 다르다

토큰 단가만 보면 실제 비용을 알기 어렵다. 같은 과제라도 모델마다 읽어 들이는 토큰 수가 다르다. Artificial Analysis가 측정한 과제 100만 개당 비용을 함께 봐야 한다.

이 지수에서 측정된 퍼플렉시티 모델은 이전 버전인 Decider v1.1 27B다. 지금 파는 버전은 v1.2다.

위 표들을 일에 맞춰 보면 다음과 같다.

어느 모델이든 확률은 자기 데이터로 기준값을 정한 뒤 써야 한다. 고객 문의를 부서별로 나누거나 에이전트의 다음 행동을 고르는 일이라면, 언어 모델 호출을 결정 모델로 바꿔 처리 시간을 열 배 넘게 줄일 수 있다.