Gemini Decision 1은 결정 모델 순위표에서 어디에 있을까

고객 문의 한 건을 넣고 "어느 부서로 보낼까"를 물으면, 글을 쓰는 대신 부서마다 확률을 붙인 답을 돌려주는 AI가 있습니다. 결정 모델(decision model)입니다. TypeSafe의 Jev와 OpenAI의 Decisions API가 같은 방식입니다. 구글(Google)이 11월 11일 이런 모델 Gemini Decision 1과 호출 창구인 Decisions API를 Gemini API로 공개했습니다. 이 모델은 에이전트가 다음 행동을 고르거나 문의를 분류하는 일을 글 생성 모델보다 빠르고 싸게 맡는 도구라, 선택지가 빠르게 늘고 있습니다.

공개와 같은 날 평가 회사 Artificial Analysis(AA)는 이 모델이 자사 Decision Index v2.1에서 66점이라고 밝혔습니다. 선두인 Drex Max v1.1과 GLiDE v1.2는 73점입니다. AA는 이 모델을 구글의 첫 결정 모델이라고 소개했습니다. 구글 발표문에는 "첫"이라는 말이 없어서, 이 글에서는 AA의 표현으로만 적습니다.

가격, 점수, 가중치 공개 여부를 같은 표로 비교해 이 모델이 순위표 어디에 있는지 봅니다. 가중치 공개는 학습된 모델 자체를 내려받아 자체 장비에서 돌릴 수 있다는 뜻입니다. Gemini API 이용 지역 목록에 한국이 들어 있고, 문서에 결정 모델만의 지역 제한은 없으며 무료 등급도 있습니다. 공개 자료를 정리한 글이며, 직접 호출해 측정하지는 않았습니다.

Gemini Decision 1이 하는 일

Decisions API는 질문 한 묶음을 한 번에 받아 질문마다 확률을 돌려줍니다. 글자를 한 토큰씩 만들어 내는 과정이 없어서 출력 토큰이 0개입니다. 구글은 문맥이 1만 6천 토큰까지일 때 처음부터 끝까지 150~250밀리초가 걸린다고 밝혔습니다. 질문 유형은 세 가지입니다.

• 예·아니오: 0.01~0.99 사이 확률 하나
• 선택: 보기 2~255개마다 확률
• 점수: 2~255단계의 순서 있는 기준에서, 단계별 확률로 계산한 기대 점수

입력은 텍스트·이미지·오디오·영상·PDF이고, 요청 하나에 질문을 최대 1,000개 붙일 수 있습니다. 구글이 낸 사양과 가격은 아래와 같습니다.

여러 질문이 같은 입력을 공유하면 그 입력은 한 번만 과금됩니다. 질문마다 붙는 지시문과 기준만 따로 셉니다. 반대로 컨텍스트 캐싱과 Batch API는 지원하지 않아서, 요청마다 같은 입력을 보내면 매번 전부 셉니다.

구글은 Gemini Notebook·Stitch·CC·Search 등 자사 제품 네 개가 이미 이 API를 쓴다고 밝혔습니다. 그 가운데 Gemini Notebook은 질문을 알맞은 모델 등급으로 보내는 라우터로 쓰고, 일상적인 질문의 지연이 최대 40% 낮아진다고 합니다.

독립 평가에서 받은 점수

AA의 Decision Index는 결정 모델을 같은 시험으로 비교하는 지수입니다. 시험 여섯 개 가운데 다섯 개는 정답을 맞혔는지와 얼마나 확신했는지를 함께 보는 점수로, AA-Symmetry는 같은 질문을 다르게 물어도 답이 유지되는지로 채점하고, 시험마다 비중을 달리해 평균을 냅니다. 모든 시험을 AA가 직접 치릅니다.

Gemini Decision 1은 66점으로 18개 가운데 9위이고, Jev 1.14와 Elephant 9B와 같은 줄입니다. 같은 입력 단가 0.10달러인 OpenAI의 GPT-6 Luna(Decisions)는 60점으로, Gemini Decision 1이 약 6점 높습니다. 시험별로 갈립니다.

• 앞선 시험: 지식 시험 AA-Omniscience-Decision 66.3점, 어려운 객관식 추론 HLE-MultiChoice 48.7점으로 결정 모델 가운데 둘 다 1위
• 선두와 거리가 있는 시험: 직장 문서에 대한 판단 EvalSafe-O*NET-AA 87.1점(8위), 문서에서 판단하고 사실을 뽑는 AA-Paperclip 56.8점(9위), 도구를 부를지 정하는 When2Call 80.5점(14위). AA-Paperclip에서 답 15개를 모두 맞힌 문서는 33%로, 선두 Drex Max v1.1의 63%에 못 미칩니다

AA의 방법론 문서에는 이미지·오디오·영상 입력 시험이 나오지 않습니다. 구글이 멀티모달 입력을 내세우는데 이 지수에는 그 시험이 없으므로, 이 부분은 직접 시험해 볼 만합니다.

같은 표에 놓은 가격과 공개 방식

아래는 모델 아홉 개를 입력 단가, 가중치 공개 여부, 지수 점수, 과제 100만 건당 비용으로 모아 비교한 것입니다. AA는 입력 하나(AA 용어로는 상태)에 질문 하나 이상을 묶어 모델에 한 번 호출로 맡기는 것을 과제 한 건으로 셉니다. 점수와 비용은 AA 공개 수치이고, 단가와 공개 여부는 각 회사 문서로 확인했습니다.

과제 100만 건당 비용 345달러는 선두 Drex Max v1.1의 3.4배입니다. 입력 단가 비율 3.3배와 거의 같은데, 과제 하나에 쓰는 토큰 수가 두 모델 모두 3,400개 안팎이라 차이가 단가에서 나옵니다. 이 비율과 토큰 수는 AA 공개 수치로 계산한 값이며 AA가 낸 수치는 아닙니다. 같은 단가의 Mammoth 27B는 점수가 5점 높고 비용은 264달러입니다. AA 표기는 "Mammoth 27B"와 "Elephant 9B"이고, 둘은 Base Labs의 mammoth-1·elephant-1로 보고 가중치 공개 여부를 적었습니다.

입력 단가 0.10달러는 이 표에서 가장 높은 쪽입니다. 다만 비용은 과금 방식에도 좌우됩니다. 구글은 한 요청의 질문들이 입력을 공유하면 한 번만 세고, AA에 따르면 GLiDE v1.2는 질문마다 입력을 다시 과금해 단가가 낮아도 비용이 780달러입니다. AA는 AA-Paperclip을 문서당 요청 두 개(판단 5개, 사실 10개)로 보냈다고 적었습니다. 한 요청에 붙는 질문이 많을수록 입력 공유 과금의 이점이 커지는 구조입니다.

구글의 보정 수치와 AA 수치

보정(calibration)은 모델이 "70% 확실하다"고 한 답이 실제로 70% 맞는지 보는 것입니다. 결정 모델은 확률을 돌려주는 모델이라 이 수치가 쓸모를 좌우합니다. 구글은 이번 모델이 비교 대상 가운데 보정 오차가 가장 낮다고 밝혔습니다.

구글 표는 1순위 답 기준의 보정 오차(Top-1 ECE)를 쓰며, 낮을수록 좋습니다. Gemini Decision 1은 0.0250, TypeSafe의 Jev 1.14는 0.0494, GPT-6 Luna는 0.0721, Gemini 3.5 Flash-Lite는 0.2104입니다. 비교 대상은 이 네 개이고, 일곱 개 공통 시험에서 낸 값입니다.

AA는 보정을 지수 점수(9위)와 따로 봅니다. 쓰는 잣대는 Brier 점수로, 모델이 고른 답에 붙인 확률과 정답 여부의 차이를 제곱해 평균하며 낮을수록 좋습니다. 지수 전체에서 Gemini Decision 1은 0.175로 18개 가운데 7번째로 낮습니다. 선두권 Drex Max v1.1은 0.160, Jev 1.14는 0.187입니다. 시험별로는 HLE-MultiChoice에서 0.197로 18개 가운데 가장 낮고, When2Call에서는 0.142로 Drex Max v1.1의 0.041보다 높아 보정이 덜 맞습니다.

지표도 비교 집합도 다르므로 두 결과는 서로를 뒤집지 않습니다. 구글 표는 Jev 1.14·GPT-6 Luna·Gemini 3.5 Flash-Lite와, AA 지수는 결정 모델 18개와 비교한 결과입니다. 보정은 시험 종류에 따라 달라진다는 것이 AA의 설명입니다.

지수가 두 번 바뀌어 이전 점수와 비교되지 않는다

AA 지수는 10월 13일 v1.0으로 시작했고, 11월 8일 v2로 개편했으며, 이후 v2.1이 됐습니다. 개편에서 시험이 네 개에서 여섯 개로 늘고, 정답과 확신도를 함께 보는 점수가 대표 지표가 됐습니다. 비공개 데이터 비중도 25%에서 45%로 올랐습니다.

그래서 같은 모델 점수도 달라졌습니다. 10월 17일 순위에서 Jev 1.14는 57점이었고 지금은 66점이며, d1-ultra는 65점에서 71점이 됐습니다. 이전 기사(결정 모델 첫 순위표 기사)의 점수와 이번 표의 점수는 직접 비교할 수 없습니다. 그 기사에서 "공개 베타"로 적은 OpenAI Decisions API는 10월 22일 정식 출시됐습니다.

결정 모델을 고르기 전에 확인할 것

결정 모델을 고를 때는 세 가지를 보십시오.

• 입력과 과제: 이미지·영상·PDF를 넣어야 하는지, 지식 판단이 중심인지 문서에서 사실을 뽑는 일이 중심인지. 이번 지수에서 구글 모델은 지식·추론 시험에서 앞섰고 문서에서 사실을 뽑는 시험에서는 뒤졌습니다.
• 비용 구조: 단가가 아니라 한 요청에 질문을 몇 개 붙이는지, 같은 입력을 몇 번 다시 보내는지. 구글은 공유 입력을 한 번 세지만 캐싱은 지원하지 않습니다.
• 공개 방식: 가중치를 내려받아 자체 장비에서 돌려야 하는지. 구글 문서에는 가중치 공개 언급이 없고, 모델 카드와 기술 보고서도 찾지 못했습니다.

확률이 얼마 이상일 때 결과를 채택할지 정하는 기준값은, 구글 문서도 권하듯 내 서비스의 정답이 붙은 예시로 정합니다.