TypeSafe AI, 글 대신 확률을 내놓는 모델 Jev 공개
Jev는 문장을 쓰지 않는다. 미리 정해 둔 항목마다 확률값을 한 번에 내놓고, 소프트웨어는 그 값을 그대로 가져다 쓴다. TypeSafe AI가 9월 15일 공개했고, 입력 100만 토큰당 0.042달러에 출력 토큰은 받지 않는다.
TypeSafe AI가 9월 15일(미국 현지시간) 새 AI 모델 Jev를 공개했다. 문장을 생성하지 않고, 미리 정해 둔 항목마다 확률값을 부여해 한 번에 내놓는 모델이다. 회사는 이런 모델을 ''이라는 새 분류로 부른다.
ChatGPT 계열과 다른 점은 출력 방식이다. 기존 언어 모델은 을 하나씩 앞에서부터 이어 붙여 문장을 만든다. 그 결과는 글이라서 소프트웨어가 쓰려면 다시 파싱하고 형식이 맞는지 검증해야 한다. Jev는 답의 형태를 미리 정해 두고 모든 항목을 한 번에 병렬로 계산한다. 형식이 어긋날 수 없고, 값마다 얼마나 확신하는지가 함께 나온다.
학습 방법도 다르다. ChatGPT를 만든 가 사람이 더 좋아하는 답을 내도록 맞춘 것이라면, Jev에 쓴 는 모델이 말하는 확신도가 실제 정확도와 일치하도록 조정한 것이다. 90%라고 말한 답이 실제로 열에 아홉 맞도록 훈련한다는 뜻이다.
속도와 가격은 이 구조에서 나온다. 응답은 70~500밀리초에 끝나고, 입력은 100만 토큰당 0.042달러이며 출력 토큰은 받지 않는다. TypeSafe AI가 자사 업무 흐름 네 가지로 측정한 결과는 193.6배 빠르고 444.6배 저렴했다.
TypeSafe AI는 샌프란시스코에 있는 회사다. 창업자 디오고 알메이다는 OpenAI에서 언어 모델이 지시를 따르고 사람과 대화하게 만드는 방법을 만드는 데 참여했고, 그 연구가 ChatGPT의 바탕이 됐다고 밝혔다. Jev는 지금 대기자 명단을 받는 초기 접근 단계다.
