KT 모델 라우터, 공개 리더보드 '라우터아레나' 2위
질문마다 알맞은 AI 모델을 골라 주는 KT의 '오토모델라우터'가 미국 라이스대 연구진의 공개 평가판 라우터아레나에서 2위에 올랐다. 1위와는 1.35점, 3위와는 0.07점 차다.
KT가 자체 개발한 AI 기술 '오토모델라우터(AutoModelRouter)'가 LLM 라우터 공개 평가판 라우터아레나(RouterArena)에서 2위에 올랐다고 9월 27일 밝혔다. 라우터는 들어온 질문의 종류와 난이도를 보고 여러 AI 모델 가운데 어느 모델에 맡길지 고르는 기술이다. 비싼 모델을 모든 질문에 쓰지 않아도 되니 비용이 줄어든다.
라우터아레나 공개 리더보드를 9월 28일 직접 열어 확인했다. 미국 라이스대(Rice University) 연구진이 만든 이 평가판은 질의 8,400개로 라우터의 정확도와 비용을 함께 평가한다. 'KT-ModelRouter'는 종합 점수(Acc-Cost Arena) 76.28점으로 2위, 정확도 78.14%에 질의 1,000건당 비용 0.27달러였다. 1위 Paix2는 77.63점, 3위 Sqwish Router는 76.21점으로 KT와 0.07점 차다. 마이크로소프트의 상용 제품 애저 모델 라우터는 70.42점으로 18위다.
리더보드는 누구나 GitHub로 결과를 제출할 수 있는 열린 방식이라, 상위권에는 개인 개발자 제출작도 여럿 섞여 있다. KT는 이 기술을 형 AI 서비스 ' 팩토리'의 모델 선택 기능에 넣을 계획이다.
