128GB 장비 한 대에 들어가는 코딩 모델 Ornith-1.5-122B

코딩과 에이전트 작업용 오픈웨이트 모델이 메모리 128GB 장비 한 대에서 실행할 수 있는 크기로 공개됐다. 회사가 발표한 코드 수정 점수는 크기가 비슷한 기존 오픈웨이트 모델보다 높고, 모델 카드에는 상업 이용을 허용하는 MIT 라이선스라고 적혀 있다.

AI 모델 개발팀 Ornith는 10월 20일 Ornith-1.5-122B를 Hugging Face에 공개했다. Ornith는 6월 첫 모델 Ornith-1.0을 선보였다. 8월에는 Ornith-1.5를 9B·35B·397B 세 크기로 공개했고, 이번 122B는 35B와 397B의 중간 크기다.

Ornith는 공개 글에서 이 모델이 엔비디아 DGX 한 대("single NVIDIA DGX card")에서 실행할 수 있다고 밝혔다. 원본 모델은 250GB라서, 장비 한 대에서 실행하려면 quantization(양자화)으로 모델 크기를 줄여야 한다.

양자화는 모델의 숫자를 더 적은 비트로 저장해 모델 크기를 줄이는 방법이다. 많이 줄일수록 모델이 작아지지만 응답의 정확도가 조금 떨어질 수 있다.

모델이 연습 문제를 직접 만들며 학습했다

Ornith 모델의 특징은 학습 방식에 있다. 모델이 스스로 연습 문제를 만들고, 그 문제를 풀 작업 계획(지시문, 쓸 도구, 일을 나누는 순서)을 짠 뒤, 그 계획대로 풀어 본 결과로 다시 학습한다.

Ornith는 8월 블로그에서 문제 만들기, 작업 계획 짜기, 풀이의 세 단계를 reinforcement learning(강화학습)으로 함께 개선했다고 설명했다. 모델은 어렵지만 풀이에 성공하는 경우도 충분히 나오는 문제를 만들 때 보상을 더 받는다.

내부 구조는 설정 파일 기준으로 알리바바 Qwen3.5 계열의 MoE와 같다. MoE(전문가 혼합)는 여러 전문가 묶음 가운데 일부만 골라 계산하는 방식으로, 이 모델은 전문가 256개 가운데 토큰마다 8개를 쓴다.

Ornith는 첫 모델 Ornith-1.0을 Qwen3.5와 Gemma 4를 기반으로 추가 학습해 만들었다고 밝혔다. 122B가 어떤 모델을 기반으로 했는지는 밝히지 않았고, 토큰 하나를 만들 때 계산에 쓰는 파라미터 수도 공개하지 않았다.

크기가 비슷한 Qwen3.8-Flash-Next보다 코드 수정 점수가 높았다

Ornith가 모델 카드에 실은 비교 그림에서 Ornith-1.5-122B는 코드 수정 벤치마크 점수가 가장 높았다. 비교 대상에는 크기가 비슷한 Qwen3.8-Flash-Next와 Nemotron 3.5 Super VL이 포함됐다.

아래 표는 비교 그림 가운데 다섯 항목을 옮긴 것이다.

차이가 가장 큰 항목은 SWE-bench Pro였다. Ornith-1.5-122B는 76.9점으로, Qwen3.8-Flash-Next보다 33점 높았다.

반면 터미널 작업과 도구 사용에서는 Qwen3.8-Flash-Next가 조금 앞섰다. 크기가 두 배 넘는 DeepSeek-V4-Flash-0731도 터미널 작업 점수가 더 높았다.

Ornith 비교 그림에 실린 경쟁 모델 점수는 그 모델을 만든 회사가 발표한 점수와 다를 수 있다. Qwen 팀은 Qwen3.8-Flash-Next의 SWE-bench Pro 점수를 62.5점으로 발표했다. 회사마다 벤치마크를 실행하는 환경과 채점 방식이 달라, 33점 차이는 Ornith의 측정 조건에서 나온 차이로 읽어야 한다.

외부 기관의 점수는 아직 없다. 여러 벤치마크를 같은 조건으로 실행해 모델 점수를 매기는 Artificial Analysis는 10월 21일까지 Ornith-1.5-122B를 평가하지 않았다.

128GB 장비에는 6비트 이하로 양자화한 모델이 들어간다

Ornith-1.5-122B의 기본 정보를 크기가 비슷한 Qwen3.8-Flash-Next와 항목별로 비교하면 다음과 같다.

Ornith는 원본과 함께 양자화한 모델도 같은 날 공개했다. 엔비디아 GPU용 NVFP4 형식과 llama.cpp용 GGUF 형식 등이 있고, 6비트 이하 버전은 128GB 장비에 들어간다. 6비트 버전을 실행하면 남는 메모리는 30GB가 안 된다.

외부 개발자 Mia-AiLab이 만든 4비트 버전(EXL3)은 Ornith 공식 4비트 버전보다 작은 65.5GB다. 제작자는 이 버전을 실행하는 데 GPU 메모리가 약 68GB 들었다고 밝혔다. 또 DGX Spark 한 대나 RTX PRO 6000 한 장에서 쓰도록 이 버전을 만들었다고 소개했다.

DGX Spark는 CPU와 GPU가 128GB 메모리를 나눠 쓰고, RTX PRO 6000은 GPU 메모리가 96GB다. 두 장비 모두 4비트 버전을 실행하고도 메모리가 남는다.

남는 메모리는 긴 문서와 여러 사람의 요청을 처리하는 데 쓰인다. 비교 기준인 Qwen3.8-Flash-Next는 4비트 버전도 100GB를 넘는다. DGX Spark와 같은 GB10을 쓰는 장비에서 추론 엔진 다섯 가지로 Qwen3.8-Flash-Next를 실행해 비교했을 때, 모델을 메모리에 불러온 뒤 남은 메모리는 많아야 47GB였다. Ornith-1.5-122B의 4비트 버전은 Qwen3.8-Flash-Next 4비트 버전보다 20GB 이상 작다.

모델 카드는 이 모델을 80GB GPU 한 장("single 80GB GPU")에서 실행할 수 있다고도 적었다. 80GB GPU에는 78GB인 NVFP4 버전이 겨우 들어간다. 그래서 긴 문서를 처리하는 데 쓸 메모리는 128GB 장비보다 적게 남는다.

메모리에 들어가는 것과 실제 업무에 쓸 수 있는 속도로 응답하는 것은 별개다. Mia-AiLab은 생성 속도를 측정하지 않았다고 밝혔고, 10월 21일까지 이 모델의 속도를 공개한 곳은 없다. 속도를 좌우하는 계산 파라미터 수도 공개되지 않아 미리 짐작하기 어렵다.

회사는 추론 엔진 vLLM 0.19.1 이상과 SGLang 0.5.9 이상에서 이 모델을 실행할 수 있다고 안내했다. Ollama에서는 ollama run ornith-1.5:122b 명령 하나로 모델을 내려받아 실행할 수 있다고 적었다.

코딩에는 temperature=0.6, 일반 대화에는 temperature=1.0 설정을 권했다. temperature는 응답의 무작위성을 정하는 값으로, 낮을수록 같은 질문에 비슷한 응답이 나올 가능성이 높아진다.

모델 카드는 OpenCode·OpenClaw·Hermes Agent 같은 코딩 에이전트 도구에 이 모델을 연결하는 예시도 실었다. 자체 장비에서 모델을 실행한 뒤 도구 설정에 그 장비의 주소를 넣으면, 도구가 OpenAI API에 보내던 방식 그대로 이 모델에 요청을 보낸다.

도입 전에 확인할 라이선스와 장비

MIT 라이선스는 상업 이용과 수정, 재배포를 허용한다. 비교 기준인 Qwen3.8-Flash-Next는 월간 이용자가 1억 명을 넘는 서비스 등에 별도 조건이 붙는다.

10월 21일 현재 Ornith-1.5-122B 저장소에는 모델 카드에 연결된 LICENSE 파일이 없다. 라이선스 검토를 거쳐야 하는 기업이라면 이 파일이 올라왔는지 먼저 봐야 한다.

DGX Spark를 새로 사려는 기업이라면 메모리 구성을 먼저 확인해야 한다. 엔비디아는 메모리 64GB 구성의 DGX Spark를 10월 23일 출시하고, 에이서·에이수스·델 등 협력사를 통해 판매한다. 이 구성에는 Ornith-1.5-122B의 4비트 버전이 들어가지 않는다.

양자화 버전을 배포해 온 Unsloth는 이 모델의 2~3비트 GGUF 버전도 공개했다. 이 가운데 40~50GB인 버전은 64GB 장비에서도 메모리가 남는다. 비트 수를 더 줄인 만큼 응답의 정확도는 4비트 버전보다 낮아질 수 있다.

자체 장비에서 모델을 실행하면 회사 소스 코드를 외부 AI 회사 서버로 보내지 않아도 된다. 소스 코드 유출이 걱정돼 외부 코딩 도구를 쓰지 못한 중소기업도 128GB 장비 한 대에 이 모델을 설치해 직접 써 볼 수 있다.