엔비디아, 서버·노트북·사내 검색용 Nemotron 3.5 모델 셋 공개

엔비디아가 쓰임새가 서로 다른 오픈웨이트(가중치 공개) 모델 세 개를 한꺼번에 내놓았다. 업무용 에이전트 모델, 노트북용 에이전트 모델, 사내 문서 검색용 모델이다.

엔비디아는 10월 15일 Nemotron 3.5 Super VL과 Nemotron 3.5 Bolt 74B-A9B 24GB를 공개했다. 같은 날 Hugging Face에는 Nemotron-3.5-Rerank-8B도 올라왔다.

세 모델 모두 상업적 이용이 가능한 OpenMDW-1.1 라이선스로 누구나 내려받을 수 있다.

세 모델은 서로 이어져 있다. Bolt는 Super VL을 줄여 만든 모델이다. Rerank는 이런 에이전트가 회사 문서를 찾아 읽을 때 쓰는 검색 부품이다.

먼저 알아둘 개념

모델 크기는 파라미터 수로 나타낸다. 파라미터는 학습으로 정해지는 숫자다.

파일 크기는 파라미터 수에 숫자 하나를 저장하는 비트 수를 곱해 어림한다. 압축하지 않은 BF16 형식은 숫자 하나에 16비트를 쓴다. 파라미터가 740억 개면 약 148GB다.

숫자를 더 적은 비트로 줄여 저장하는 것을 quantization(양자화)이라고 한다. 4비트로 줄이면 크기가 4분의 1이 된다. 2비트로 줄이면 8분의 1이다. 대신 정확도가 떨어진다.

Super VL과 Bolt는 MoE(전문가 혼합) 구조다. 여러 전문가 묶음 가운데 필요한 일부만 골라 계산한다. 이름의 'A12B'는 토큰(AI가 글을 나누어 처리하는 단위) 하나를 만들 때 120억 개만 쓴다는 뜻이다.

계산은 일부만 해도 메모리에는 전체를 올려야 한다. 어느 전문가가 불릴지 미리 모르기 때문이다. 그래서 MoE 모델은 빠르지만 메모리를 많이 쓴다.

두 모델은 speculative decoding(추측 디코딩)도 쓴다. 작은 초안 모델이 다음 토큰 여러 개를 미리 짐작하면, 큰 모델이 한 번에 검증한다. 맞은 토큰은 그대로 쓰므로 생성이 빨라진다.

Nemotron 3.5 Super VL: 문서·이미지를 함께 읽는 업무용 에이전트

Nemotron 3.5 Super VL은 글과 이미지, 영상을 함께 읽고 글로 답하는 모델이다. 이름의 VL은 vision-language(시각-언어)의 줄임말이다. 파라미터는 1,200억 개이고, 토큰 하나에 120억 개를 쓴다.

엔비디아는 "같은 모델이 차트를 해석하고, 문서의 다른 곳에 있는 표와 연결해 함께 요약할 수 있다"고 설명했다. 글을 읽는 모델과 이미지를 읽는 모델을 따로 둘 필요가 없다는 것이다.

이 모델은 엔비디아의 가장 큰 모델 Nemotron 3 Ultra에서 distillation(증류)으로 학습했다. 증류는 큰 모델의 답을 작은 모델이 따라 하도록 학습시키는 방법이다.

외부 평가: 속도는 빠르고 점수는 중간

독립 평가 기관 Artificial Analysis는 이 모델의 지능 지수를 26점으로 매겼다. 비슷한 크기 모델 67개 가운데 1위다.

다만 더 큰 오픈웨이트 모델보다는 점수가 낮다. 강점은 속도다.

API 가격은 경쟁 모델과 비슷하다. OpenRouter 기준으로 100만 토큰을 넣는 데 0.10~0.25달러가 든다. 출력은 100만 토큰당 0.40~1.25달러다.

엔비디아가 직접 측정한 비교표에서도 코딩과 웹 검색은 경쟁 모델이 앞섰다. 이 모델은 긴 글 속 관계 찾기와 이미지 속 글자 읽기에서 가장 높았다.

회사 데이터로 다시 학습시켜 쓴다

엔비디아가 가장 강조한 것은 post-training(후속 학습)이다. 기업이 자기 데이터로 모델을 추가 학습시켜 한 가지 업무에 맞추는 것이다.

엔비디아는 이를 위한 NeMo 라이브러리와 공개 데이터셋을 함께 내놓았다. 비전-언어 데이터셋만 40개다.

핀테크 기업 Ramp는 이 모델로 영수증 이미지에서 가맹점·날짜·결제 정보를 뽑아내고 있다. Ramp는 응답 지연이 10분의 1로 줄 것으로 기대한다고 엔비디아는 전했다.

DGX Spark 한 대에서 돌리는 조건

압축하지 않은 판은 약 249GB로 H100 GPU 4장이 필요하다. 엔비디아의 4비트 형식(NVFP4)으로 줄인 판은 약 75GB로, DGX Spark 한 대에서 돌릴 수 있다.

DGX Spark는 CPU와 GPU가 128GB 메모리를 함께 쓰는 책상 위 소형 AI 장비다. 이 장비에서는 조건이 붙는다. 모델 카드에 적힌 입력은 글과 이미지뿐이고, 영상은 빠져 있다.

엔비디아가 제시한 DGX Spark 설정은 한 번에 요청 하나만 처리한다. 여러 직원이 함께 쓰는 서버가 아니라 한 사람이 쓰는 에이전트용이다.

Nemotron 3.5 Bolt 74B-A9B 24GB: 74B 모델을 메모리 24GB에

Nemotron 3.5 Bolt 74B-A9B 24GB는 노트북과 PC에서 에이전트를 돌리려고 만든 모델이다. 엔비디아는 Super VL을 740억 파라미터로 줄인 뒤, 숫자 대부분을 2비트로 압축했다.

그 결과 압축 전 약 150GB이던 파일이 약 22GB가 됐다. 이름의 24GB는 그래픽카드 용량이 아니라 이 모델이 쓰는 메모리의 상한이다.

엔비디아가 권하는 장비는 32GB 이상 그래픽카드나 RTX Spark 노트북이다. RTX Spark는 엔비디아가 10월 13일 발표한 노트북용 플랫폼으로, 메모리를 최대 128GB까지 쓴다. 24GB 그래픽카드 한 장에서 도는지는 모델 카드에 없다.

2비트를 고른 이유

2비트 압축은 정확도를 꽤 떨어뜨린다. 엔비디아도 기술 보고서에서 이를 인정했다.

그래도 엔비디아는 같은 메모리라면 큰 모델을 많이 압축하는 쪽이 낫다고 판단했다. 작은 모델을 4비트로 담는 것보다, 두 배 큰 모델을 2비트로 담는 쪽이 정확도가 높다는 선행 연구가 근거다.

점수는 중간, 속도는 조금 느리다

같은 크기 모델과 비교하면 점수는 중간쯤이고 속도는 조금 느리다. 점수는 Artificial Analysis, 속도는 엔비디아가 RTX Spark 노트북에서 측정한 값이다.

Qwen3.6 35B-A3B와 Gemma 4 26B-A4B보다 점수는 높고 속도는 느리다. Qwen3.8 27B는 점수가 가장 높지만 속도가 Bolt의 3분의 1이다.

Ollama로 바로 쓴다

가장 쉬운 실행 방법은 Ollama다. 아래 명령 한 줄로 내려받아 실행하고, Claude Code 같은 코딩 에이전트에 붙일 수 있다.

내려받는 크기는 25GB다. 애플 실리콘 Mac은 아직 지원하지 않는다.

Nemotron-3.5-Rerank-8B: 사내 검색 결과의 순서를 다시 매긴다

AI가 회사 문서를 찾아 답하는 방식을 RAG(검색 증강 생성)라고 한다. RAG는 보통 두 단계로 문서를 찾는다.

첫 단계에서는 embedding(임베딩) 모델이 질문과 비슷한 문서 후보를 넓게 뽑는다. 문서를 미리 숫자 목록으로 바꿔 두고 비교만 하므로 빠르다.

둘째 단계에서는 reranker(재순위 모델)가 질문과 후보 문서를 한 쌍씩 함께 읽고 순서를 다시 매긴다. 느리지만 더 정확하다.

예를 들어 "올해 2분기 해외 매출"을 물으면, 첫 단계는 작년 보고서나 국내 매출 표까지 함께 가져올 수 있다. reranker는 2분기 해외 매출이 실제로 적힌 문서를 맨 위로 올린다.

Nemotron-3.5-Rerank-8B는 이 둘째 단계를 맡는 83억 파라미터 모델이다. 문서를 글자뿐 아니라 페이지 이미지로도 받는다. PDF에서 글자만 뽑으면 표의 칸이 흐트러지는데, 페이지를 이미지째 넘기면 그런 문제를 피할 수 있다.

엔비디아는 글자 문서 검색을 34개 언어로, 이미지 문서 검색을 18개 언어로 평가했다. 두 목록 모두에 한국어가 있다. 다만 이번 모델의 점수는 아직 공개하지 않았다.

엔비디아는 10월 7일 같은 계열의 임베딩 모델 Nemotron-3.5-Embed-8B도 공개했다. 검색의 첫 단계와 둘째 단계를 같은 계열 오픈웨이트 모델로 갖출 수 있게 됐다.

어떤 모델을 어디에 쓰나

세 모델은 장비 크기별로 자리를 나눴다. Super VL은 데이터센터와 DGX Spark, Bolt는 개인 노트북과 PC, Rerank는 어느 쪽이든 사내 검색의 정확도를 높이는 부품이다.

세 모델 모두 엔비디아 장비를 실행 환경으로 내세운다. Bolt는 RTX Spark 노트북 발표와 함께 나왔고, Super VL은 DGX Spark 한 대를 공식 실행 장비로 적었다.

문서·영수증·차트를 다루는 업무 에이전트를 회사 데이터로 학습시키려는 기업이라면 Super VL이 출발점이 될 수 있다. 코딩 에이전트가 목적이라면 Qwen3.8-Flash-Next나 GLM-5.3-Flash가 앞선다.

32GB 이상 그래픽카드가 있는 개인은 Ollama로 Bolt를 바로 써 볼 수 있다. 표와 차트가 많은 한국어 문서로 사내 검색을 운영하는 회사라면, 지금의 검색 뒤에 Rerank를 붙여 순서가 어떻게 달라지는지 비교해 볼 수 있다.