회의록·자막·번역을 한 모델로, 엔비디아 Nemotron 3.5 Transcribe 모델

엔비디아의 오픈웨이트 받아쓰기 모델 Nemotron 3.5 Transcribe(공개 단신)는 같은 녹음을 지시문에 따라 말한 그대로의 녹취, 군말을 뺀 자막용 글, 화자별 회의록, 번역문으로 바꿔 줍니다.

영어 녹음에는 쓸 근거가 있습니다. 엔비디아는 영어 받아쓰기에서 오픈웨이트 모델 중 1위라고 밝혔고, Hugging Face 영어 순위표에서도 61개 모델 중 9위입니다. 한국어는 받아쓰기·번역 값은 있지만 회의·상담 같은 업무별 값이 없어, 자기 녹음으로 먼저 시험해 봐야 합니다. 직접 실행하지 않고 엔비디아 자료와 외부 순위표로 정리했습니다.

어떤 모델인가

8월에 나온 언어 모델 Nemotron 3.5 Lightning에 음성 인코더와 화자 인코더를 붙인 구조입니다. 같은 계열의 다른 모델은 엔비디아 Nemotron 3.5 모델 셋에서 다뤘습니다. 이 언어 모델은 전문가 128개 중 일부만 골라 쓰도록 만들어져, 한 번에 계산하는 양이 전체 크기보다 훨씬 작습니다.

출처: 엔비디아 Hugging Face 모델 카드·기술 보고서, Hugging Face 저장소 API, 2026년 10월 29일 확인.

지금 내려받을 수 있는 것은 BF16 본체와 속도를 높이는 보조 모델 DFlash2뿐입니다. 엔비디아는 블로그에서 quantization(양자화) 버전이 곧 나온다고 밝혔습니다. 엔비디아 호환표에는 RTX 5090용으로 4비트로 양자화한 NVFP4 모델만 적혀 있습니다. RTX 5090 사용자는 엔비디아 공식 NVFP4 모델이 공개될 때까지 기다려야 합니다. BF16 가중치 67.5GB는 DGX Spark의 128GB 통합 메모리 안에 들어갑니다(DGX Spark 실측 비교).

양자화 버전의 정확도는 엔비디아가 기술 보고서에 미리 밝혔습니다. GB300 한 장에서 측정한 77개 시험 평균으로 FP8의 오류율은 BF16의 오류율보다 상대적으로 1.0% 높았고, NVFP4는 상대적으로 3.6% 높았습니다. 엔비디아는 영어 이외의 언어에서 정확도가 중요하면 FP8을, 메모리나 처리량이 우선이면 NVFP4를 권했습니다. 이 비교에서 한국어만 따로 뽑은 값은 없습니다.

엔비디아가 내세운 처리 속도는 NIM(엔비디아의 모델 배포용 소프트웨어) 전용 최적화를 거친 값이고, 이 최적화는 오픈소스 배포본에 아직 없습니다. 함께 공개한 vLLM(모델을 실행하는 추론 엔진) 연동은 NIM보다 대략 두 배 느릴 것이라고 엔비디아는 밝혔습니다.

실시간 받아쓰기 용도도 아닙니다. 엔비디아는 모델 안에서 오디오를 잘라 처리하더라도 실시간 받아쓰기가 되는 것은 아니라고 모델 카드에 적었습니다.

정확도는 어느 정도인가

이 모델의 오류율은 측정한 곳마다 다릅니다. WER(단어 오류율)은 틀린 단어의 비율이고, cpWER(화자까지 맞춘 단어 오류율)은 말한 사람을 잘못 붙여도 틀린 것으로 칩니다. 표의 숫자는 낮을수록 좋고, 비교는 같은 줄 안에서만 성립합니다.

출처: 엔비디아 모델 카드·기술 보고서(엔비디아 값은 10월 12일 측정, 비교 모델 값은 보고서가 인용한 리더보드 값과 엔비디아 측정값), Hugging Face Open ASR Leaderboard(10월 28일 갱신), Artificial Analysis Speech-to-Text, 2026년 10월 29일 확인. 낮을수록 좋음.

엔비디아는 블로그에서 Hugging Face 순위표의 5.33을 두고, API로만 제공되는 모델을 빼면 오픈웨이트 1위라고 설명했습니다. 엔비디아가 직접 측정한 4.71은 다음 모델 Qwen3-ASR-1.7B보다 0.23포인트 낮습니다. 상대는 17억 파라미터로, 이 모델의 활성 파라미터 43억의 절반에 못 미칩니다. 처리 속도도 Hugging Face 리더보드 기준으로 상대가 약 1.8배 빠릅니다.

5.33은 비공개 시험 두 개를 더한 평균이라 4.71과 기준이 다릅니다. Artificial Analysis에서도 DeepInfra API로 측정한 값은 3.4이고, 엔비디아가 인용한 2.81은 어느 업체에서 측정한 값인지 페이지에 표시가 없습니다.

긴 녹음의 10.98은 같은 말이 끝없이 반복되는 현상을 후처리로 잘라 낸 값입니다. 엔비디아는 후처리를 빼면 12.87이라고 밝혔고, 그러면 Parakeet과의 차이는 0.5포인트로 줄어듭니다.

여러 사람 대화의 15.80은 100단어 중 16개꼴로 고쳐야 한다는 뜻이라, 회의록은 초안으로 봐야 합니다.

화자를 나누지 않는 영어 시험에서는 엔비디아도 다른 모델이 앞선 곳이 있다고 인정했습니다. AMI 회의 녹음에서는 IBM Granite-Speech 두 모델이 더 정확했습니다. 잡음 섞인 음성에서는 Qwen3-ASR-1.7B와 Granite-Speech-5.0-2B가 앞섰습니다.

엔비디아가 밝힌 오류 유형은 단어를 다른 말로 바꾸기, 단어 빠뜨리기, 같은 말 되풀이, 없는 말 지어내기, 그리고 언어나 화자를 잘못 고르기입니다.

업무별로 쓰는 법

지시문은 시스템 프롬프트를 비우고 사용자 메시지에 녹음과 함께 넣습니다. 받아쓰기·번역에서는 추론(enable_thinking)을 꺼야 합니다. 켜 두면 녹음과 상관없는 글이 나온다고 엔비디아는 경고했습니다.

엔비디아에는 대소문자·숫자 표기·군말 제거 같은 요청을 지켰는지 측정하는 시험이 있습니다. 이 시험에서 지시문으로 출력 형식을 정하자 WER이 7.56에서 6.16으로 내려갔습니다.

출처: 엔비디아 모델 카드 Prompt Guide·Prompt Recommendations, 기술 보고서, 2026년 10월 29일 확인. 업무 구분은 AIGeek 분류.

회의록에서는 단어별 시각이 쓸모 있습니다. AMI 회의에서 엔비디아가 측정한 시각 정확도는 Qwen3-ASR에 정렬 모델을 붙인 조합보다 높았습니다. 말이 빽빽한 1시간 대화는 출력이 2만 토큰 안팎 필요할 수 있어, 출력 길이 제한을 늘려야 녹취가 잘리지 않습니다.

지시를 잘 따르게 훈련한 탓에 악의적 지시에도 약할 수 있다고 엔비디아는 경고했습니다. 에이전트에 연결한다면 녹음 속 말이 명령으로 읽히지 않게 걸러 낼 장치가 필요합니다.

상담 녹취의 개인정보 가리기는 영어로 합성한 음성 1,000개로 시험했습니다. 그 안에 든 전화번호·이메일·카드번호·비밀번호 같은 위험 정보 1,080개 중 17개(1.57%)가 가려지지 않았고, 엔비디아는 이 방식을 유일한 보호 장치로 쓰지 말라고 밝혔습니다. 상품명·고객명 표기는 지시문에 고유명사 목록을 함께 주면 효과적입니다. 엔비디아의 영어 시험에서 고유명사 100개 중 12개꼴이던 오류가 2개꼴로 줄었습니다.

엔비디아는 항공사 고객센터를 흉내 낸 시나리오 100개로 음성 에이전트를 시험한 결과도 보고서에 실었습니다. 인식 모델이 고객 성씨를 잘못 받아써 에이전트의 도구 호출이 실패한 경우를 셌습니다. 100개 시나리오 평가에서 Parakeet-CTC-1.1B로는 73건, 이 모델로는 2건이었습니다. 엔비디아가 직접 만든 시뮬레이션이라, 실제 상담 녹음에서도 같은 차이가 나는지는 따로 확인해야 합니다.

한국어로 쓸 수 있나

엔비디아 언어 지원표를 보면 한국어는 받아쓰기, 여러 사람 받아쓰기, 영어와의 상호 번역, 한영 섞어 말하기를 모두 지원합니다. 엔비디아는 한국어를 포함한 13개 언어를 "Leading" 등급으로 분류했습니다. 별도 학습 없이도 최고 수준이거나 그에 가깝다는 뜻입니다. 일본어·태국어는 "Production-ready", 중국어는 미세 조정이 필요할 수 있다는 "Supported"입니다.

엔비디아가 FLEURS로 측정한 한국어 CER(문자 오류율)은 2.78%입니다. 글자 100개 중 3개가 채 안 되게 틀린다는 뜻입니다. FLEURS는 문장을 소리 내 읽은 녹음이라 회의나 통화보다 쉬운 조건입니다.

번역 품질 점수 BLEU(높을수록 좋음)는 한국어에서 영어로 24.23입니다. 전체 언어 평균 29.20보다 약 5점 낮습니다. 영어에서 한국어로는 27.68로, 평균 26.54보다 약 1점 높습니다.

한국어에서 단어마다 시작·끝 시각을 맞힌 정도(F1, 높을수록 좋음)는 엔비디아가 공개하지 않은 내부 데이터에서 83.78입니다. 같은 데이터에서 Qwen3-ASR 조합은 79.44였고, Whisper 조합은 49.15였습니다.

국내에서는 가중치를 내려받아 직접 실행할 수 있고, 라이선스 OpenMDW-1.1은 상업 이용을 막지 않습니다. 호스팅 API로는 엔비디아가 블로그에서 Baseten·DeepInfra·Simplismart를 안내했습니다. Artificial Analysis에 적힌 DeepInfra 가격은 1,000분에 2달러입니다.

엔비디아가 모델 카드에 모델을 공개한다고 적은 build.nvidia.com에서는 10월 29일 이 모델 페이지를 찾지 못했습니다. 세 업체를 국내에서 쓸 수 있는지도 확인하지 못했습니다.

아직 없는 것은 실제 업무에 가까운 수치입니다. 한국어로 여러 사람이 말할 때와 한국어·영어를 섞어 말할 때의 정확도가 없고, 용어 목록과 개인정보 가리기의 효과도 영어로만 측정했습니다. 한국어 받아쓰기 정확도를 다른 모델과 비교한 값도, 외부 순위표의 한국어 항목도 없습니다.

한국어 회의록이나 상담 녹취에 쓰려면, 실제 회의 몇 건을 이 모델로 받아쓰고 사람이 만든 녹취와 맞춰 보는 것이 첫 단계입니다.

설치 없이 기능을 둘러보려면 엔비디아가 Hugging Face에 올린 웹 데모↗가 있습니다. 노래 가사 받아쓰기(10분 이하 MP3 업로드)와 팟캐스트·영화 자막 시연으로 구성돼 있어, 회의 녹취를 시험하는 화면은 아닙니다.

도입 전에 확인할 것은 세 가지입니다.

• 운영 방식: 녹음을 사내 GPU에서 처리할지, 호스팅 API로 보낼지
• 녹음 성격: 화자가 8명 이하인지, 원거리 마이크·잡음·한영 섞임이 많은지
• 사람 확인: 숫자·주소·개인정보를 누가 어느 단계에서 다시 볼지