소식 · · 읽는 시간 12분

Nemotron 3.5 Transcribe의 한국어: 지원표에 표시된 것과 실제로 잰 것

이 글의 차례
  1. 한국어 지원 표시와 공개된 측정값
  2. 한국어 전사 오류율의 위치
  3. 제3자 지표에서 본 공개 가중치 모델의 정확도
  4. 단어 타임스탬프와 실행 조건
  5. Hacker News의 찬반
  6. 한국어 음성 서비스에 바뀌는 것
  7. 한계
  8. 출처

NVIDIA가 2026년 10월 28일 녹음 파일용 음성 전사 모델 Nemotron 3.5 Transcribe를 공개 가중치로 내놓았습니다. 한 모델이 40개 언어 전사, 영어와의 음성 번역, 화자 분리 전사, 단어 단위 타임스탬프를 모두 맡습니다. 모델 카드의 언어 지원표에서 한국어는 가장 높은 "Leading" 등급이고, 전사·번역·화자 분리·언어 섞임(코드 스위칭) 네 칸에 모두 지원 표시가 있습니다. 그런데 모델 카드의 벤치마크 절과 대조해 보면 한국어 수치가 실제로 있는 것은 전사, 번역, 언어 식별 세 가지뿐입니다. 회의록에 필요한 화자 분리 전사와 한영 혼용 발화에는 한국어 측정값이 없습니다.

이 글에서는 한국어 기능별로 표시와 측정을 맞춘 결과, 한국어 전사 오류율의 위치, 제3자 지표에서 본 공개 가중치 모델의 정확도, 실행 조건, Hacker News의 반응을 다룹니다.

한국어 지원 표시와 공개된 측정값

Nemotron 3.5 Transcribe는 녹음을 받아 지시문에 따라 텍스트를 내는 음성 언어 모델입니다. 같은 녹음이라도 "말한 그대로 받아 적기", "군말을 빼고 읽기 좋게", "화자 태그를 붙여서", "영어로 번역해서"처럼 요청마다 출력 형식을 글로 지정합니다. NVIDIA는 이 모델을 build.nvidia.com, GitHub(NeMo Speech), Hugging Face, NGC에 같은 날 올렸습니다.

모델 카드의 언어 지원표는 기능별 지원 여부를 체크 표시로 보여 줍니다. 같은 모델 카드의 벤치마크 절에서 한국어 행을 찾아 기능별로 직접 맞춰 보면 다음과 같습니다.

기능지원표의 한국어모델 카드의 한국어 측정값
전사지원FLEURS 글자 오류율(CER) 2.78%
영어와의 음성 번역지원FLEURS 한→영 BLEU 24.23, 영→한 27.68
화자 분리 전사지원없음. 영어 6종과 중국어 2종 벤치마크만 공개
언어 섞임(코드 스위칭)지원없음. 중국어·벵골어·힌디어와 영어 조합만 공개
언어 식별표 항목 아님FLEURS 정확도 100.00%

지원표의 체크는 "학습했고 동작한다"는 표시이지 품질 보증이 아닙니다. 모델 카드도 오디오 질의응답과 음성 지시 수행은 영어로만 평가했고 다른 언어에서는 안정적으로 동작하지 않을 수 있다고 따로 적었습니다. 그런데 화자 분리와 코드 스위칭에는 이런 단서가 없습니다. 한국어 회의 녹음이나 영어 용어가 섞인 개발 회의에서의 품질은 공개 자료만으로는 판단할 수 없습니다.

한국어 전사 오류율의 위치

전사 하나만 보면 한국어 수치는 좋은 편입니다. FLEURS에서 모델 카드는 한국어·일본어·중국어·태국어·베트남어 다섯 언어를 단어 대신 글자 단위 오류율로 쟀습니다. 같은 측정 방식끼리만 나란히 놓은 것이 그림 1입니다.

그림 1. Nemotron 3.5 Transcribe의 FLEURS 글자 오류율. CER로 잰 다섯 언어만 모았고, 막대 색은 모델 카드의 언어 등급. NVIDIA 자체 측정값을 직접 정리

한국어 2.78%는 다섯 언어 중 가장 낮고, 일본어 4.42%, 중국어 8.62%보다 낮습니다. 한·중·일 세 언어만 보면 지원표 등급도 이 순서와 맞습니다. 한국어는 Leading, 일본어는 Production-ready, 중국어 표준어는 Supported입니다. 다만 다섯 언어 전체로는 등급과 오류율 순서가 어긋납니다. 베트남어는 가장 낮은 Supported 등급인데 오류율은 2.90%로 일본어보다 낮습니다. 등급은 이 표 하나가 아니라 여러 기능과 시험을 함께 보고 매긴 것으로 보입니다. 다만 이 값은 모두 NVIDIA가 잰 것이고, FLEURS는 문장을 또박또박 읽은 낭독 음성입니다. 전화 녹음, 여러 사람이 겹쳐 말하는 회의, 사투리에서는 오류율이 이보다 높게 나올 것으로 보입니다. 작성 시점에 Nemotron 3.5 Transcribe의 한국어를 따로 잰 제3자 결과는 찾지 못했습니다. MindStudio의 30여 개 언어 직접 시험도 한국어를 시험 언어로 나열하기만 했고 한국어 결과는 따로 적지 않았습니다.

제3자 지표에서 본 공개 가중치 모델의 정확도

NVIDIA 밖에서 잰 수치로는 Artificial Analysis의 AA-WER가 있습니다. 이 페이지의 요약 문구는 공개 가중치 모델 1, 2위로 Mistral의 Voxtral Small과 Nemotron 3.5 Transcribe를 꼽고 둘 다 2.8%로 적었습니다. 그런데 같은 페이지의 표에서 DeepInfra가 호스팅한 Nemotron 3.5 Transcribe 행은 3.4%입니다. 어느 값이 어떤 조건인지 페이지는 설명하지 않아서, 두 값을 모두 싣습니다. 가중치를 공개하지 않은 API 모델까지 넣으면 더 낮은 값이 있습니다. 같은 지표로 이번 모델과 Mistral의 최신 전사 모델을 나란히 놓으면 그림 2와 같습니다.

그림 2. Artificial Analysis AA-WER 비스트리밍 전사 오류율. 가중치 공개 여부로 색을 나눴고, Nemotron 3.5 Transcribe는 페이지 요약 문구 값과 DeepInfra 호스팅 표 값을 따로 표시했다. 2026-10-31 확인한 제3자 측정값을 직접 정리

API 전용인 Voxtral Small Transcribe 3는 2.1%, Voxtral Mini Transcribe 3는 2.2%입니다. 요약 문구의 2.8%를 기준으로 하면 공개 가중치를 고를 때 내주는 정확도는 0.60.7%p이고, DeepInfra 표 값 3.4%를 기준으로 하면 1.21.3%p입니다. 이 차이는 그림 2의 값으로 직접 계산했습니다. NVIDIA 블로그는 2.8% 쪽 값을 인용하면서, 활성 매개변수가 약 40억 개로 같은 점수인 모델의 240억 개보다 적다는 점을 내세웁니다.

이 지표는 한국어 판단에 직접 쓰기 어렵습니다. 앞선 Voxtral 3 정리 글에서 확인했듯 AA-WER는 음성 에이전트 대화, 유럽 의회 연설, 실적 발표 통화를 섞은 영어 중심 지표로 보입니다. 그림 2의 순서가 한국어에서도 같다는 근거는 없습니다.

단어 타임스탬프와 실행 조건

한국어 서비스 입장에서 눈에 띄는 차이는 단어 단위 타임스탬프입니다. Nemotron 3.5 Transcribe는 디코딩이 끝난 뒤 가벼운 정렬 모듈(CTC 어댑터)이 전사문을 오디오에 맞춰, 화자 태그가 붙은 단어별 시작·끝 시간을 돌려줍니다. 모델 카드 기준으로 이 값은 vLLM 서버에서 타임스탬프 수집을 켜거나 Hugging Face Transformers로 직접 돌릴 때 받을 수 있고, SGLang-Omni 연동에는 들어 있지 않습니다. Mistral의 Voxtral 3 파일 전사 문서는 "Word-level timestamps aren't available"이라고 적고 있습니다. Voxtral 3 가중치는 작성 시점에도 Hugging Face에 없고, Mistral 발표 글은 자체 서버 배포를 Mistral 팀 문의로 안내합니다. 둘을 직접 대조하면 다음과 같습니다.

항목Nemotron 3.5 TranscribeVoxtral Small Transcribe 3
가중치공개(OpenMDW-1.1), 바로 내려받기내려받기 없음. API 또는 Mistral 문의 후 자체 배포
단어 타임스탬프있음없음, 구간 단위만
실시간 스트리밍없음, 녹음 전용별도 실시간 모델이 맡음
한국어 언어별 점수FLEURS CER 2.78% (벤더 측정)공개되지 않음
AA-WER (제3자)요약 문구 2.8%, DeepInfra 표 3.4%2.1%

모델 카드는 "This is an offline model"이라고 못 박았습니다. 내부에서 30초 단위로 오디오를 나눠 처리하지만 그것이 실시간 스트리밍 기능을 뜻하지는 않는다고 설명합니다. 한 번에 받는 녹음은 최대 1시간이고, NVIDIA 블로그 기준으로 화자는 최대 8명까지 구분합니다.

실행 장비 조건도 확인해야 합니다. 전체 매개변수는 오디오 인코더까지 합쳐 340억 개이고, 그중 약 43억 개가 토큰마다 쓰입니다. 모델 카드가 적은 기본 배포 단위는 H100 80GB 1장입니다. 개인용 RTX 5090은 4비트 NVFP4 판으로만 지원 목록에 있고, L40S 48GB는 FP8 판만 있습니다. 4비트 판의 점수 손실은 Nemotron 3.5 Super VL 글에서 다른 모델로 확인한 것처럼 판마다 따로 봐야 하는데, Transcribe의 NVFP4 판 점수는 모델 카드에서 찾지 못했습니다.

속도 수치는 조건을 붙여 읽어야 합니다. 모델 카드는 RTX PRO 6000 Blackwell 1장이 1초에 오디오 2,238초를 전사한다고 적었습니다. 이 값은 Nemotron Transcribe NIM의 최적화된 vLLM 구현에 NVFP4와 DFlash2 추측 디코딩을 함께 쓴 결과입니다. 같은 모델 카드는 DFlash2를 쓰면 단어 타임스탬프를 받을 수 없다고 적었으므로, 이 속도와 단어 타임스탬프는 함께 얻기 어려운 것으로 보입니다. 또 이 최적화는 아직 오픈소스에 들어가지 않았고, 공개 당일 NeMo Speech의 vLLM 통합은 대략 두 배 느릴 것이라고 모델 카드는 밝혔습니다.

Hacker News의 찬반

Hacker News의 Nemotron 3.5 Transcribe 글은 공개 당일 올라와 133점, 댓글 26개를 받았습니다(2026-10-31 확인). 직접 써 본 사용자의 평은 엇갈립니다.

부정적인 쪽에서 가장 구체적인 것은 사용자 mewse-hn의 시험입니다. 같은 NVIDIA의 소형 전사 모델 Parakeet과 비교해 "it's slower, heavier, and has a higher error rate"라고 썼습니다(원문). 본인도 정확도가 떨어질 수 있는 4비트(Q4) 양자화 판으로 시험했다고 단서를 달았습니다. 같은 사용자는 애니메이션 한 편을 넣었을 때 주제가의 영어 단어에 "got confused"했다고도 적었습니다(원문). 영어 단어가 섞인 음성이라는 점에서 한국어 콘텐츠에도 생길 수 있는 조건입니다. 사용자 solarkraft는 녹음 전용이라는 점을 두고 "Bit unfortunate!"라고 했고, 받아쓰기에는 Handy 앱에서 Nemotron Streaming 모델을 쓴다고 덧붙였습니다(원문).

긍정적인 쪽도 있습니다. 사용자 AkashKaStudio는 마이크 가까운 화자만 받아 적는 실험 기능을 두고 "not available in any other OSS Speech LLM"이라고 평했습니다(원문). 사용자 drewbitt는 "Voxtral 3 is probably the better product, but this is cheap!"이라고 썼습니다(원문).

한국어 음성 서비스에 바뀌는 것

녹음을 외부 API로 보내기 어려운 한국어 서비스에는 바로 내려받아 자기 서버에서 돌릴 수 있는, 고를 만한 선택지가 생겼다고 판단합니다. 상담 녹취, 사내 회의, 진료 기록처럼 개인정보가 든 음성은 해외 API로 보낼 때 국외 이전 검토가 필요해 보입니다. 이 모델은 가중치가 공개돼 있어 영업 문의 없이 자기 서버 안에서 돌릴 수 있습니다. 내려받을 수 있는 가중치, 단어 타임스탬프, 언어별로 공개된 한국어 전사 수치가 함께 있는 조합은 Voxtral 3에 없습니다. 강의 다시보기의 단어 검색, 자막 편집기, 받아쓰기 학습처럼 단어 시간이 필요한 기능을 자체 서버에서 만들 수 있습니다.

반대로 이 모델로 해결되지 않는 곳도 분명합니다. 음성 비서, 실시간 자막, 통화 중 상담 보조처럼 말하는 동안 결과가 나와야 하는 서비스에는 맞지 않습니다. 한국어 회의록의 화자 분리 품질과 한영 혼용 발화 품질은 공개 수치가 없으므로, 도입 전에 자기 녹음으로 재야 합니다. 순서는 이렇게 보입니다. 자기 서비스의 실제 한국어 녹음 수십 개에 정답 전사를 붙이고, 글자 오류율과 화자 분리 결과를 지금 쓰는 모델과 같은 녹음으로 비교한 다음 바꿉니다. NVIDIA가 단일 GPU에서 과제당 0.5~2.3 GPU시간 안에 미세조정할 수 있다고 밝힌 만큼, 측정 결과가 모자라면 미세조정까지 검토할 수 있습니다. 다만 이 시간은 NVIDIA가 고른 17개 과제 기준입니다.

한계

한계내용
직접 측정 없음이 글은 공개 문서와 수치를 대조한 것이고, 모델을 직접 돌려 잰 값은 없음
한국어 수치는 벤더 측정FLEURS 한국어 CER과 번역 BLEU는 NVIDIA 모델 카드 값. 한국어 제3자 측정은 찾지 못함
낭독 음성 기준FLEURS는 낭독 문장이라 전화·회의·사투리 녹음과 조건이 다름
제3자 지표는 영어 중심AA-WER는 한국어 음성이 들어 있지 않은 것으로 보여 한국어 순위로 읽을 수 없음
제3자 수치 두 개Artificial Analysis 페이지 안에서 Nemotron 3.5 Transcribe 값이 2.8%와 3.4%로 갈리고, 차이의 조건은 확인하지 못함
양자화 판 점수모델 카드 점수는 BF16 판 기준으로 보이며, FP8·NVFP4 판 점수는 확인하지 못함
시점모델 카드와 순위, Hacker News 수치는 2026-10-31 확인 기준

출처

1 / 1