Mistral Voxtral 3: 전사 정확도는 올랐고 단어 타임스탬프와 공개 가중치는 빠졌습니다

Mistral이 2026년 10월 20일 음성 모델군 Voxtral 3를 공개했습니다. 전사 모델 셋, 음성 합성 모델 하나, 그리고 LiveKit 위에 만든 음성 에이전트 SDK로 이루어집니다. 전사 정확도는 제3자 측정에서도 분명히 올랐습니다. Artificial Analysis의 단어 오류율 지표(AA-WER v2)에서 Voxtral Mini Transcribe 2는 3.6%였고, 후속인 Voxtral Mini Transcribe 3는 2.2%입니다. 하지만 기존 Voxtral 2 사용자에게 먼저 필요한 소식은 따로 있습니다. 파일 전사에서 단어 단위 타임스탬프가 사라졌고, Voxtral 3의 가중치는 Hugging Face에 공개되지 않았습니다. 한국어는 전사 모델 셋의 벤치마크 평가 언어 목록과 음성 합성의 프리셋 음성 목록에 들어 있지만, 한국어만 따로 잰 점수는 Mistral이 공개하지 않았고, 제3자 측정도 작성 시점에 찾지 못했습니다.

이 글에서는 네 모델의 역할과 한국어 지원 범위, 제3자 지표로 본 세대 차이, 실시간 전사의 지연과 정확도 맞바꿈, 옮길 때 깨지는 변경, 문서끼리 어긋나는 숫자, Hacker News의 반응을 다룹니다.

네 모델과 한국어 지원 범위

Voxtral 3는 하나의 모델이 아니라 역할이 다른 네 모델의 묶음입니다. 모델 문서는 네 모델 모두 2026년 10월 20일 공개 미리보기(Public Preview) 상태로 표시합니다. API는 Mistral의 유럽, 미국, 글로벌 엔드포인트로 제공합니다. 모델별 역할과 한국어 지원을 Mistral 문서에서 직접 정리하면 다음과 같습니다.

문서는 파일 전사의 50개 언어를 이름으로 나열하지 않습니다. 한국어가 들어 있다는 근거는 평가 목록이고, 들어 있다는 것과 잘한다는 것은 다른 이야기입니다. Mistral 발표 글의 다국어 전사 그래프는 FLEURS 벤치마크 45개 언어의 평균 하나만 보여 줍니다. 한국어는 그 45개에 들어 있고, 단어 대신 글자 단위 오류율(CER)로 쟀다고 적혀 있습니다. 그러나 언어별 점수는 공개하지 않았습니다. 한국어 서비스에서의 정확도는 평균에서 짐작할 수밖에 없습니다.

음성 에이전트 SDK는 실시간 전사, 추론용 언어 모델, 음성 합성을 하나의 스트리밍 흐름으로 묶습니다. Mistral은 각 단계가 앞 단계를 기다리지 않아 한 차례 대화가 1초 안에 끝난다고 설명합니다. 이 수치는 Mistral의 설명이고, 제3자가 잰 값은 아직 없습니다.

제3자 지표로 본 세대 차이

Mistral 자체 수치에서 Voxtral Small Transcribe 3의 FLEURS 45개 언어 평균 오류율은 4.04.1%이고, 같은 그래프의 Whisper large-v3는 14.916.0%입니다. 벤더가 직접 고른 비교군이라 이 숫자만으로 판단하기는 어렵습니다. 그래서 Artificial Analysis가 같은 방식으로 잰 비스트리밍 전사 오류율을 전작과 나란히 놓았습니다.

세대 차이는 Mini 쪽이 더 큽니다. Voxtral Mini Transcribe 2는 3.6%, Voxtral Mini Transcribe 3는 2.2%입니다. 상위 모델은 Voxtral Small(2507)의 2.8%에서 Voxtral Small Transcribe 3의 2.1%로 내려갔습니다. Artificial Analysis 순위에서 Voxtral Small Transcribe 3는 3위, Voxtral Mini Transcribe 3는 5위입니다. 1위는 1.7%인 Fun-Realtime-ASR-preview입니다.

이 지표에는 한국어가 없는 것으로 보입니다. AA-WER v2는 AA-AgentTalk 50%, VoxPopuli 25%, Earnings22 25%를 섞은 약 8시간 분량이고, 정규화 규칙은 Whisper의 영어 정규화기를 바탕으로 만들었습니다. 따라서 그림 1의 순서가 한국어에서도 그대로라는 보장은 없습니다.

실시간 전사의 지연과 정확도

실시간 전사 모델은 응답을 얼마나 기다릴지 고를 수 있습니다. 모델 문서는 지연 설정 범위를 80ms에서 2,400ms로 적었습니다. 기다릴수록 정확해지고, 덜 기다릴수록 오류가 늘어납니다. Mistral이 FLEURS 35개 언어로 잰 값은 다음과 같습니다.

같은 그래프에서 파일 전사 모델 Voxtral Mini Transcribe 3는 4.0%입니다. 가장 긴 2,400ms 설정에서도 파일 전사보다 1.7%p 높습니다. 음성 에이전트처럼 빠른 응답이 필요한 곳에서는 240480ms를 고르게 되는데, 그 구간의 오류율은 파일 전사의 1.61.9배입니다. 이 배수는 위 표의 값으로 직접 계산했습니다.

옮길 때 깨지는 변경

Mistral은 Voxtral 2에서 옮기는 문서를 따로 냈습니다. 그 문서에서 기존 코드가 깨지는 항목을 먼저 추리면 다음과 같습니다.

깨지지 않는 변경도 있습니다. context_bias에 띄어쓰기가 있는 구절을 넣을 수 있게 됐고, 고정된 개수 상한은 없지만 항목이 오디오와 문맥 창을 나눠 써서, 한도를 넘으면 400 오류가 납니다. 문서는 목록을 짧게 유지하라고 권합니다. 음성 합성에서는 감정을 프리셋 음성 변형 대신 [emotion=...] 같은 인라인 태그로 지정합니다. Voxtral 2 프리셋과 ref_audio는 계속 받습니다. 단가는 Mini 파일 전사가 분당 $0.003에서 $0.0035로 올랐습니다.

가장 큰 변화는 단어 타임스탬프입니다. 파일 전사 문서는 "Word-level timestamps aren't available"이라고 적었습니다. 단어마다 강조하는 자막, 노래방식 가사 표시, 단어 단위 검색 이동은 이 값을 씁니다. 이런 기능이 있는 서비스는 모델 ID만 바꿔서는 옮길 수 없습니다. 작성 시점에 마이그레이션 문서에서 Voxtral 2 지원 종료 날짜는 확인하지 못했습니다.

문서끼리 어긋나는 숫자

같은 날 나온 발표 글과 문서가 서로 다른 숫자를 말하는 곳이 있습니다. 직접 대조한 결과입니다.

한국어는 발표 글의 프리셋 목록과 언어 페이지 표 양쪽에 있어서 이 어긋남의 영향을 받지 않습니다. 다만 공개 미리보기 단계에서 숫자가 이렇게 흔들린다는 것은 지원 범위가 아직 확정되지 않았다는 신호로 보입니다. 어느 숫자를 믿을지는 실제 호출 결과로 정하는 편이 안전합니다.

Hacker News의 찬반

Hacker News의 Voxtral 3 글은 공개 당일 올라왔습니다. 눈에 띄는 비판은 가중치 비공개입니다. 최상위 댓글 여럿이 이 점을 짚었습니다. 사용자 drum55는 "Closed model unfortunately, continues the theme of TTS / STT being really not great for local deployments"라고 썼습니다(원문). 2026년 10월 22일 Hugging Face의 mistralai 조직을 확인해 보면 Voxtral 3 이름의 모델은 없습니다. 올라와 있는 것은 Voxtral-Mini-4B-Realtime-2602(Apache 2.0)처럼 이전 세대 이름의 모델입니다. 발표 글은 자체 배포를 Mistral 팀 문의로 안내합니다.

이 밖에 대상 모델을 밝히지 않은 채 유럽 언어 13개가 빠졌다고 나열한 댓글(원문)과 Mini 단가 인상을 짚은 댓글(원문)도 있었습니다. 음성 품질에도 반대 의견이 있습니다. 사용자 ComputerGuru는 "Voxtral 3 sounds so much more artificial and 'AI' as compared to the old Voxtral 1 in the comparison clips"라고 적었습니다(원문). 한국어 서비스에 가까운 지적도 있습니다. 사용자 gergely는 영어가 아닌 언어에 영어 단어를 섞어 말하면 "the output is always garbage"라고 썼습니다(원문). 이 지적은 Voxtral 3만이 아니라 음성 인식 전반을 향한 것입니다.

긍정 쪽은 에이전트 통합을 봅니다. 사용자 dymk는 "the special sauce of this isn't the STT/TSS ... it's the integration of a real-time reasoning model"이라고 평했습니다(원문). 음성 에이전트를 1년간 만들었다는 사용자 yaoke259는 오류율과 음질은 여러 업체에서 이미 "good enough"이고 남은 차이는 지연과 끼어들기 처리라고 하면서, 그것을 재는 벤치마크를 보고 싶다고 했습니다(원문).

한국어 음성 서비스에 주는 의미

단어 타임스탬프를 쓰는 서비스는 지금 옮기지 않는 편이 낫다고 판단합니다. 한국어 자막 편집기, 강의 다시보기의 단어 검색, 받아쓰기 학습 앱이 여기에 해당합니다. Voxtral 2에 머물거나, Voxtral 3 구간 타임스탬프 위에 별도 정렬 단계를 붙여야 합니다.

구간 단위 전사만 쓰는 서비스는 옮길 이유가 있습니다. 회의록과 콜센터 녹취가 그런 경우입니다. 제3자 지표에서 Mini 기준 오류율이 3.6%에서 2.2%로 내려갔고, Mistral 측정에서는 화자 분리 오류율(cpWER)도 Mini Transcribe 2의 30.9%에서 Mini Transcribe 3의 18.6%로 내려갔습니다. 다만 그 개선 폭이 한국어에서도 같은지 잰 결과는 작성 시점에 찾지 못했습니다. 자기 서비스의 한국어 녹음 수십 개로 글자 오류율을 직접 재고 나서 바꾸는 순서가 맞습니다.

로컬·온디바이스 한국어 서비스에는 바뀌는 것이 없습니다. 쓸 수 있는 공개 가중치는 여전히 Voxtral 3 이전 세대입니다. 오픈 가중치 모델을 자기 장비에서 돌리는 문제는 Muse Spark Open 정리 글에서 다른 각도로 다뤘습니다. 서버 API를 쓸 경우 발표 글이 안내하는 엔드포인트는 유럽·미국·글로벌이고 한국 리전 언급은 없어서, 통화 녹음 같은 개인정보는 국외 이전 검토가 필요해 보입니다. 공개 미리보기 단계이므로 운영 전환은 정식 출시 이후가 안전해 보입니다. 이 경우 -latest 별칭보다 -3-0 같은 고정 ID를 쓰는 편이 낫습니다. 이 문제는 DeepSeek V4.1 Flash 1017 글에서 같은 이름 아래 가중치가 바뀐 사례로 다뤘습니다.

한계

출처

• Mistral AI, "Voxtral 3" 발표 글: https://mistral.ai/news/voxtral-3
• Mistral 문서, Migrate from Voxtral 2: https://docs.mistral.ai/studio/audio/migrate-from-voxtral-2
• Mistral 문서, Languages: https://docs.mistral.ai/studio/audio/specs-and-limits/languages
• Mistral 문서, 파일 전사: https://docs.mistral.ai/studio/audio/speech-to-text/transcribe-files
• Mistral 문서, 모델 페이지: https://docs.mistral.ai/models/voxtral-small-transcribe-3-0 · https://docs.mistral.ai/models/voxtral-mini-transcribe-3-0 · https://docs.mistral.ai/models/voxtral-mini-transcribe-realtime-3-0 · https://docs.mistral.ai/models/voxtral-mini-tts-3-0 · https://docs.mistral.ai/models/voxtral-mini-transcribe-26-02
• Artificial Analysis, Speech to Text Leaderboard (non-streaming): https://artificialanalysis.ai/speech-to-text/non-streaming
• Artificial Analysis, AA-WER v2: https://artificialanalysis.ai/articles/aa-wer-v2
• Hugging Face, Voxtral-Mini-4B-Realtime-2602: https://huggingface.co/mistralai/Voxtral-Mini-4B-Realtime-2602
• Hacker News, Voxtral 3 토론: https://news.ycombinator.com/item?id=50168396