Nemotron 3.5 Super VL 공개: GPU 1장용 NVFP4 판에서 지켜진 점수와 떨어진 점수

NVIDIA가 2026년 10월 15일 오픈 웨이트 멀티모달 모델 Nemotron 3.5 Super VL을 공개했습니다. 전체 매개변수 1,200억 개 가운데 토큰마다 120억 개만 쓰는 전문가 혼합(MoE) 구조이고, 텍스트·이미지·문서·영상을 한 모델에서 받아 텍스트로 답합니다. 가중치는 원본 정밀도인 BF16 판과 4비트로 줄인 NVFP4 판 두 가지로 나왔습니다. NVFP4 판은 H200 1장이나 DGX Spark 1대에 올라갑니다. NVIDIA가 같은 조건에서 두 판을 잰 표를 직접 계산해 보면, 점수로 비교할 수 있는 38개 항목 중 30개는 차이가 1점 이내입니다. 크게 떨어진 곳은 웹 브라우징 에이전트(WebVoyager −11.41점), 긴 소프트웨어 작업(DeepSWE −6.45점), 다국어 지식(MMLU-ProX −3.15점) 세 군데입니다.

이 글에서는 무엇이 새로 나왔는지, 두 판의 점수 차이, 스승 모델 Nemotron 3 Ultra와의 비교, NVIDIA 밖에서 잰 수치와 반응, 한국어로 쓸 때 확인할 점을 다룹니다.

새로 나온 것과 쓸 수 있는 곳

Nemotron 3.5 Super VL은 추론, 지시 따르기, 도구 호출, 시각 이해를 한 모델에 묶었습니다. NVIDIA는 이렇게 하면 텍스트 모델과 비전-언어 모델을 따로 띄우고 둘 사이에 맥락을 넘기는 일이 사라진다고 설명합니다. 구조는 Mamba-2 층, MoE 층, 어텐션 층을 섞은 하이브리드에 C-RADIO 비전 인코더를 붙인 형태이고, 문맥 창은 최대 100만 토큰입니다. 영상은 2분 이하 MP4를 받습니다.

모델은 Nemotron 3 Ultra에서 증류했습니다. 모델 카드에 따르면 Nemotron 3 Super Base에서 출발해 Ultra Base로부터 1조 토큰을 증류받았고, 인도계 언어 데이터로 한 번, 소프트웨어 엔지니어링 데이터 670억 토큰으로 또 한 번 추가 학습했습니다. 라이선스는 OpenMDW-1.1이고, 모델 카드는 상업·비상업 용도 모두 쓸 수 있다고 적습니다. 가중치는 Hugging Face와 ModelScope에 있고, 호스팅 API는 OpenRouter와 NVIDIA NIM으로 열렸습니다.

NVFP4 판 모델 카드가 vLLM 기준으로 제시하는 장비별 권장 구성은 다음과 같습니다.

DGX Spark 권장 구성에는 영상 입력이 빠져 있습니다. 모델 카드가 영상까지 넣은 구성은 H100 2장, H200 1장, GB200 1장뿐입니다. 영상 분석까지 책상 위 한 대에서 돌리려던 팀이라면 공식 권장 구성 밖에서 직접 시험해야 합니다. 원본 BF16 판은 H100 4장 또는 GB200 2장이 기준이며, NVIDIA는 이 판을 미세조정과 전체 정밀도 평가용으로 안내합니다.

NVFP4 판과 BF16 판의 점수 차이

GPU 1장에 올리려면 NVFP4 판을 써야 하므로, 실제로 배포될 쪽은 대부분 NVFP4 판일 것으로 보입니다. NVIDIA는 NVFP4 판 모델 카드에 두 판을 같은 설정·같은 하네스로 잰 표를 실었습니다. 그 표에서 두 판의 차이를 항목마다 직접 계산했습니다. 그림 1은 차이가 큰 항목과 대표 항목 12개입니다.

양자화로 잃은 점수는 대부분의 항목에서 측정 오차 수준입니다. SWE-bench Verified는 71.10에서 71.07로 사실상 같고, Terminal-Bench 2.1은 60.67에서 62.78로 오히려 올랐습니다. NVIDIA는 이 결과를 양자화 인식 증류(QAD) 덕으로 설명합니다. 4비트 모델이 학습 단계에서 BF16 모델의 출력을 따라 하도록 맞춰 정밀도 손실을 메운다는 방식입니다.

떨어진 세 항목은 성격이 갈립니다. WebVoyager는 77.72에서 66.31로, DeepSWE는 24.65에서 18.20으로 내려갔습니다. 둘 다 여러 단계를 이어 가는 긴 에이전트 작업입니다. 한 단계의 작은 오차가 뒤 단계로 쌓이는 작업에서 양자화 손실이 커진 것으로 보이지만, NVIDIA는 원인을 설명하지 않았습니다. 세 번째인 MMLU-ProX는 원논문 기준 29개 언어로 같은 문제를 묻는 다국어 지식 평가이고, 한국어도 그 29개에 들어 있습니다. NVIDIA가 이 가운데 어떤 언어 구성으로 점수를 냈는지는 모델 카드에 나와 있지 않습니다. 76.91에서 73.76으로 3.15점 내려갔습니다. 앞의 두 에이전트 항목을 빼면 성능이 가장 많이 나빠진 항목입니다.

이 수치는 모두 NVIDIA가 직접 잰 것입니다. 표본 수와 반복 횟수는 표에 없어서, 1점 안쪽 차이는 방향만 보는 편이 맞습니다.

스승 Nemotron 3 Ultra보다 나은 곳과 못한 곳

증류 모델은 스승 모델의 축소판으로 여겨지기 쉽습니다. BF16 판 모델 카드의 비교표를 보면 Nemotron 3.5 Super VL은 일부 항목에서 스승을 넘었습니다. 다음은 그 표에서 두 모델 값만 옮긴 것입니다(모두 NVIDIA 측정).

웹 검색형 과제와 터미널 작업에서는 Super VL이 Ultra보다 높습니다. NVIDIA 블로그도 Hermes Bench(63.44% 대 56.33%)와 LangChain 행동 평가(87.05% 대 84.3%)에서 Super VL이 Ultra를 앞섰다고 밝혔습니다. 반대로 지시 따르기는 12.04점, 다국어 지식은 6.19점, 긴 문맥 추론은 6.58점 뒤집니다.

같은 표에 실린 다른 오픈 모델과 비교하면 위치가 더 분명해집니다. Qwen3.8-Flash-Next는 SWE-bench Verified 78.7, Terminal-Bench 2.1 85.80으로 대부분의 에이전트 항목에서 Super VL보다 높습니다. 정확도만 보면 같은 크기대 1위 모델은 아닙니다. NVIDIA가 내세우는 것은 처리량입니다. 블로그는 GPU 1장에서 같은 크기대 오픈 모델보다 에이전트 작업 처리량이 최대 5배라고 주장합니다.

NVIDIA 밖에서 잰 수치

벤치마크 비교 사이트 Artificial Analysis는 Super VL에 Intelligence Index 26점을 매겼습니다. Artificial Analysis가 비교 대상으로 묶은 모델들의 중앙값은 8점입니다. 그러나 The Decoder가 인용한 NVIDIA 차트 설명에 따르면, 전체 순위에서는 선두 비공개 모델과 격차가 큽니다. 같은 차트의 1위는 58점입니다.

속도는 측정 조건에 따라 숫자가 크게 다릅니다. NVIDIA 블로그는 Baseten 엔드포인트에서 초당 600토큰 이상이 나온다고 적었습니다. Artificial Analysis 모델 페이지의 출력 속도는 초당 196.3토큰입니다. 두 숫자는 측정한 제공처와 조건이 달라 직접 비교할 수 없습니다. 다만 5배 처리량 주장은 아직 NVIDIA 쪽 수치이고, 제3자가 같은 조건에서 재현한 결과는 찾지 못했습니다. Artificial Analysis는 이 모델이 Index 평가 중 출력 토큰 1억 7,000만 개를 써서 중앙값 1억 개보다 말이 많은 편이라고도 적었습니다. 토큰을 빨리 뽑아도 많이 뽑으면 작업 완료 시간 이득은 그만큼 줄어듭니다.

NVIDIA 블로그는 DGX Spark에서 EXO Labs가 독립 평가를 했고, Super VL이 정확도와 작업 완료 시간 양쪽의 파레토 경계에 놓였다고 밝혔습니다. 이 평가 원문은 이 글에서 직접 확인하지 못했습니다.

Hacker News와 언론의 반응

Hacker News 반응은 아직 얇습니다. 출시 당일 Hugging Face 모델 카드를 올린 글에 이 글을 쓰는 시점까지 댓글이 두 개 달렸습니다. 한 사용자(techsystems)는 속도 기법을 눈여겨봤습니다.

"LiLiCorr spec decode + Mamba blocks seem really interesting for the speed up." — techsystems, Hacker News

다른 사용자(scirob)는 NVIDIA 자체 표에서도 경쟁 모델보다 낮다는 점을 짚었습니다.

"this 3.5 Super is still below Qwen 3.8 next as they state themsleves" — scirob, Hacker News

The Decoder는 학습 데이터와 레시피까지 공개한 점을 "가중치만 공개하는 대부분의 오픈 웨이트 모델보다 더 열려 있다"고 평가했습니다. 같은 기사는 이 전략이 자기 이익을 위한 것이라는 비판도 실었습니다. 기업이 오픈 모델을 직접 돌릴수록 연산 장비 수요가 늘고, 모든 변형이 NVIDIA 하드웨어에 맞춰져 있다는 지적입니다. Reddit에서는 이 글을 쓰는 시점까지 의미 있는 토론 글을 찾지 못했습니다.

한국어 문서 에이전트로 쓸 때의 판단

한국어 사용자에게 가장 먼저 걸리는 것은 언어 지원입니다. 두 모델 카드의 언어 목록에는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 일본어 여섯 개만 있고 한국어는 없습니다. 사전학습용 Common Crawl 데이터에는 한국어가 15개 언어 가운데 하나로 들어갔습니다. 하지만 한국어만 따로 잰 결과는 공개되지 않았습니다. OCR 평가인 OCRBench v2도 영어(68.12)와 중국어(59.15) 점수만 있습니다. 반면 추가 학습에 들어간 언어 데이터는 인도계 언어에 집중됐습니다.

그래서 한국어 영수증·계약서·보고서 이미지를 읽는 문서 에이전트에 쓰려는 팀은 자기 문서로 먼저 재 봐야 할 것으로 보입니다. 특히 GPU 1장에 올리는 NVFP4 판은 원논문 기준 한국어가 포함된 다국어 지식 항목에서 BF16 판보다 3.15점 낮습니다. BF16 판 자체도 스승 Ultra보다 6.19점 낮습니다. 한국어 품질이 중요한 작업이라면 NVFP4 판 하나로 결론 내지 말고 BF16 판과 같은 입력으로 비교해 보는 편이 안전해 보입니다.

반대로 이 모델이 가장 잘 맞는 곳은 데이터를 밖으로 내보내기 어려운 조직입니다. 금융·공공·의료처럼 외부 API로 문서를 보내기 어려운 곳에서는, 상업 이용이 허용된 가중치를 H200 1장에 올려 사내에서 이미지·문서 이해를 돌릴 수 있다는 점이 의미 있어 보입니다. NVIDIA가 학습 레시피와 공개 데이터셋을 함께 내놓았으므로 한국어 문서로 추가 학습하는 길도 열려 있습니다. 다만 모델 카드에는 공개하지 않은 학습 데이터도 적혀 있어, 학습 데이터 전체가 공개된 것은 아닙니다. 다만 그 결과가 얼마나 나아지는지는 아직 아무도 공개하지 않았습니다.

한계

출처

• NVIDIA Technical Blog, NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning (2026-10-15)
• Hugging Face 모델 카드, NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16
• Hugging Face 모델 카드, NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
• Artificial Analysis, Nemotron 3.5 Super VL 모델 페이지
• The Decoder, Nvidia's Nemotron 3.5 Super VL is an open model built to run enterprise AI agents nonstop (2026-10-15)
• arXiv, MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation
• Hacker News, Nvidia Nemotron 3.5 Super VL 120B A12B