소식 · · 읽는 시간 15분

Kimi K3.1 Pro 공개: Moonshot 발표 점수와 제3자 측정이 갈린 곳, 사이버 데이터를 뺀 공개 가중치

이 글의 차례
  1. K3에서 달라진 것과 쓸 수 있는 곳
  2. 발표 표와 제3자 측정의 대조
  3. Moonshot 표 안에서 앞선 영역과 뒤진 영역
  4. 공개 가중치에서 사이버 데이터를 뺀 이유
  5. 개발자 반응
  6. 한국 개발자에게 바뀌는 것
  7. 한계
  8. 출처

Moonshot AI가 2026년 10월 23일 Kimi K3.1 Pro를 공개했습니다. 7월에 나온 Kimi K3를 더 많은 강화학습으로 다시 다듬은 모델이고, 문맥 창은 100만 토큰이며, 전체 가중치는 11월 4일까지 공개하겠다고 밝혔습니다. 독립 평가 기관 Artificial Analysis의 측정에서 K3.1 Pro는 터미널 코딩 벤치마크 Terminal-Bench 4.0에서 Claude Opus 5.5보다 7.6포인트 높았습니다. 반면 지식 정확도 지표에서는 Opus 5.5와 GPT-6 Astra에 크게 뒤졌습니다. 그래서 이 모델은 "Opus급 오픈 모델"보다 "터미널·에이전트 작업에 강하고 지식 문항에 약한 모델"로 보는 편이 맞아 보입니다. 공개될 가중치는 학습 단계에서 사이버 보안 관련 데이터를 걷어낸 판입니다.

이 글에서는 K3에서 달라진 것과 쓸 수 있는 곳, Moonshot 발표 표와 제3자 측정을 같은 축에 놓은 비교, 사이버 데이터 제거가 공개 가중치에 주는 의미, 개발자 반응, 한국 개발자가 쓸 자리를 다룹니다.

K3에서 달라진 것과 쓸 수 있는 곳

Moonshot은 K3.1 Pro를 K3의 사후학습(post-training) 판이라고 설명합니다. 바탕 모델은 같고, 사후학습 연산량을 크게 늘려 수백 개 분야에서 강화학습을 함께 돌렸다는 것입니다. 회사는 이 모델을 "3T급" 오픈 웨이트 모델로 부르고, 문맥 창은 100만 토큰입니다. 같은 날 응답 속도가 2~3배 빠른 Kimi K3.1 Pro Highspeed도 함께 냈습니다.

공개 당일부터 쓸 수 있는 경로는 다음과 같습니다.

경로쓰는 방법
Kimi.ai, 모바일 앱웹 또는 iOS·Android·HarmonyOS 앱
Kimi WorkWindows, Apple silicon Mac용 데스크톱 앱 3.1.0 이상
Kimi Code/model 명령으로 K3.1 Pro 선택
Kimi API모델 ID kimi-k3.1-pro, kimi-k3.1-pro-highspeed
공개 가중치2026년 11월 4일까지 공개 예정

API에서는 추론이 항상 켜져 있고, reasoning_effort로 low, high, max 세 단계를 고르며 기본값은 max입니다. 플래그십 모델이라 최소 1달러를 충전해야 열리고, API 고객에게는 데이터 미보관(Zero Data Retention) 옵션이 있습니다. 기업용 Kimi Enterprise에서는 관리자가 켜야 하며 출시 시점 기본값은 꺼짐입니다.

기존 사용자에게는 이전 세대 정리가 더 직접적인 변화입니다. Kimi API 가격 문서는 2026년 10월 31일부터 K2 계열 모델을 새로 가입한 사용자에게 제공하지 않고, 12월 말까지 K2 계열 전체를 종료할 계획이라고 공지했습니다. K2.6이나 K2.7 Code를 API로 쓰는 서비스라면 두 달 안에 옮길 곳을 정해야 합니다.

발표 표와 제3자 측정의 대조

Moonshot의 기술 블로그는 K3.1 Pro를 Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra, DeepSeek-V4.1-Flash-1017, GLM-5.3과 함께 놓은 벤치마크 표를 실었습니다. 표 주석을 보면 K3.1 Pro 점수는 Moonshot이 직접 돌렸고, 다른 모델 점수는 항목마다 출처가 다릅니다. Terminal-Bench 4.0처럼 각 회사 발표나 공개 리더보드에서 가져온 항목도 있고, OfficeQA Pro처럼 경쟁 모델도 Moonshot이 정한 하네스(Claude Code, GPT-6 Astra는 Codex)로 평가했다고 적은 항목도 있습니다. 같은 벤치마크를 Artificial Analysis가 직접 잰 값이 있어서, 겹치는 세 항목을 같은 축에 직접 정리했습니다.

그림 1. 같은 세 벤치마크에서 Moonshot 발표 표의 점수와 Artificial Analysis 측정값. Moonshot 표는 K3.1 Pro를 max, Opus 5.5를 max(with fallback)로 표기하고, Artificial Analysis는 Opus 5.5를 Max(Default Fallback)로 표기하며 K3.1 Pro에는 설정 표기가 없습니다.

가장 크게 갈린 곳은 Terminal-Bench 4.0입니다. Moonshot 표에서 K3.1 Pro는 65.7%로 Opus 5.5(66.4%)에 0.7포인트 뒤졌습니다. Artificial Analysis 측정에서는 K3.1 Pro가 67.2%, Opus 5.5가 59.6%로 순서가 뒤집혔습니다. Moonshot 표의 Opus 5.5 점수는 각 회사 블로그와 공식 리더보드 값 가운데 높은 쪽을 고른 것이라고 주석에 적혀 있습니다. 같은 블로그의 점수-비용 그림에는 Opus 5.5가 64.85%로 찍혀 있어, 한 글 안에서도 숫자가 두 개입니다.

나머지 두 항목은 방향이 같습니다. 과학 연구용 터미널 작업을 보는 Terminal-Bench-Science 0.1에서는 두 출처 모두 K3.1 Pro가 Opus 5.5보다 20포인트 넘게 낮습니다. Humanity's Last Exam도 두 출처 모두 8~9포인트 차이로 Opus 5.5가 앞섭니다. 출처에 따라 순서가 바뀐 항목은 Terminal-Bench 4.0 하나뿐입니다.

Artificial Analysis는 10개 평가를 묶은 Intelligence Index도 냅니다. K3.1 Pro는 55점으로 215개 모델 중 4위입니다. 앞에는 Claude Opus 5.5(58점), Claude Sonnet 5.5(56점), Muse Wonder Full(56점)이 있습니다. 같은 기관이 잰 K3와 비교하면 무엇이 올랐는지가 보입니다.

지표 (Artificial Analysis 측정)Kimi K3Kimi K3.1 ProClaude Opus 5.5
Intelligence Index43.655.157.6
Terminal-Bench 4.0 (%)12.667.259.6
Humanity's Last Exam (%)46.952.561.4
AA-Omniscience Index19.729.546.4

Artificial Analysis 표기상 K3는 Max, Opus 5.5는 Max(Default Fallback) 설정이고, K3.1 Pro는 페이지에 추론 설정 표기가 없습니다. 값은 각 모델 페이지의 데이터를 소수점 첫째 자리로 직접 정리한 것입니다. Terminal-Bench 4.0은 12.6%에서 67.2%로 다섯 배 넘게 올랐지만, 지식 문항인 Humanity's Last Exam은 5.6포인트 오르는 데 그쳤습니다. AA-Omniscience Index는 정답에 점수를 주고 틀린 답에 감점하는 지식 신뢰도 지표입니다. 여기서 K3.1 Pro는 29.5로 Opus 5.5(46.4)와 GPT-6 Astra(43.4)에 크게 못 미칩니다. 강화학습이 에이전트 작업 실행력은 크게 끌어올렸지만, 모델이 아는 지식의 폭은 크게 바꾸지 못한 것으로 보입니다.

Artificial Analysis는 이 모델을 "notably slow and very verbose"라고 적었습니다. 확인 시점(10월 25일) 출력 속도는 초당 약 58토큰이고, Intelligence Index를 푸는 데 출력 토큰 1억 5,000만 개를 써서 중앙값 8,700만 개보다 많았습니다. API 가격은 100만 토큰당 입력 2달러, 출력 10달러로 기재돼 있습니다.

Moonshot 표 안에서 앞선 영역과 뒤진 영역

Moonshot 표만 보더라도 K3.1 Pro가 모든 항목에서 상위권인 것은 아닙니다. 차이가 큰 항목을 골라 직접 정리했습니다. 모두 Moonshot 발표 수치이고, 제3자 재현은 아직 없습니다.

벤치마크Kimi K3.1 ProClaude Opus 5.5GPT-6 Astra
SWE Marathon v1.151.746.342.5
OfficeQA Pro v264.462.254.4
HLE-Full (도구 사용)70.067.757.2
ProgramBench31.565.050.0
HLE-Diamond39.460.965.8
PostTrainBench v1.236.543.841.9

앞선 항목은 긴 코딩 작업, 금융 문서 질의응답, 도구 사용이 명시된 지식 문항(HLE-Full)입니다. 뒤진 항목에서는 차이가 더 큽니다. 과제 점수가 95% 이상일 때만 1점을 주는 이진 채점으로 보고한 ProgramBench에서 K3.1 Pro는 Opus 5.5의 절반에 못 미쳤습니다. 어려운 지식 문항 HLE-Diamond에서는 Opus 5.5보다 21.5포인트 낮았습니다. 같은 표의 HLE-Full도 도구 사용 행(70.0)에서는 앞서고 도구 표기가 없는 행(51.1)에서는 Opus 5.5(59.8)에 뒤집니다. 검색 도구가 지식의 빈틈을 메우는 구조로 보이고, 앞 절의 AA-Omniscience 결과와 같은 방향입니다.

공개 가중치에서 사이버 데이터를 뺀 이유

이번 발표에서 가장 눈에 띄는 부분은 사이버 보안 절입니다. Moonshot은 사후학습을 늘릴수록 취약점 연구 능력도 꾸준히 올랐다고 밝혔습니다. 원인을 추적해 보니 일반 중간학습(mid-training) 말뭉치와 강화학습 환경에 사이버 관련 내용이 섞여 있었다고 합니다. 그래서 공개 가중치용 K3.1 Pro는 두 학습 단계 모두에서 사이버 관련 데이터를 찾아 걷어냈고, 일반 코딩 과제는 남겼다고 설명합니다.

효과는 회사 내부 벤치마크 xdev-bench-hard로 제시했습니다. 리눅스 커널, Node.js 등의 실제 취약점을 재현해 익스플로잇까지 만들게 하는 과제입니다. 데이터를 걷어내지 않은 체크포인트는 pass@3 기준 90.5%를 풀었고, 최종 K3.1 Pro는 81.0%를 풀었습니다. 외부 벤치마크 ExploitBench에서는 K3.1 Pro가 74.7로 Opus 5.5(91.0)와 GPT-6 Astra(100)보다 낮습니다. Moonshot은 공개 가중치가 사이버 능력의 절대 최전선을 넓히지 않게 하겠다는 원칙을 밝혔습니다. 동시에 공개 모델의 사이버 능력은 단계적으로 올리겠다고 했습니다.

한국 보안 팀에는 양쪽 의미가 다 있습니다. 공개 가중치가 오면 외부로 코드를 보내지 않고 자체 서버에서 오래된 시스템의 코드 감사를 돌릴 수 있습니다. 다만 그 모델은 일부러 공격 능력을 낮춘 판입니다. 익스플로잇 작성까지 필요한 레드팀 업무라면 이 모델이 상용 최상위 모델을 대신하기는 어려워 보입니다.

개발자 반응

Hacker News 공개 글(10월 25일 확인 시점 1,066점, 댓글 655개)과 Artificial Analysis 결과를 공유한 별도 글에서 반응이 갈렸습니다.

긍정적인 쪽은 오픈 모델이 최전선과 거의 붙었다는 점에 주목합니다. 사용자 thepasch는 Artificial Analysis 수치를 짚으며 이렇게 썼습니다.

"I think it's still remarkable that this is effectively an open model that matches the frontier for the first time in a long time, pretty much since DeepSeek R1." — thepasch, Hacker News

회의적인 쪽은 Artificial Analysis 순위만으로 Opus 5.5보다 낫다고 보기는 어렵다고 말합니다.

"while this is an awesome model, I have a bridge to sell to folks who think (based on AA leaderboard) that this is better than Opus 5.5" — option, Hacker News

사용자 mppm은 AA-Omniscience가 다른 지표보다 실제에 가깝다는 주장을 소개하며, 그 지표로는 K3.1 Pro가 최전선보다 6개월쯤 뒤처져 있다고 적었습니다(Hacker News). 구독 요금제 사용량을 불평하는 댓글도 있었습니다. 사용자 johnmlussier는 월 99달러 요금제에서 세션 하나로 47분 만에 5시간 사용 한도에 걸렸다고 썼습니다(Hacker News). 사이버 데이터 제거에 대해서는 "어디까지가 사이버 데이터이고 어디부터 일반 소프트웨어 지식이냐"는 질문이 나왔습니다(besterman23, Hacker News).

출시 홍보를 둘러싼 의혹도 있습니다. VentureBeat는 10월 24일, X 사용자가 공개한 스크린샷에 "유료 파트너십 표시를 붙이지 말라"는 Kimi 홍보 지침이 담겨 있었다고 보도했습니다. 다만 기사는 문서가 독립적으로 인증되지 않았고, Moonshot이 그 지침을 승인했다는 증거도 아니라고 적었습니다. 이 기사가 확인한 범위에서는 회사의 공식 답변도 없었습니다.

한국 개발자에게 바뀌는 것

터미널에서 돌아가는 코딩 에이전트에서는 K3.1 Pro가 상용 모델의 대안 후보가 됐습니다. Terminal-Bench 4.0은 제3자 측정에서도 앞섰으므로, 빌드·테스트·로그 확인을 반복하는 작업이라면 자기 저장소로 시험해 볼 가치가 있어 보입니다. 다만 출력이 길고 느리다는 측정이 함께 나왔으므로, 응답 시간이 중요한 대화형 도구보다는 기다려도 되는 배치형 작업에 먼저 붙여 보는 편이 맞아 보입니다.

지식 정확도가 중요한 작업에서는 아직 바꿀 이유가 약합니다. 법률·의료·사실 확인처럼 모델이 아는 내용이 답의 품질을 좌우하는 곳에서는 AA-Omniscience와 HLE-Diamond 격차가 그대로 위험이 됩니다. 검색 도구를 붙이면 격차가 줄어든다는 Moonshot 수치가 있지만, 제3자 재현은 아직 없습니다.

데이터 반출이 문제인 팀에게는 11월 4일 공개 가중치가 실제 변화입니다. API를 쓰면 중국 기업 Moonshot AI가 운영하는 서비스로 요청을 보내게 되므로, 개인정보나 사내 코드를 다루는 국내 팀은 데이터 미보관 옵션이 있어도 내부 검토를 거쳐야 할 가능성이 큽니다. 가중치가 나오면 국내 클라우드나 자체 장비에 올리는 길이 열립니다. 하지만 "3T급" 크기라 여러 장의 GPU를 묶은 서버가 필요할 것으로 보이고, 소규모 팀이 직접 돌리기는 어려워 보입니다.

K2 계열을 API로 쓰는 서비스는 일정이 정해졌습니다. 12월 말 종료 전에 K3 또는 K3.1 Pro로 옮기면서 reasoning_effort 기본값이 max라는 점을 확인해야 합니다. 설정하지 않으면 가장 느리고 토큰을 많이 쓰는 단계로 돌아갑니다.

관련해서 Opus 5.5 자체의 변화는 Claude Opus 5.5 공개 글에, 같은 비교표에 있던 DeepSeek 모델은 DeepSeek V4.1-Flash-1017 글에 정리했습니다.

한계

항목내용
직접 실행 없음이 글은 모델을 직접 호출해 재지 않았습니다. 비교는 공개된 발표 표와 Artificial Analysis 데이터를 같은 축에 정리한 것입니다
제3자 측정 범위제3자 측정은 Artificial Analysis 한 곳뿐이고, K3.1 Pro는 한 가지 설정만 측정돼 있으며 그 추론 설정은 페이지에 표기되지 않았습니다
측정 시점Artificial Analysis 수치는 10월 25일 확인 값이며, 속도처럼 계속 바뀌는 값이 있습니다
회사 문서 간 차이K3 대비 환각률 개선이 기술 블로그(내부 스트레스 테스트 Kimi Hallu Bench Hard, 23.4% → 8.3%)와 API 빠른 시작 문서(사용자가 오류를 지적한 대화로 만든 평가, 23.35% → 6.85%)에 다르게 적혀 있어 같은 평가인지 확인할 수 없고, 문서 일부에는 "[xx.x%]" 같은 자리표시자가 남아 있습니다
한국어 성능한국어 과제 벤치마크는 발표에도 제3자 측정에도 없습니다
공개 가중치10월 25일 기준 Hugging Face moonshotai 조직에는 K3 계열로 Kimi-K3 저장소만 있고 K3.1 Pro 저장소가 없어, 가중치와 라이선스는 아직 확인할 수 없습니다

일반화되는 것은 "터미널 작업은 강하고 지식 문항은 약하다"는 방향이지 개별 숫자가 아닙니다. 벤치마크 설정(하네스, 추론 단계, 도구 사용 여부)이 출처마다 달라서 점수 차이 일부는 설정 차이일 수 있습니다.

출처

1 / 1