소식 · · 읽는 시간 12분
Meta Muse Ember 공개: 발표 표의 벤치마크를 누가 쟀는지 나눠 본 결과
Meta가 2026년 11월 9일 Muse Ember(muse-ember-1.0)를 공개했습니다. Muse 계열에서 가장 작고 효율적인 모델이고, 에이전트가 하루 종일 반복하는 도구 호출·코딩 하위 작업·라우팅·추출을 맡도록 만들었다고 Meta는 설명합니다. 제3자 평가 기관 Artificial Analysis(이하 AA)는 같은 날 이 모델이 Intelligence Index에서 36점을 받아 Claude Haiku 5.5(max)와 같은 점수를 냈다고 발표했습니다. 과제 1개당 비용은 $0.14로 Haiku 5.5(max)의 $0.41보다 낮습니다.
다만 Meta 발표 표의 10개 항목을 측정 주체별로 나눠 보면, 제3자가 잰 항목은 절반이고 나머지는 Meta 자체 평가이거나 모델마다 다른 하네스(평가용 실행 환경)에서 나온 값입니다. 같은 날 나온 AA 글과 대조하면 숫자가 어긋나는 항목도 있습니다. 이 글은 Meta Model API를 서브에이전트용으로 검토하는 국내 개발자를 독자로 두고, 무엇이 새로 나왔는지, 발표 숫자를 어디까지 믿을 수 있는지, 이 모델이 약한 곳은 어디인지를 다룹니다.
새로 나온 모델과 쓸 수 있는 범위
Meta 가격 문서는 Muse Ember를 Muse Wonder, Muse Spark와 함께 토큰 단위로 과금하는 추론 모델로 분류합니다. 사양은 Meta의 모델 문서에서 옮겼습니다.
| 항목 | Muse Ember (muse-ember-1.0) |
|---|---|
| 입력 | 텍스트, 이미지, 영상, 오디오, PDF |
| 출력 | 텍스트 |
| 컨텍스트 창 / 최대 출력 | 1,048,576 토큰 / 524,288 토큰 |
| 추론 강도 | "minimal"~"max", 기본값 "max" |
| 엔드포인트 | Responses, Chat Completions, Messages |
| Meta 제공 경로 | Meta Model API 종량제(Standard 모드만), Muse Code 모든 요금제 |
출처: Meta Model API Muse Ember 문서
Meta 문서는 Muse Ember가 Muse Spark와 같은 요청 본문을 받으므로 대부분은 모델 ID만 바꾸면 옮길 수 있다고 안내합니다. 쓰임새도 문서가 직접 나눕니다. 메인 에이전트가 나눠 주는 코딩 작업과 터미널 명령, 비용과 지연이 쌓이는 도구 호출, 요청 분류와 라우팅, 이미지·파일·레코드 수천 건에 같은 작업을 돌리는 일이 Ember의 몫입니다. 어려운 단발성 코딩 문제, 지식이 많이 필요한 질문, 시각 코딩에는 Muse Spark나 Muse Wonder를 쓰라고 적었습니다. 이 마지막 문장은 아래 지식 문항 결과와 맞물립니다.
Meta 연구 블로그는 Ember가 Muse Wonder Full로 학습한 첫 모델이라고 밝혔습니다. 가중치는 공개하지 않았고, 매개변수 수도 발표 페이지와 문서 어디에도 없습니다. 같은 Meta의 Muse Spark Open이 가중치를 내려받아 돌리는 모델인 것과 달리 Ember는 호스팅된 API로만 씁니다. Meta 경로 밖에서는, Meta 연구 블로그가 Muse Ember·Spark·Wonder를 Google Cloud와 Oracle Cloud에서도 쓸 수 있다고 밝혔고, OpenRouter에도 Muse Ember 모델 페이지가 열려 있습니다.
측정 주체별로 나눈 발표 수치
Meta 발표 페이지의 평가 표는 Ember, Claude Haiku 5.5, GPT-6 Luna를 모두 max 추론 설정으로 놓고 10개 항목을 비교합니다. 표 아래 각주와 그래프 캡션에는 항목마다 측정 주체가 적혀 있는데, 표 본문에는 이 구분이 드러나지 않습니다. 그래서 각주와 캡션을 근거로 10개 항목을 세 묶음으로 나눠 다시 그렸습니다.
AA 측정으로 표기된 5개 항목에서 Ember가 Haiku 5.5를 뚜렷하게 앞선 곳은 AutomationBench-AA와 Coding Agent Index-AA 둘입니다. FrontierCode 2.0-AA에서는 Haiku 5.5가 34.9%로 Ember의 27.2%보다 높고, GDP.pdf-AA는 2.0%포인트 차이입니다. Intelligence Index는 반올림한 값으로 36 대 36 동점인데, 같은 페이지의 그래프 데이터에는 Ember(max) 35.8, Haiku 5.5(max) 36.2로 들어 있어 소수점까지 보면 Haiku 5.5가 0.4점 높습니다. Ember가 크게 이겨 보이는 Personal Superintelligence Index(46.8 대 36.1)는 Meta 각주상 "내부 복합 지수"로, Agents' Last Exam·AutomationBench·FocusBench 등 8개 평가를 Meta가 묶은 값입니다. 외부에서 재현할 방법이 지금은 없습니다.
Coding Agent Index-AA는 숫자는 제3자가 쟀지만 조건이 같지 않습니다. AA 글에 따르면 Ember는 Meta의 Muse Code에서, Haiku 5.5는 Claude Code에서, Luna는 Codex에서 돌았습니다. 모델 하나의 능력이라기보다 모델과 그 회사 코딩 도구를 합친 점수로 읽는 것이 맞습니다.
같은 항목, 다른 숫자
Meta 발표 페이지와 AA 글은 같은 날 나왔고 Meta는 일부 수치의 출처로 AA를 적었습니다. 그런데 두 문서를 나란히 놓으면 세 곳이 어긋납니다.
| 항목 | Meta 발표 | AA 글 |
|---|---|---|
| AutomationBench-AA, Ember(max) | 37.8% ("Strict pass@1" 캡션) | 68.1% |
| Terminal-Bench 4.0, Haiku 5.5(max) | 39.2% (Claude Code 하네스) | 32.8% (AA 지수 평가) |
| 과제 1개당 비용, Ember(max) | 연구 블로그 약 $0.14, 개발자 블로그 약 $0.13 | $0.14 |
출처: Meta 연구 블로그, Meta 개발자 블로그, Artificial Analysis 기사
가장 큰 차이는 AutomationBench-AA입니다. Meta 페이지는 이 항목 그래프에 "Artificial Analysis, 2026년 11월 9일, Strict pass@1"이라는 캡션을 달았고 Ember 값을 37.8%로 적었습니다. AA 글은 Ember(max)가 68.1%로 Muse Wonder(max)와 같은 수준이라고 썼습니다. 두 숫자가 다른 채점 방식에서 나온 것으로 보이지만, AA 글은 채점 방식을 따로 밝히지 않아 어느 쪽이 무엇을 잰 값인지는 확인하지 못했습니다. 어느 값을 쓰더라도 Ember가 Haiku 5.5와 Luna보다 높다는 순서는 Meta 표 안에서는 바뀌지 않습니다. 다만 Haiku 5.5와 Luna의 AA 쪽 값은 AA 글에 없어서, 68.1% 기준으로 두 모델과 비교할 수는 없습니다.
Terminal-Bench 4.0은 Meta 쪽 조건만 문서에 적혀 있습니다. Meta 각주는 이 항목을 "각 모델의 최고 공개 하네스"로 쟀다고 밝히고, Ember는 mini-swe-agent, Haiku 5.5는 Claude Code, Luna는 Codex를 썼습니다. AA 글은 자기 지수 평가 안에서 Ember 40.9%, Haiku 5.5 32.8%로 적었지만 어떤 하네스를 썼는지는 밝히지 않았습니다. 같은 Haiku 5.5가 두 문서에서 6.4%포인트 차이 나고, 하네스 차이가 원인으로 보이지만 확인된 것은 아닙니다. Meta 표만 보면 Ember와 Haiku 5.5의 차이는 1.7%포인트이고, AA 평가 기준으로는 8.1%포인트입니다.
과제당 비용 $0.13과 $0.14는 같은 회사의 두 블로그가 다르게 적은 것입니다. 연구 블로그의 그래프 데이터에는 max 설정의 값이 $0.136으로 들어 있어, 반올림 차이로 보입니다. Meta는 이 비용을 추정치라고 적었습니다.
작은 모델이 내준 것
AA 글이 꼽은 Ember의 가장 큰 약점은 지식입니다. 사실 질문을 묻는 AA-Omniscience에서 Ember의 정답률은 21.1%로, AA가 비교한 비슷한 지능대 모델 가운데 가장 낮았습니다. Claude Haiku 5.5(max)는 34.7%, Gemini 3.8 Flash(high)는 50.5%입니다.
정답률이 낮은 주된 이유는 모르는 문제에 답을 하지 않아서입니다. AA에 따르면 Ember는 문항의 64%에 답을 거절했고, 그 덕에 환각률(틀린 답을 지어낸 비율)은 17.4%로 Haiku 5.5의 절반 수준입니다. 이는 Meta 문서가 "지식이 많이 필요한 질문에는 Muse Spark나 Muse Wonder를 쓰라"고 안내한 것과 같은 방향입니다. 문서를 읽고 필드를 뽑거나 테스트를 돌리는 일처럼 답의 근거를 입력으로 넣어 주는 작업에서는 이 약점이 덜 드러나고, 모델 안의 지식에 기대는 질문에서는 "모르겠다"가 자주 나올 것으로 보입니다.
같은 Meta 안에서 위치를 보면, AA 기준으로 Ember(max)는 36점에 과제당 $0.14, Muse Wonder(max)는 44점에 $6.95입니다. 8점 차이에 비용은 약 50분의 1입니다. Meta 발표 페이지의 AA 비교표에서 Muse Spark 1.3(max)은 37점에 $2.39로, Ember와 1점 차이입니다.
개발자 커뮤니티 반응
Hacker News의 발표 글 토론(330점)에서 나온 반응은 갈렸습니다.
값이 싼 점은 긍정적으로 받아들여졌습니다. 사용자 slopnt는 "대부분의 소프트웨어 작업 보조에 Haiku와 Luna를 쓴다. 싸고 빨라서다. … 비슷한 지능에 더 싼 모델이 나왔다는 건 좋은 소식"이라고 썼습니다(댓글). 사용자 minimaxir는 캐시 입력 단가가 입력 단가의 4%로, Luna·Haiku의 10%보다 낮다는 점을 짚었습니다(댓글).
회의적인 반응은 긴 작업과 공개 범위에 모였습니다. OpenRouter는 출시 전 익명으로 제공되던 "Crouton Alpha"가 Muse Ember의 초기 버전이었다고 밝혔는데(OpenRouter), 이 모델을 써 봤다는 사용자 OsrsNeedsf2P는 "처음엔 강하지만 10턴쯤 되면 꽤 나빠지고 20턴이면 쓸 수 없다. 짧은 작업엔 좋고 긴 작업엔 끔찍하다"고 적었습니다(댓글). 초기 버전에 대한 한 사람의 경험이므로 정식 버전에 그대로 적용된다고 볼 수는 없습니다. 가중치가 없다는 점에 대한 아쉬움("No weights? Shame")도 있었고(댓글), Simon Willison은 6개 추론 강도로 같은 그림 그리기 과제를 돌렸는데 high 설정은 완성된 SVG를 돌려주지 못했다고 보고했습니다(댓글).
Reddit에서는 이 글을 쓰는 시점에 원문을 확인할 수 있는 의미 있는 토론 스레드를 찾지 못했습니다.
국내 개발자에게 바뀌는 것
국내에서 서브에이전트용 저가 모델을 고를 때 Claude Haiku 5.5·GPT-6 Luna 외에 같은 표시 단가대 선택지가 하나 늘었습니다. Meta Model API의 지역 정책에서 한국은 제한 지역 목록에 없습니다. 다만 Meta는 서비스를 켠 국가의 공식 목록을 내지 않고, 접근 가능 여부를 언제든 바꿀 수 있다고 적었습니다. 이 정책 문서는 10월 12일에 마지막으로 고쳐져 Ember를 아직 모델 분류 목록에 넣지 않은 상태입니다.
판단은 이렇습니다. Ember가 맞는 자리는 메인 에이전트를 다른 모델에 두고, 입력에 근거가 다 들어 있는 짧은 작업을 대량으로 넘기는 구조로 보입니다. 문서 추출, 티켓 분류, 테스트 돌리고 고치기가 여기에 해당합니다. Meta 문서와 AA의 지식 문항 결과, 그리고 커뮤니티의 긴 대화 경험담이 모두 같은 방향을 가리킵니다. 반대로 한국어 고객 상담처럼 모델 자체 지식에 기대는 일이나 수십 턴 이어지는 단독 에이전트에는 근거가 아직 부족합니다.
요금에서 국내 개발자가 놓치기 쉬운 지점이 하나 있습니다. Ember는 입력이 200,000 토큰을 넘는 요청 전체를 장문 요금(입력 $0.30, 출력 $1.50, 100만 토큰당)으로 받습니다. 200,000 토큰을 넘은 부분만이 아니라 요청 전체입니다. previous_response_id로 대화를 이어 가면 그 대화 전체가 입력에 들어가므로, 컨텍스트 창이 약 100만 토큰이라도 긴 세션을 하나의 대화로 끌고 가면 어느 순간부터 요청 단가가 세 배가 됩니다. 컨텍스트를 짧게 끊어 넘기는 서브에이전트 구조가 비용 면에서도 맞는 이유입니다.
한계
| 항목 | 내용 |
|---|---|
| 직접 측정 없음 | 이 글은 Ember를 직접 호출해 재지 않았습니다. 모든 성능 수치는 Meta와 AA의 발표값입니다 |
| AutomationBench-AA 차이 | 37.8%와 68.1%가 각각 어떤 채점 방식인지 확인하지 못했습니다 |
| 한국어 평가 없음 | Meta 발표 페이지와 AA 글 모두 한국어 성능 수치를 내지 않았습니다 |
| 국내 접근 | 한국은 제한 지역 목록에 없지만, 국내에서 실제 API 키 발급과 호출이 되는지는 확인하지 않았습니다 |
| 커뮤니티 표본 | 인용한 반응은 Hacker News 한 스레드의 개별 의견이며, 긴 대화 품질 저하 경험담은 출시 전 초기 버전에 대한 것입니다 |
Meta가 공개한 Personal Superintelligence Index 같은 내부 지수는 구성 평가 목록만 있고 가중치나 문항은 공개되지 않았습니다. 이 항목의 차이는 제3자가 다시 잴 때까지 Meta의 주장으로만 읽어야 합니다. 제3자 측정과 벤더 발표가 갈린 다른 사례는 Kimi K3.1 Pro 글에서도 다뤘습니다.
