AI 학습 거부를 robots.txt 공통 토큰으로: User-Agent: * 로는 표시되지 않는 이유

Google과 Microsoft가 2026년 10월 30일 robots.txt 안에 AI 학습 거부를 한 번에 적는 공통 표기를 지원하겠다고 발표했습니다. 표기는 User-Agent: __usage_ai-training 그룹에 Disallow를 다는 방식이고, 같은 날 IETF에 등록된 개인 초안이 판정 규칙을 정합니다. 이 규칙에서 가장 중요한 줄은 "User-Agent: * 그룹은 이 토큰과 맞는 것으로 해석하면 안 된다"입니다. 그래서 모든 봇을 막아 둔 사이트도, 아무 설정이 없는 사이트도, 이 토큰 그룹을 따로 쓰지 않으면 학습에 대해 아무 뜻도 표시하지 않은 것으로 읽힙니다. 적용 시점은 Microsoft가 2027년 2월 1일, Google은 2027년 초입니다.

이 글에서는 무엇이 발표됐는지, 초안의 판정 규칙을 kortress.com을 포함한 예시 robots.txt 다섯 개에 직접 적용한 결과, 회사별 일정, Microsoft가 따로 둔 그라운딩 설정, 한국 사이트 운영자에게 달라지는 점을 다룹니다.

발표된 것

이번 발표는 세 문서로 나뉩니다. 각 문서가 맡은 역할이 다르므로 따로 봐야 합니다.

Google은 기존 회사별 설정이 공통 토큰과 함께 계속 작동한다고 밝혔습니다. 사이트가 공통 토큰으로 학습을 거부했고 Google-Extended를 따로 적지 않았다면 Google-Extended를 거부한 것으로 해석할 계획입니다. 이 조건문으로 보아, Google-Extended를 따로 적은 사이트에서는 그 규칙을 따를 것으로 보입니다. Google이 이 우선순위를 문장으로 직접 밝히지는 않았습니다. Google은 이 제안이 EU AI법의 범용 AI 모델 제공자 행동강령(Code of Practice)과도 맞는다고 적었습니다.

초안의 지위는 분명히 해 둬야 합니다. IETF 데이터트래커는 이 문서를 "IETF가 승인하지 않았고 표준 절차에서 공식 지위가 없는" 개인 초안으로 표시합니다. 저자는 Anthropic 소속이고, 감사의 말에는 Google·Microsoft·OpenAI·Meta·Cloudflare 등 여러 회사 참여자가 개인 자격으로 이름을 올렸습니다. OpenAI도 같은 날 지원 계획을 냈다고 TNW 등이 보도했지만, OpenAI 발표 원문은 이 글을 쓰는 환경에서 열리지 않아(HTTP 403) 원문과 대조하지 못했습니다. 그래서 OpenAI의 일정은 이 글에서 다루지 않습니다.

초안의 판정 규칙

초안은 새 지시어나 문법을 만들지 않습니다. 기존 robots.txt 표준(RFC 9309)의 그룹 구조와 경로 매칭을 그대로 쓰고, User-Agent 자리에 크롤러 이름 대신 용도를 뜻하는 "정책 토큰"을 넣습니다. 초안의 예시는 다음과 같습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

이 세 줄은 사이트 전체에 학습 반대를, /press-kit/ 아래에만 학습 찬성을 표시합니다. 판정은 네 규칙으로 정리됩니다.

1. 경로가 토큰 그룹에서 Disallow로 판정되면 학습 반대, Allow로 판정되면 학습 찬성입니다.
2. User-Agent: * 그룹은 토큰과 맞는 것으로 해석하면 안 됩니다(MUST NOT).
3. 파일에 User-Agent: __usage_ai-training 줄이 하나도 없으면 아무 뜻도 표시하지 않은 것입니다. GPTBot 같은 회사별 토큰은 원래대로 해석하되, 공통 표시로 취급하면 안 됩니다.
4. 이 토큰은 크롤링 지시가 아닙니다. 크롤링을 막으려면 기존처럼 크롤러 이름으로 그룹을 씁니다.

2번과 3번이 실무에서 가장 큰 차이를 만듭니다. 토큰 앞에 밑줄 두 개(__)를 붙인 것도 초안 설명에 따르면 느슨하게 매칭하는 기존 파서가 실수로 맞추지 않게 하려는 장치입니다.

예시 robots.txt 다섯 개에 적용한 결과

규칙이 실제 파일에서 어떻게 갈리는지 보려고 초안 4.2절의 판정 규칙을 RFC 9309의 최장 일치 규칙 위에 직접 구현해 다섯 개 파일에 적용했습니다. 1번은 2026년 11월 1일 08:51(UTC)에 내려받은 kortress.com의 실제 robots.txt이고, 나머지는 흔한 설정을 본뜬 예시입니다.

공통 토큰 기준으로 학습 반대가 표시된 것은 토큰 그룹을 직접 쓴 2번과 5번뿐입니다. 3번은 크롤링 자체를 막는 파일이지만 학습에 대한 표시는 없습니다. 초안 규칙상 크롤링 차단과 용도 표시는 서로 독립이라서, 크롤러가 이 파일을 지켜 접근하지 않는 것과 학습 반대 표시는 별개의 신호입니다. 4번은 회사별 봇 이름으로 막는 방식입니다. GPTBot·ClaudeBot·Google-Extended 각각에는 원래 뜻대로 계속 작동하지만, 공통 토큰을 읽는 다른 참여 회사에는 아무 뜻도 전달하지 않습니다.

5번은 공통 판정과 Google의 처리가 갈릴 수 있는 경우입니다. 공통 토큰만 보면 학습 반대입니다. 그런데 Google은 Google-Extended를 따로 적지 않은 경우에만 공통 토큰 거부를 Google-Extended 거부로 해석하겠다고 했습니다. 그래서 이 파일은 "다른 회사에는 학습 반대, Google에는 허용"으로 읽힐 것으로 보입니다. 초안도 회사별 토큰을 공통 토큰보다 구체적인 규칙으로 취급한다고 회사가 문서화할 수 있게 열어 둡니다.

kortress.com은 현재 학습에 대한 뜻을 어느 쪽으로도 표시하지 않은 상태입니다. 반대를 표시하려면 기존 파일에 아래 두 줄 그룹을 더하면 되고, 기존 그룹은 고칠 필요가 없습니다. 이 글은 이 설정을 권하지 않습니다. 표시가 없는 상태와 반대를 표시한 상태가 어떻게 다른지 보여 주는 실물입니다.

 User-Agent: Bingbot
 Allow: /
+
+User-Agent: __usage_ai-training
+Disallow: /

회사별 적용 일정

발표는 같은 날 나왔지만 실제 적용 시점은 회사마다 다릅니다. 그림 1은 세 문서와 Google 크롤러 문서에 적힌 날짜만 한 축에 모은 것입니다.

Microsoft만 날짜를 단계별로 정했습니다. 2027년 2월 1일부터 크롤링하면서 새 설정을 반영하고, 3월 1일 이후에는 기존 NoArchive·NoCache를 학습·그라운딩 설정으로 읽지 않습니다. Google은 블로그에서 다른 AI 제공자와 함께 2027년에 지원하는 것이 목표라고 적었고, Google 크롤러 문서에는 "early 2027"로 적었습니다. 구체적인 날짜는 없습니다. 초안 -00은 2027년 5월 3일 만료이므로, 그 전에 개정판이나 작업반 문서로 이어지지 않으면 근거 문서의 지위가 바뀝니다.

Microsoft가 따로 둔 그라운딩 설정

Microsoft는 공통 학습 토큰 위에 자기 회사만의 설정을 하나 더 얹었습니다. 그라운딩(grounding)은 AI가 답변을 만들 때 웹 페이지를 근거로 끌어오는 용도를 말합니다. 학습과 그라운딩은 서로 독립된 설정이고, 둘 다 아무것도 적지 않으면 허용입니다.

DisallowExtended가 새 선택지입니다. Copilot, Microsoft 365 같은 Microsoft가 직접 운영하는 서비스에서는 그라운딩을 허용하고, Web IQ나 Foundry의 그라운딩 API처럼 Microsoft가 다른 회사에 제공하는 그라운딩 서비스에서는 막습니다. Microsoft는 그라운딩을 막으면 AI 답변에서 브랜드 노출이 줄어든다고 경고했고, 어느 선택도 노출·트래픽·대가를 보장하지 않는다고 적었습니다. 두 설정 모두 Bing 일반 검색 결과 노출 자격은 바꾸지 않습니다. 단, 일반적인 크롤링·색인 요건을 충족한다는 전제입니다.

한국 사이트 운영자에게 달라지는 것

판단은 세 가지입니다.

첫째, "AI는 다 막아 뒀다"고 생각하는 사이트 상당수가 이 기준으로는 아무것도 표시하지 않은 상태일 것으로 보입니다. 예시 3번처럼 User-Agent: *로 막았거나, 예시 4번처럼 회사별 봇만 막은 경우입니다. 학습 거부가 목적이라면 공통 토큰 그룹을 따로 적어야 합니다. 2027년 적용 전에 robots.txt에 토큰 줄이 있는지 확인해 둘 필요가 있습니다.

둘째, 학습 거부와 AI 답변 노출은 따로 생각해야 합니다. Microsoft는 둘을 명시적으로 분리했습니다. Google은 Google-Extended를 허용한 사이트가 Gemini 앱의 그라운딩 답변에 나오고 클릭을 받을 자격이 있다고 적었습니다. 공통 토큰으로 학습을 거부하면 Google은 이를 Google-Extended 거부로 해석하므로, Gemini 앱 그라운딩 노출에도 영향이 갈 수 있는 것으로 보입니다. 학습은 거부하되 Gemini 앱 노출은 유지하고 싶다면 예시 5번처럼 Google-Extended를 따로 허용하는 구성이 Google 설명과 맞습니다. 다만 Google은 이 조합의 동작을 예시로 보여 주지 않았으므로 지원 시작 후 문서를 다시 확인해야 합니다.

셋째, 국내 서비스에는 당장 효과가 없을 것으로 보입니다. 이번 Google·Microsoft 발표와 IETF 초안 어디에도 네이버·카카오는 지원 회사로 나오지 않습니다. 이 줄은 참여 회사가 자발적으로 따르는 신호이고, 초안도 개별 계약이 이 표시보다 우선할 수 있다고 적었습니다. 이미 학습에 쓰인 데이터를 되돌리는 장치도 아닙니다.

robots.txt 하나로 여러 회사에 같은 뜻을 전한다는 방향은 운영자 입장에서 분명한 개선입니다. 회사별 봇 이름을 따라다니며 그룹을 늘리던 방식보다 관리할 줄이 줄어듭니다. 여러 회사가 공통 규격으로 모이는 흐름은 Agent Skills의 AAIF 이관에서도 다뤘습니다.

커뮤니티 반응

반응은 아직 적습니다. Hacker News에는 Google 발표 글이 "Google plans to support shared AI training opt-out via robots.txt"라는 제목으로 올라왔지만, 2026년 11월 1일 확인 시점에 7점, 댓글 0개였습니다(HN 50309270). Reddit은 이 글을 쓰는 환경에서 검색 결과를 열 수 없었습니다.

업계 매체에서는 TNW가 10월 31일 기사에서 초안 저자 Kevin Kelley(Anthropic)의 말을 "It'll take us some time to add support across our services…"로 전했습니다(TNW). 같은 기사는 Meta 홍보 책임자 Andy Stone이 X에서 공통 신호에 지지를 밝혔지만 Meta가 이 신호를 따를지는 말하지 않았다고 The Verge를 인용해 전했습니다. 이 글을 쓰는 시점에 이름이 확인되는 반대 의견은 찾지 못했습니다. 다만 이 표시가 앞으로의 학습에만 적용되고 개별 계약이 우선할 수 있다는 한계는 Microsoft 발표와 초안이 직접 적어 두었습니다.

한계

이 글의 판정표는 초안 4.2절을 직접 구현한 판정기로 만든 것이고, Google·Microsoft·Anthropic의 실제 파서 결과가 아닙니다. 초안이 허용하는 회사별 우선순위 해석(예시 5번)이나 파서마다 다른 매칭 방식 때문에 실제 처리는 다를 수 있습니다.

Google의 2027년 지원 시점과 구체 동작, OpenAI의 일정은 각 회사 문서가 갱신되면 다시 확인해야 합니다.