웹사이트 운영자가 robots.txt에 두 줄만 적으면 앞으로 4개 AI 기업에 ‘AI 학습에 쓰지 말라'는 뜻을 한 번에 전할 수 있게 된다.

오픈AI·구글·마이크로소프트·앤트로픽은 2026년 10월 30일(현지시간) 공통 정책 토큰 ‘__usage_ai-training’을 지원하겠다고 밝혔다. 지금까지는 GPT봇, 클로드봇, 구글-익스텐디드처럼 회사마다 다른 크롤러이름을 하나씩 찾아 막아야 했다. 약속은 하나지만 시행 시점은 제각각이다. 같은 두 줄이 회사마다 다르게 작동하고, 메타는 아예 빠졌다.

robots.txt는 사이트 최상위 경로에 두는 텍스트 파일로, 봇에게 어디까지 가져가도 되는지 알리는 안내문이다. 새 방식은 이 파일에 'User-Agent: __usage_ai-training'과 'Disallow: /' 두 줄을 넣는 것이다. 특정 경로만 열어 두려면 'Allow:' 줄을 더하면 된다. 기존에 모든 봇을 막던 'User-Agent: *' 규칙은 학습 거부로 인정되지 않는다. 토큰을 따로 적어야 한다.

이 토큰은 크롤러 이름이 아니라 콘텐츠 용도를 표시하는 이름표다. 접근 자체를 막는 명령도 아니다. 근거는 앤트로픽 표준 담당 케빈 켈리가 국제인터넷표준화기구(IETF) ‘AI 선호도' 작업반에 낸 개인 초안 '기계 판독 가능한 학습 선호 신호'다. 정식 표준(RFC)이 아닌 초안 단계이며, 문서 유효기간은 2027년 5월 3일까지다.

공통 토큰이 늘 최우선인 것도 아니다. 초안은 AI 기업이 자사 전용 설정을 더 구체적인 것으로 본다고 공개하면 그 설정을 먼저 따를 수 있게 했다. 사이트와 AI 기업이 따로 맺은 계약이 이 신호보다 앞설 수 있다고도 적었다.

앤트로픽은 이미 적용을 시작했다. 오픈AI는 향후 수개월 안에 반영하겠다며 범위를 기초 생성형 AI 학습으로 한정했고, 기존 GPT봇 차단 규칙도 그대로 유효하다고 밝혔다. 마이크로소프트는 2027년 2월 1일부터 크롤링 과정에서 이 신호를 따른다. 구글은 2027년 지원을 목표로 진행 상황을 따로 알리겠다고 했다.

이 신호는 검색 색인을 막지 않는다. 구분할 개념은 세 가지다. 학습은 콘텐츠를 모델의 재료로 쓰는 일, 그라운딩은 AI가 답변을 만들 때 웹 페이지를 찾아 참고하는 일, 검색은 기존 검색 결과에 노출되는 일이다.

구글은 공통 토큰으로 거부하면서 구글-익스텐디드를 따로 적지 않은 사이트를 구글-익스텐디드 차단으로 간주한다. 구글 검색 노출과 순위에는 영향이 없다. 문제는 구글-익스텐디드가 제미나이 학습뿐 아니라 제미나이 앱 등의 그라운딩에도 적용된다는 점이다. 공통 토큰만 적으면 제미나이 답변에 인용되고 클릭을 받을 기회까지 줄어들 수 있다. 구글은 구글-익스텐디드를 명시적으로 허용한 사이트는 제미나이 앱 그라운딩 대상이 된다고 설명했다.

마이크로소프트는 학습과 그라운딩을 따로 고르게 했다. 학습은 robots.txt나 페이지 단위로 정하되 페이지 설정이 우선한다. 그라운딩은 페이지 단위로만 정한다. 2027년 3월 1일 이후에는 기존 NoArchive·NoCache 태그를 학습이나 그라운딩 신호로 읽지 않는다. 이 태그를 써 온 사이트를 위해 빙 웹마스터 도구에 그라운딩 전용 임시 설정이 12월 15일 열린다. 임시 설정은 해당 페이지가 다시 수집되거나 2027년 9월 30일이 되면 효력이 끝난다.

소급 효력은 없다. robots.txt를 고쳐도 이미 수집되거나 학습에 쓰인 데이터는 지워지지 않는다. 강제력 역시 없는 자율 약속이다.

메타는 여러 업체에 한 번에 전달되는 공통 신호를 중요한 진전으로 평가했지만, 이를 따를지는 밝히지 않았다.

메타는 별도로 언론계와 갈등을 빚고 있다. 사업자 계정과 연결된 웹사이트를 크롤링할 수 있게 한 새 상업약관 때문이다. 메타는 반발이 커지자 10월 23일 시행일을 10월 30일에서 11월 20일로 미뤘다. 28일에는 업계와 충분히 협의하기 전에는 약관을 바꾸지 않겠다며, 협의가 길어지면 시행을 다시 늦추겠다고 밝혔다. 같은 날 노르웨이 오슬로 지방법원은 현지 언론사 10곳의 신청을 받아들여, 적법성을 최종 판단할 때까지 노르웨이에서 약관 시행을 금지하는 가처분 결정을 내렸다.

공통 토큰은 아직 모든 곳에서 작동하지 않는다. 당장은 기존 크롤러별 차단 규칙을 지우지 말고 새 두 줄을 함께 적는 편이 안전하다. 학습만 막을지, AI 답변 인용까지 막을지도 먼저 정해야 한다. 제미나이 인용을 유지하려면 구글-익스텐디드 허용을 따로 적어야 한다. 하위 도메인마다 robots.txt를 따로 둬야 한다는 점도 챙겨야 한다.

AI 학습 거부 의사를 밝히는 일은 회사마다 다른 크롤러를 찾아 막던 작업에서 공통 설정으로 간소화되고 있다. 다만 그 '거부'가 AI 기업의 실제 행동으로 이어지는지는 각 사가 약속한 날짜가 지나야 확인할 수 있다.