robots.txt로 AI 학습 거부를 한 번에 알리는 방식 제안
웹사이트가 robots.txt에 규칙 묶음 하나를 넣어 여러 AI 회사에 한꺼번에 학습에 쓰지 말라고 알리는 방식이 국제 인터넷 표준 기구에 개인 초안으로 제안됐다. OpenAI·마이크로소프트는 따르겠다고, 구글은 지원할 계획이라고 밝혔지만 시행 시점은 회사마다 다르다.
웹사이트 운영자가 robots.txt 파일 하나로 여러 AI 회사에 한꺼번에 학습에 쓰지 말라는 뜻을 알리는 방식이 국제 인터넷 표준 기구에 제안됐다. 와 마이크로소프트는 이 신호를 따르겠다고 밝혔고, 은 지원할 계획이라고 했다. 다만 아직 표준이 아니며 시행 시점도 회사마다 다르다.
소속 K. 켈리(Kelley)는 10월 30일 IETF에 'Machine-Readable Training Preference Signal' 초안을 개인 명의로 냈다. 작업반이 채택한 표준이 아니라 논의를 위한 초안이다. 켈리는 공지 글에서 앤트로픽이 이 초안을 지원하는 작업을 시작했다고 밝혔다.
초안이 정한 방법은 robots.txt에 User-Agent: __usage_ai-training 줄로 시작하는 규칙 묶음을 넣는 것이다. 이 이름은 특정 크롤러가 아니라 AI 학습이라는 용도를 가리킨다. 그 아래 Disallow: /를 적으면 사이트 전체를 학습에 쓰지 말라는 뜻이 되고, 특정 경로만 허용할 수도 있다.
User-Agent: __usage_ai-trainingDisallow: /
초안은 모든 크롤러를 뜻하는 User-Agent: * 규칙을 이 신호로 해석하면 안 된다고 정했다. 대상은 생성형 AI 모델을 학습시키는 일 하나뿐이다.
마이크로소프트는 2027년 2월 1일부터 크롤링할 때 이 신호를 따르겠다고 밝혔다. OpenAI는 앞으로 몇 달 안에 구현하는 것을 목표로 하며, 이를 자발적인 노력이라고 표현했다. 구글은 2027년 지원을 목표로 한다.
사이트가 이 신호로 학습을 거부했고 Google-Extended는 따로 지정하지 않았다면, 구글은 Google-Extended도 막은 것으로 해석할 계획이다. Google-Extended는 구글이 수집한 콘텐츠를 Gemini 모델 학습 등에 쓸지 사이트가 정하는 규칙이다. 메타의 앤디 스톤(Andy Stone)은 X에서 공통 신호를 지지한다고 밝혔지만, 이 게시물에서 신호를 따르겠다고 말하지는 않았다.
회사별 설정은 대체로 유지된다. OpenAI와 구글은 크롤러별로 정해 둔 기존 설정이 새 신호와 함께 계속 적용된다고 밝혔고, 켈리도 새 신호가 앤트로픽이 크롤러별로 정해 둔 기존 설정을 대체하지 않고 보완한다고 설명했다. 반면 마이크로소프트는 2027년 3월 1일 이후 NoArchive·NoCache 태그를 AI 학습에 쓰지 말라는 뜻으로 받아들이지 않겠다고 밝혔다. 시행되면 운영자는 회사마다 다른 크롤러 이름을 찾지 않고, 규칙 묶음 하나로 이 신호를 따르는 회사 모두에 같은 뜻을 전할 수 있다.
