공통의 거절은 새 줄로만

웹 콘텐츠로 AI 모델을 학습시키는 큰 회사 셋이 10월 30일, 웹사이트의 robots.txt 파일에 적힌 같은 두 줄을 존중하겠다고 밝혔다.

User-Agent: __usage_ai-training
Disallow: /

이 이름 아래 적은 묶음은 AI 학습에 반대한다는 뜻이 된다. 일부 경로는 Allow로 예외를 둘 수 있다. Google은 다른 AI 사업자들과 함께 2027년에 이 제어를 지원하는 것이 목표라고 했고, 크롤러 문서에는 2027년 초로 적었다. Microsoft Bing 팀은 2027년 2월 1일부터 크롤러가 페이지를 다시 방문하는 대로 새 선호를 적용하겠다고 했다. OpenAI는 이 신호를 “앞으로 몇 달 안에(in the coming months)” 구현하겠다며 이를 “자발적인 노력(voluntary effort)”이라고 불렀다.

이 항목을 정의한 것은 같은 날 올라온 인터넷 초안(Internet-Draft)이다. 저자 Kevin Kelley의 소속은 Anthropic으로 적혀 있다. 개인 제출 문서라, 국제인터넷표준화기구(IETF)가 채택하지 않았고 공식 지위도 없으며 갱신하지 않으면 2027년 5월에 만료된다. 학습의 정의는 IETF AI 선호(AI Preferences) 작업반의 것을 빌렸다. 콘텐츠를 써서 생성형 모델의 학습된 매개변수를 바꾸는 일이다. 필자는 Anthropic이 자기 시행 날짜를 밝힌 회사 발표를 찾지 못했다. 2026년 4월 7일 자로 된 이 회사의 크롤러 안내 문서는 회사 전용 ClaudeBot 차단만 설명한다.

회사들이 내놓은 것은 여러 갈래였던 말을 하나로 묶는 어휘다. 2023년 가을 Google이 Google-Extended를 내놓고 Microsoft가 페이지 태그 NOARCHIVE·NOCACHE에 새 뜻을 붙인 뒤로, 자기 페이지를 모델 학습에서 빼려는 사이트는 회사마다 다른 낱말을 익혀야 했다. OpenAI의 문서는 “GPTBot을 막으면 그 사이트의 콘텐츠를 생성형 AI 기반 모델 학습에 쓰지 말라는 뜻”(필자 번역)이라고 적고, Anthropic은 ClaudeBot을 막으라고 안내한다. Microsoft의 2023년 규칙은 더 잘게 나뉘었다. NOARCHIVE는 콘텐츠를 기반 모델 학습에서 뺐고, NOCACHE는 주소·제목·발췌문만 쓰게 했다. 이름 하나를 놓친 사이트는 그 회사에 아무 말도 하지 않은 셈이었다. 회사들이 약속을 지킨다면 공통 항목 하나가 그 틈을 메운다.

초안은 무엇을 뜻의 표명으로 볼지 분명히 정했다. 모든 봇을 한꺼번에 부르는 와일드카드 묶음(User-Agent: *)은 새 항목과 일치하는 것으로 읽어서는 안 되고, __usage_ai-training을 적은 묶음이 하나도 없으면 “선호가 표명되지 않은 것”(필자 번역)이다. 모든 로봇을 막는 일괄 차단은 예전처럼 크롤러에 대한 지시로 남는다. 초안은 크롤러 규칙을 건드리지 않으며, 이 토큰은 “크롤링 행동에 대한 지시가 아니다”(필자 번역). 하지만 몇 해 전 모든 봇을 막으려고 와일드카드 Disallow 하나만 적어 둔 사이트는, 이 체계 안에서는 학습에 대해 아무 말도 하지 않은 것이 된다. 크롤러를 들이지 않는 것과 학습을 거절하는 것은 이제 따로 해야 하는 두 개의 말이고, 새 항목이 받아 주는 것은 뒤의 말뿐이다.

그 차이가 얼마나 무거운지는 회사마다 다르다. Google은 “기존의 회사별 제어는 이 새 공동 신호와 함께 계속 작동한다”(필자 번역)고 했고, 사이트가 공통 항목을 쓰면서 Google-Extended를 따로 적지 않으면 Google-Extended를 막은 것으로 보겠다고 했다. OpenAI는 “기존 크롤러 제어는 계속 적용되고 존중된다”(필자 번역)고 썼다. Microsoft는 한 걸음 더 나간다. 2027년 3월 1일 이후로는, 그리고 크롤러가 새 선호를 먼저 찾은 페이지에서는 그보다 일찍, NOARCHIVE·NOCACHE를 학습이나 그라운딩(grounding)에 대한 선호로 읽지 않는다. 그라운딩은 페이지 내용을 생성형 답변에 넣어 쓰는 일을 가리키는 Microsoft의 말로, 이제 학습과 따로 고르는 항목이 됐다. Bing 글은 “적용할 선호가 게시되지 않으면 둘 다 허용(Allow)이 기본값”(필자 번역)이라고 적었다. NOARCHIVE에 기대어 Microsoft의 모델 학습에서 빠져 있던 사이트가 그 상태를 지키려면 새 선호를 적어야 한다. Microsoft는 12월에 웹마스터 도구에서 그라운딩용 임시 설정을 열 계획이지만, 학습용 임시 설정은 밝힌 것이 없다.

이 초안이 올라탄 파일은 처음부터 강제보다 합의로 돌아갔다. 2022년 9월에 나온 RFC 9309는 Martijn Koster가 1994년에 제안한 방법을 명세하고 확장한 표준인데, “이 규칙은 접근 권한 부여의 한 형태가 아니다”(필자 번역)라고 못 박았다. 새 초안도 그 성격을 이어받는다. 우선순위 절은 사적 계약이 이 방식으로 밝힌 선호보다 앞설 수 있다고 적었다. 바뀐 것은 이 파일에 던지는 질문이다. 1994년에 이 파일은 크롤러에게 어디로 걷지 말라고 알렸다. 2023년부터 회사들은 이 파일을 자기 페이지 태그와 함께, 회사 이름 하나씩, 페이지를 가져간 뒤 무엇을 해도 되는지에 대한 말로 읽기 시작했다. 공통 항목은 한 문장으로 그 모두에게 말하게 하고, 초안은 옛 질문에 쓴 문장이 새 질문의 답이 되지 않는다고 정했다.

그렇게 정한 데는 이유가 있다. 10년 전 작은 서버를 거친 봇들로부터 지키려고 적은 와일드카드 차단은 생성형 모델을 두고 한 말이 아니었다. 당시 그런 모델을 염두에 둔 사이트 운영자는 드물었다. 그것을 학습 거절로 읽으면 운영자가 하지 않은 말을 대신 해 주는 셈이 된다. 초안은 사이트의 속뜻을 짐작하지 않으려 조심한다. 또 수집하는 순간에서 멈춘다. 적용되는 선호는 “자산을 가져온 때에 유효한”(필자 번역) 파일에 적힌 것이다. 이미 모아 간 페이지나 그것으로 이미 학습된 모델이 어떻게 되는지는 초안이 다루지 않고, 필자는 세 회사의 이번 발표에서도 그 방침을 찾지 못했다.

속뜻을 조심스럽게 다루는 것은 미덕이다. 다만 여기서는 그 조심이 한쪽을 향한다. 새 어휘로 아무 말도 하지 않은 사이트는 초안에 따르면 선호를 밝히지 않은 것이고, Microsoft에서는 그 침묵이 허용으로 적힌다. 학습되는 모델 쪽에서 보면, ‘싫다’와 ‘아무 말 없음’의 차이는 어떤 페이지가 학습 자료의 후보로 남을 수 있느냐를 가를 수 있다. 그 틈을 메우는 수고는 사이트를 운영하는 쪽이 진다. 이미 거절했다고 믿은 이들 가운데 일부도 거기에 들어간다. 큰 언론사는 3월 1일 시한을 알리는 Bing 블로그 글을 읽을 것이다. 취미 동호회 게시판, 지역 박물관, 은퇴한 교사가 모아 둔 수업 자료 사이트는 아마 읽지 못할 것이다.

회사들은 실재하는 불만, 곧 이름은 너무 많고 공통의 말은 없다는 불만에 답했다. 그 답이 공정했는지는 2027년에, 발표가 아직 다루지 않은 두 곳에서 드러날 것이다. 새 항목을 적은 사이트가 얼마나 되는지 어느 회사든 밝히는가, 그리고 그것을 적은 사이트가 자기 뜻이 지켜졌는지 확인할 길이 있는가.