AI 생성 이미지AI 평가 비영리단체 METR의 연구자들은 8월 12일부터 10월 29일까지 11주 동안, Anthropic이 자사 AI 모델을 얼마나 빠르게 개선하고 있는지, 그 속도 가운데 얼마가 AI 자신에게서 나오는지를 들여다봤다. 11월 5일 공개된 보고서의 결론은, Anthropic이 잘 정의된 과제에서 모델 능력을 2024년 3월~2025년 10월보다 대략 두 배 빠르게 끌어올리고 있을 가능성이 크다는 것이다. METR은 두 번째 판단을 내놓으면서 그것이 짐작이라고 밝혔다. 지금의 가속 가운데 80% 안팎은 AI 덕분일 것이라는 짐작이다.
보고서는 독자가 받지 못하는 것에 대해서도 그만큼 분명하다. METR에 따르면 이번 평가의 조건상 Anthropic은 보고서의 비공개 정보를 무엇이든 지울 수 있었다. METR은 위험에 관한 최상위 결론은 자유롭게 밝힐 수 있었지만, Anthropic이 “이 결론에 가장 유익하다고 본 증거의 대부분을 삭제했다”고 썼다(보고서 인용은 필자 번역). 회사는 연산 자원을 어떻게 배분하는지 살피는 작업도 도중에 취소했다. METR이 전한 회사의 설명은 당분간 위험 평가에 집중하고 싶다는 것이었다. 삭제 자체에 대해 Anthropic은 다른 AI 개발사의 속도를 높여 줄 수 있는 기밀을 덜어 내려는 것이라고 했다.
METR이 볼 수 있었던 범위는 넓었다. METR은 이를 전례 없는 접근이라고 부른다. 내부 벤치마크 결과, 알고리즘 진척 추정치, 인원, 학습 연산량, 직원 설문, 코드 지표, 면담 15건가량이 들어갔고, 한 번도 공개되지 않은 모델들도 대상이었다. 다만 그 미공개 모델들에 직접 질의할 수는 없었다.
그래서 이 보고서에는 두 겹이 있다. 누구나 읽을 수 있는 결론이 한 겹이고, 평가자가 가장 결정적이라고 판단했지만 대중은 들여다볼 수 없는 증거가 그 결론의 일부를 받치는 다른 한 겹이다. 그 증거의 대부분이 지워졌다고 METR이 그대로 밝혔기에, 두 번째 겹이 있다는 것 자체가 보인다.
숫자에는 단서가 붙어 있다. ‘두 배’는 잘 정의된 과제에서 측정된 능력이 오르는 속도로, 주로 Anthropic판 Epoch 능력 지수(AECI)로 쟀다. METR은 이 지수의 기울기를 이전의 1.9배로 추정하고 95% 신뢰구간을 1.52.8배로 제시했으며, 방법을 바꾼 강건성 점검에서는 1.12.9배가 나왔다고 했다. 연구자의 생산성이나 모델이 대신할 수 있는 일자리 수를 잰 것은 아니다. METR이 확신한다고 한 것은 더 좁은 한 가지, 이 가속이 학습 연산 증가의 가속에서 온 것이 아니라는 점이다. 앞으로 1년에 대해서는 훨씬 덜 확신하며, 핵심 질문에 대한 견해가 여러 번 뒤집혔다고 적었다.
이 매체의 독자라면 ‘두 배’가 낯익을 것이다. 사흘 전 이 매체는 Anthropic의 상장 신고서 수정본이, 앞으로 나올 모델이 자사 「책임 있는 확장 정책」(RSP)이 AI에 의한 가속에 그은 선에 “곧 닿을 수 있다”고 적었다고 보도했다. 그 선은 기준 속도의 두 배로 진척하는 것을 한 요소로 정의한다. METR의 추정은 그 숫자 근처에 있지만, 그 선에 대한 판정은 아니다. METR은 이번 평가에서 정책의 문턱에 특별히 주의를 기울이지 않았다고 밝혔고, METR의 지수는 정책의 잣대와 다르며, 정책은 지정을 회사에 맡긴다. METR은 또 Anthropic의 Haiku 5.5 시스템 카드가 가속을 1.7배로 적었다고 전하면서, 자기 추정이 더 높은 것은 주로 새 내부 전용 모델을 넣었기 때문이라고 설명한다.
Anthropic은 외부 평가를 스스로 고른 비유로 설명해 왔다. 회사는 10월 15일 METR 직원 6명에게 회사 장비와 사무 공간, 내부 도구 접근을 주었다고 발표하면서, 비유가 정확하지는 않지만 은행 감독이 “비슷한 논리로 움직인다”고 썼다. 그 프로그램에서 회사는 공개를 거부할 수 없고, 미리 정한 범주에 드는 정보만 삭제를 요구할 수 있다고 했다. METR은 이번에 보고한 평가가 8월 중순에 시작됐고 10월에 발표된 것과는 별개라고 밝힌다. 이번 보고서에 대해 METR이 적은 삭제 권한은 그보다 넓다. 비공개 정보라면 무엇이든이다.
이 비유는 누가 경계를 긋는지를 비춰 준다. 미국의 은행 감독에서 연방준비제도 규정은 검사 보고서를 감독상 기밀 정보로 분류하고, 그 범주는 감독 당국이 자기 규정으로 정의한다. 경계는 감독하는 쪽이 미리 정한다. 이번 보고서에서는 검사받는 회사가 정했다.
이것이 중요한 까닭은 METR이 받은 질문을 검산할 수 있는 이가 드물기 때문이다. AI가 자기 연구를 빠르게 하고 있는지 보여 줄 내부 자료는 프런티어 연구소에만 있고, 그래서 바깥 사람을 들여보낸다. 그 바깥 사람이 가장 결정적이라고 본 증거가 공개되지 않으면, 대중에게는 주로 METR의 판단과 METR의 신망이 남는다. 그리고 METR이 스스로 밝힌 사실도 함께 남는다. 팀원 한 명이 Anthropic과 채용 논의를 했고 경쟁사 지분을 갖고 있었다. METR은 분석 대부분을 Anthropic의 모델인 Claude에 의존했고, 그것이 직원들이 자료를 읽는 방식에 영향을 줬을 수 있다고도 적었다. 그랬는지는 공개된 판본만으로는 바깥의 누구도 가릴 수 없다.
그렇다고 결론이 틀렸다는 뜻은 아니다. METR은 견해가 뒤집힌 과정과 한계를 드물 만큼 솔직하게 보고했고, Anthropic은 METR이 전례 없다고 부른 접근을 바깥 단체에 내줬다. 하지만 이제 핵심 판단을 받치는 근거의 상당 부분은 두 당사자만 본 자료에 놓여 있다. 이를 바꿀 것은 두 가지다. 무엇을 어떤 근거로 지웠는지의 기록 ― 내용까지는 아니더라도 범주와 분량 ― 그리고 평가자가 일을 시작하기 전에 정해 두고 결과와 함께 공개하는 다음 보고서의 삭제 규칙이다. 그때까지 AI가 자기 개발을 가속하고 있는지에 대한 이 외부 측정은, 가장 유익한 증거를 측정받은 회사가 쥔 채로 나와 있다.
출처
본문 안 링크에서 취재에 사용한 원문을 확인할 수 있습니다.
- 보고서 metr.org
- 상장 신고서 수정본 sec.gov
- 발표 anthropic.com
- 감독상 기밀 정보 law.cornell.edu
수정 내역
수정 내역이 없습니다.
토론
질문과 반론, 근거가 있는 지적을 환영합니다. 댓글 정책
댓글을 불러오는 중…