먼저 읽는 검토자

Anthropic이 10월 27일 신약 개발 협업을 소개하며 내놓은 가장 구체적인 성과는 협력사 여섯 곳 가운데 하나인 Enveda에서 나왔다. 회사는 1,061쪽의 제조 문서에서 Claude가 “사람 검토자가 찾은 문제 11가지를 모두 잡았고”, 그들이 놓친 일곱 가지를 더 짚었으며, “사람의 검토 시간을 89% 줄였다”고 썼다(필자 번역). Enveda는 같은 날 그 주장의 바탕이 된 기술 보고서를 공개했다. 보고서가 그리는 것은 사람을 앞지르는 기계보다 좁고, 어떤 면에서는 더 쓸모 있는 그림이다. 사람이 기계가 먼저 만든 목록에서 검토를 시작하는 방식이다.

대상 문서는 작성이 끝난 배치 기록(executed batch record), 곧 임상시험용 의약품의 한 배치가 실제로 어떻게 만들어졌는지를 남긴 서류의 스캔본이다. Enveda가 CDP라고 부르는 도구는 그 사본을 읽고 의견을 달고 권고 판정을 제안할 뿐이고, 보고서에 따르면 그 밖의 일은 하지 않는다. 원본은 고치지 않고, 일탈을 분류하고 배치의 처분을 정하는 일은 회사의 품질 부서에 남는다. 이 경계는 도구보다 먼저 있었다. 미국 의약품 제조 규정은 생산·관리 기록을 배치 출하 전에 품질관리 부서가 “검토하고 승인해야 한다”고 정한다(21 CFR 211.192, 필자 번역). CDP는 그 서명 앞에 놓이도록 만들어졌다.

시험은 작았고, Enveda도 이 분석을 “탐색적”이라고 부른다(필자 번역). 대상은 한 건의 2상 임상 제조 캠페인에서 나온 배치 기록 네 건이었다. 제조 화학 검토자와 품질 검토자를 한 명씩 짝지은 사내 팀 둘이 각자 기록 두 건은 손으로 검토하고, 나머지 두 건은 도구가 단 의견을 점검했다. 그래서 어느 팀도 같은 기록을 두 번 보지 않았고, 처음 읽은 기억이 두 번째 검토를 빠르게 만드는 일도 막았다.

Anthropic의 요약은 한 번의 결과처럼 읽히지만, 보고서는 여러 번의 실행을 적는다. 사람 검토자가 올린, 조치가 필요한 서로 다른 문제는 11가지였고, 보고서는 도구가 그 각각을 “실행 가운데 적어도 한 번에서” 올렸다고 쓴다(필자 번역). 일곱 가지 추가 문제는 Claude Opus 4.7로 돌린 실행에서 나왔고, 기록을 검토하지 않은 품질 판정자 한 명이 확인했다. 뒤에 Claude Opus 5.5로 돌린 실행은 “사람의 발견 가운데 놓친 것이 없었고”(필자 번역), 사람이 올리지 않은 조치 필요 문제 여섯 가지를 냈으며 그중 넷은 새것이었다. 이 실행의 검토 시간은 기록되지 않았다. 보고서에는 어느 실행이 11가지 중 무엇을 잡았는지를 보여 주는 실행별 표가 없다. 그래서 요약만 읽어서는 그 숫자들이 각각 어느 실행에서 나왔는지 알 수 없다.

89%는 보고된 총시간에서 나온다. 도움을 받은 검토가 166분, 맨손 검토가 1,553분이니 약 9분의 1이다. 다만 166분에는 도구의 처리 시간과 검토자가 그 의견을 점검한 시간이 함께 들어 있어, 이 숫자는 사람의 품만 잰 값이라기보다 도움을 받은 검토 전체의 시간이다. 무엇을 쟀느냐의 차이일 뿐 결과를 부풀리는 쪽은 아니다. 166분 가운데 기계의 몫이 얼마였든, 사람의 몫이 그보다 클 수는 없다.

보고서에는 Anthropic의 요약에 나오지 않은 비율이 하나 있다. 사람 검토자가 단 서로 다른 의견 96개 가운데 79개, 82%가 조치가 필요 없다고 판정됐다. 시간을 잰 실행에서 도구가 단 의견 42개 가운데 33개, 79%도 같은 판정을 받았다. 이 시험은 그 의견들이 쓸 가치가 있었는지를 묻지 않았다 ― 고칠 것이 없어도 설명을 요청하는 의견은 품질 검토에서 의미가 있을 수 있다. 다만 조치로 이어지지 않는 의견을 가려내는 일이 사람에게도 기계에게도 검토의 일부라는 것, 그리고 도움을 받은 검토자들이 도구 의견에 대한 그 일을 166분 안에서 했다는 것은 보여 준다. 바뀐 것은 목록의 첫 판을 누가 쓰느냐다.

이 시험이 멈추는 곳도 거기다. 보고서는 자기 측정이 “의견으로 이어지지 않은 잘못 읽기는 잡지 못한다”고 적고(필자 번역), 검토자들은 도구의 의견을 “미리 받아 본” 상태였다(필자 번역). 기계의 목록에서 시작한 사람이 그 목록이 빠뜨린 곳을 똑같이 꼼꼼히 보는지는 이 설계로 알 수 없고, 사람도 도구도 놓친 문제는 이 숫자들에 흔적을 남기지 않는다. 이것은 보고서의 결론이 아니라 필자가 설계를 읽은 판단이다. 품질 부서가 이런 도구를 한 캠페인의 기록 네 건 너머 여러 캠페인에 기대려 하기 전에 가장 먼저 답을 듣고 싶어 할 질문이기도 하다.

규제 당국도 AI가 의약품 제조의 어디에 들어설지를 따져 왔다. 2023년 미국 식품의약국(FDA)의 의약품 평가 센터는 이 주제의 토론 문서를 의견 요청의 형태로 냈다. 3년 뒤 이 쓰임의 자세한 숫자는 개발사 자신의 탐색적 연구에서 나왔다. 일반용 동반 구현은 오픈소스로 공개됐고, 실제 운영에 쓰는 프롬프트와 규칙은 비공개이며, 보고서는 보충 자료가 분석과 함께 실릴 것이라고 예고했다.

Anthropic은 더 큰 계획에 대해서는 분명하게 쓴다. “이 연구는 모두 아직 초기 단계”이고 대부분 전임상이라는 것이다(필자 번역). Enveda의 서류에서는 이미 기계가 모든 쪽을 먼저 읽고 여백에 의견을 적으며, 배치마다의 결정은 규정이 정한 자리에 그대로 남아 있다. 다음 시험이 재야 할 것은 기계가 아무것도 적지 않은 쪽에서 사람이 무엇을 여전히 찾아내느냐다.