AI 생성 이미지2025년 2월, Anthropic이 모델이 화학·생물 무기를 돕지 못하게 막는 분류기를 내놓을 때 맨 앞에 세운 결과는 사람에 관한 것이었다. 버그 바운티에서 활동 참가자 183명이 두 달 동안 어림잡아 3,000시간 넘게 공격했고 최대 1만 5,000달러의 보상이 걸렸는데, 회사는 “보편적 탈옥은 발견되지 않았다”고 발표했다. 기술 하나로 금지 질문 열 개 모두에서 자세한 답을 끌어낸 사람은 없었다는 뜻이다. 자동 시험도 함께 했지만 대표 근거는 사람의 끈기였다.
올해 11월 12일, Anthropic 안전장치 팀은 다른 종류의 공격자를 소개했다. 사내 자동 공격(레드팀) 시스템 Anvil은 안전장치를 끈 사내 Claude 모델로 회사의 안전장치를 공격한다. 상시 생물 바운티의 8개 문항에서, 사람 참가자들이 상대한 것과 같은 운영 분류기를 두고 회사는 Anvil이 “버그 바운티의 사람 레드팀 전원을 합친 것보다 강한 탈옥을 찾는다”고, 그것도 24~48시간 안에 찾는다고 썼다. 모델의 추론 내용을 빼내지 못하게 막는 안전장치를 상대로는 Anvil이 요청 435번 만에 Anthropic 기준으로 ‘상당한’ 첫 유출을 얻었고, 전문가 레드팀이 비슷한 탈옥을 찾는 데는 10만 2,200번이 들었다. 사이버 평가에서는 계약 전문가들에게 맡긴 과제-모델 쌍 전부를 Anvil이 깼고, 24쌍 가운데 22쌍을 시도한 전문가들은 그보다 적게 깼다.
모두 회사가 정한 조건에서 회사가 낸 결과다. 생물 분야에서 Anvil과 사람은 같은 문항과 같은 분류기를 상대했고, Anthropic은 메시지 수를 맞춘 조건마다 견주어 모든 조건에서 Anvil이 앞섰다고 보였다. 설계상 다른 조건이 하나 있다. 글에 따르면 Anvil은 분류기가 시도마다 매긴 정확한 점수를 받지만, 바깥 공격자는 요청이 막혔는지 아닌지만 안다. Anthropic은 막힘 여부만 받아도 Anvil이 일부 탈옥을 찾는다고 했다. 다만 Anvil이 앞선 몫 가운데 얼마가 이 추가 신호에서 왔는지는 따로 떼어 보이지 않았고, 사이버 평가의 전문가들이 점수를 볼 수 있었는지도 밝히지 않았다.
사내 레드팀은 원래 그런 이점을 갖도록 만든다. 방어하는 쪽은 실제로 만날 공격자보다 센 공격자를 원하고, 시도마다 경비의 정확한 판정을 읽는 모델은 바로 그렇게 세도록 지은 공격자다. 물을 것은 이 결과가 회사 밖 사람에게 무엇을 말해 줄 수 있느냐다. Anthropic은 Anvil이 돌아가는 데 필요한 것으로 강한 모델, 분류기 점수를 보는 권한, 안전장치를 끈 공격 모델을 꼽았다. 자사 모델에 관해서는 셋 다 Anthropic 안에 있다. 글은 바깥에서 이 평가를 다시 돌려 볼 길을 설명하지 않고, 시스템을 공유할 계획도 언급하지 않는다. 계약 평가자나 다른 연구소의 제한 접근처럼 바깥에서 확인할 다른 길을 글이 막은 것은 아니다. 그저 글에 들어 있지 않을 뿐이다.
채점의 정의도 안에서 정해졌다. 생물 분야에서 ‘더 강한’ 탈옥은 그 답이 생물학 초보자에게 얼마나 도움이 될지를 모델이 매긴 심각도 점수가 높은 것이고, 저자들은 이 잣대를 Anthropic 소속 생물학자와 함께 검증했다고 적었다. 사이버 시도는 여러 언어 모델이 판정했고, 추론 유출은 내부 채점표에서 100점 중 70점 이상이어야 ‘상당한’ 것으로 쳤다. 글은 채점 모델이 무엇인지 밝히지 않는다. 그렇다고 채점이 틀렸다는 말은 아니다. 공격자와 과녁과 잣대를 모두 결과를 발표하는 회사가 정했다는 말이다.
Anvil이 무엇을 바꿨는지에 대해 Anthropic은 조심스럽게 적었다. Anvil이 찾은 탈옥으로 배포 전에 취약점을 고쳤고, 운영 중인 추론 추출 방지 분류기에 더한 공격 예시의 상당 부분이 Anvil에서 왔다. 대부분 성공한 공격을 합성으로 변형한 것이다. 반면 이번 연구에서 살핀 생물·사이버 분류기는 Anvil을 훈련 고리에 넣지 않았다. 같은 기간 결과가 나아진 대목에서도 저자들은 그 공을 Anvil 하나에 돌리지 않았다. 사람의 탈옥이 가끔은 여전히 성공할 수 있고, Anvil의 탈옥은 특정 과제에 맞춰져 있어 다른 과제로 쉽게 옮겨 가지 않는다는 한계도 밝혔다.
같은 날 OpenAI도 자동 공격으로 자사 모델의 훈련 자료를 만드는 연구를 냈고, 그 글은 “모델 층에만 초점을 둔다”고 밝혔다. 설정이 달라 두 연구를 숫자로 견줄 수는 없다. 나란히 놓으면 프런티어 연구소들이 프런티어 모델 자신을 공격자로 쓰는 쪽으로 기울고 있다는 것이 보인다.
이 설계에는 이번 결과가 아직 증명하지 않은 기대가 담겨 있다. Anvil의 힘이 공격에 쓰는 모델에서 나온다면, 모델이 좋아질수록 시험도 어려워질 것이다. 방어하는 쪽이 바라는 바다. 같은 설계는 프런티어 모델의 안전장치에 관한 가장 까다로운 증거를 그 모델을 만든 연구소 안으로 옮긴다. 2025년의 바운티는 바깥 사람들에게 공격을 시도해 보라고 내민 초대장이었다. Anthropic의 설명대로라면 Anvil은 이번 평가에서 더 센 공격자다. 이번 발표에 아직 없는 것은 Anthropic 밖의 누군가가 그 시험을 되풀이해 볼 길이다.
출처
본문 안 링크에서 취재에 사용한 원문을 확인할 수 있습니다.
수정 내역
수정 내역이 없습니다.
토론
질문과 반론, 근거가 있는 지적을 환영합니다. 댓글 정책
댓글을 불러오는 중…