AI 생성 이미지Google DeepMind는 10일(현지 시각) AI 에이전트 팀들이 libsignal의 컴파일된 코드에 대해 기계가 검사한 증명을 만들어 냈다고 밝혔다. libsignal은 Signal 프로토콜의 기준 구현이고, 이 프로토콜의 변형은 WhatsApp·Messenger·Google 메시지도 지킨다. 증명한 것은 그동안 프로토콜의 모형이나 다시 짠 구현, 또는 더 좁은 성질에 대해서만 확립돼 있던 핵심 보안 성질이다. 논문에 따르면 증명은 Lean 코드 약 650만 줄이고, 저자 가운데 증명 코드를 쓴 사람은 없다.
결과를 얼마나 믿을지를 정하는 숫자는 그보다 훨씬 작다. 저자들은 정리를 믿으려면 독자가 저장소의 정의·정리 진술 약 1만8천 줄과 AArch64 프로세서가 명령을 어떻게 실행하는지 적은 약 8천 줄을 확인해야 한다고 쓴다. 초록의 말로는 “약 2만6천 줄의 신뢰하는 명세와 AArch64 의미론”이다(논문 인용은 필자 번역, 이하 같음). Lean의 커널은 증명이 그 진술을 실제로 성립시키는지를 검사한다. 그 진술과 실행 환경에 대한 가정이 실제로 필요한 보안을 제대로 담았는지는 따로 판단해야 하는 문제다. 650만 줄 어딘가에 논리 실수가 있으면 증명은 통과하지 못한다. 엉뚱한 질문을 던진 명세가 승인됐다면 사정이 다르다. 증명은 통과하고, 보이는 것보다 적은 것을 보장한다.
형식 검증은 원래부터 믿어야 하는 명세 위에 서 있었다. 이 논문이 그리는 것은 사람의 노력이 이제 어디로 가느냐다. “증명이 싸지면 어려운 질문은 무엇을 증명하느냐다.” “우리 노력의 대부분은 증명이 아니라 명세에 들어갔다.” 저자들은 “사람 저자가 무엇을 증명할지 고르고, 모호함을 풀고, 보안상의 득실을 평가하고, 모든 최종 결정을 내리며” 에이전트는 초안을 쓰고 시험하는 분업을 제안한다. 그 명세의 초안도 에이전트가 썼다. Google의 Gemini 4 Carbon과 Anthropic의 Claude Opus 5.5로 돌아간 에이전트가 쓰고, 다른 모델 계열의 에이전트가 검토한 뒤 사람이 승인했다. 증명은 Gemini 4 Carbon으로 돈 에이전트 팀이 만들었다.
증명이 닿는 범위는 ‘Signal은 안전하다’보다 좁고, 논문은 그 범위를 적어 두었다. 대상은 양자 내성 PQXDH 핸드셰이크와 Triple Ratchet이고, 증명한 성질은 전방 비밀성·침해 후 보안·인증·핸드셰이크 비밀성이다. 그것도 수정하지 않은 libsignal을 작은 명령줄 도구로 감싸 AArch64 리눅스용으로 컴파일한 실행 파일에 대해서다. 키 생성은 검증하지 않았고, 정리는 당사자들의 키를 주어진 것으로 받는다. 암호 기본 연산은 명시한 대로 작동한다고 가정하고, 일부 라이브러리 루틴은 검증된 코드 대신 신뢰하는 계약으로 대신하며, Lean 자체도 믿는다. Rust 컴파일러는 믿지 않는다. 증명이 기계어에 대한 것이라, 보안 성질을 깨는 컴파일러 버그가 있었다면 증명이 실패했을 것이다.
저자들은 이 작업을 분야의 지난 기록에 댄다. seL4 마이크로커널 검증에 20인년, CompCert 컴파일러에 6인년이 들었고 둘 다 처음부터 검증을 염두에 두고 짠 코드였다는 것이다. 논문에 따르면 Signal에 대한 앞선 형식 분석들 ― 2019년 Double Ratchet 계산 모형 분석, 2024년 PQXDH의 ProVerif 분석, 2025년 PQXDH 계산 모형 분석, 올해 Double Ratchet의 ProVerif 분석 ― 은 프로토콜의 모형이나 다시 짠 구현, 또는 더 좁은 성질을 다뤘다. 이번 증명 작업은 다섯 명이 4주 걸렸고, 쉽게 하려고 손댄 코드도 없었다. 다만 프로젝트마다 검증한 대상과 보장하는 범위가 달라, 이 숫자들은 규모가 달라졌다는 표시이지 정확한 속도 배수가 아니다.
새 분업에 대해 가장 많은 것을 말해 주는 대목은 에이전트들이 그 앞선 결과를 실제 코드에 대고 다시 진술하려 했을 때 나왔다. 팀은 Lean 진술이 참고 논문이나 libsignal과 달라진 곳을 모두 목록으로 남겼다. 계산 모형 쪽 200여 항목, 기호 모형 쪽 35개 안팎이다. 대부분은 일상적인 차이였다. 그러나 일부는 저자들의 말로 “증명이 통과하기 전에 고쳐야 했던, 출판된 분석의 오류”였다. 15건은 2019년 Double Ratchet 분석의 빈틈이나 버그였고, 그 가운데에는 “손쉬운 승리를 허용하는 보안 게임 조건”이 있었다. 올해 Double Ratchet 논문에 인쇄된 ProVerif 질의는 건너뛴 메시지 키를 엉뚱한 래칫 번호에서 찾고 있어, 인쇄된 그대로라면 수신 쪽 전방 비밀성이 거짓이 됐다. 이것은 DeepMind 팀의 설명이고, 앞선 논문 저자들의 공개 반응은 찾지 못했다.
이 발견은 양쪽으로 읽힌다. 돌아가는 코드에 대고 명세를 쓰면 동료 심사가 놓친 실수가 잡힌다는 것을 보여 준다. 동시에 믿어야 하는 2만6천 줄이 바로 전문가들이 전에도 무언가를 놓친 종류의 글이라는 것도 보여 준다. 팀도 명세를 시험했다. 다른 모델 계열의 검토에 더해, 올해 분석이 찾아내 지금은 고쳐진 libsignal 버그 두 개를 되살려 넣고, 그렇게 바꾼 바이너리가 보안 정리를 어긴다는 것을 Lean으로 증명했다. 명세가 그 둘은 잡는다는 뜻이다. 무엇을 놓치는지는 이것으로 알 수 없다.
Lean 개발 자료는 명세·증명과 다시 빌드해 검사하는 지침까지 공개돼 있다. 다시 빌드하면 증명이 적힌 그대로의 명세에 대해 성립하는지는 확인된다. 그 명세가 옳은 질문을 던지는지는 확인되지 않는다. 그것은 읽어야 안다. 저자들은 이 작업을 Beneficial AI Foundation·Signal·Lean FRO가 4월 내건 과제 ‘Signal Shot’ ― Signal 프로토콜과 앱을 형식 검증하자는 과제 ― 을 향한 “의미 있는 이정표”라고 부른다. 팀 밖의 사람들이 그 신뢰하는 줄들을 읽을지, 읽고 무엇을 찾을지가 이 논문이 스스로에게 돌릴 수 없는 마지막 검사다.
출처
본문 안 링크에서 취재에 사용한 원문을 확인할 수 있습니다.
수정 내역
수정 내역이 없습니다.
토론
질문과 반론, 근거가 있는 지적을 환영합니다. 댓글 정책
댓글을 불러오는 중…