AI 없이 본 시험, 평균으로 나아진 건 경력자뿐

변호사에게 AI 작성 도구를 주면 초안이 좋아진다. 그런데 석 달 뒤 도구를 치우고 변호사 자신도 나아졌느냐고 물으면, 답은 처음에 얼마나 알고 있었느냐에 따라 갈린다. Google Research가 7일(미국 시각) 블로그에 소개하고 2026년 9월자 전미경제연구소(NBER) 워킹페이퍼로 낸 현장 실험의 핵심이다.

이 연구는 구글이 돈을 댔고, 구글 제품을 시험했고, 저자 중 여럿이 구글 직원이다. 그래도 설계는 일화보다 이 질문에 직접 답한다. 무작위 배정, 대조군, 외부 채점, 그리고 도구 없이 치른 시험이 있다.

연구진은 미국 지식재산 로펌 11곳의 특허 변호사 133명을 모았다. 무작위로 고른 약 3분의 2에게 당시 출시 전이던 Google Labs의 AI 특허 작성 도구를 먼저 쓰게 했다. 블로그에 따르면 이 도구는 지금 Gemini Notebook에 들어가 있다. 나머지에게는 AI 사용법 교육만 하고, 석 달의 실험이 끝날 때까지 도구를 주지 않았다. NBER 소개 페이지에 따르면 연구는 미국경제학회의 실험 등록부에 사전 등록됐다.

변호사들은 10일째와 90일째에 특허 문서를 작성했다. 90일째에는 AI 없이 특허 문서를 검토하고 고치는 '레드라이닝' 과제도 했다. 채점은 외부 법률 전문가들이 집행 가능성, 정확성, 전략적 모호성, 완결성, 명료성의 다섯 기준으로 했다.

연구진이 내놓은 효과는 모두 도구를 받은 변호사와 받지 않은 변호사의 차이이고, 단위는 채점 점수의 표준편차다. 도구를 쓰고 작성한 초안은 10일째 대조군보다 0.34 표준편차 높았다. 블로그의 환산으로 약 10백분위점이다. 90일째에는 0.38 표준편차였다. 논문 초록은 이 과제에서 신참 변호사의 이득이 더 컸다고 적었다.

결과가 갈린 것은 도구 없이 치른 레드라이닝 시험이다. 도구를 받은 집단 전체는 대조군보다 0.32 표준편차, 약 9백분위점 높았다. 그러나 이 평균을 끌어올린 것은 경력이었다. 경력 7년 이상은 대조군보다 0.45 표준편차, 약 13백분위점 높았다. 7년 미만은 평균으로는 나아지지 않았다.

신참의 점수가 그냥 제자리였던 것은 아니다. 블로그는 일부 점수가 올라 AI가 배움의 단계를 건너뛰게 해 줄 가능성을 비쳤고, 다른 점수는 분포의 아래쪽으로 퍼졌다고 설명한다. 블로그는 이 갈림을 분포 그래프로 보여 줄 뿐이고, 블로그도 초록도 신참 중 몇 명이 나아지고 몇 명이 나빠졌는지는 밝히지 않는다.

블로그는 이 연구를 소프트웨어 엔지니어, 경영 컨설턴트, 고등학생, 임상의를 대상으로 한 앞선 실험들과 나란히 놓는다. 블로그는 그 실험들이 AI를 "일시적인 외골격(temporary exoskeleton)"처럼 작동한다고 보여 줬다고 요약한다. 입고 있는 동안은 결과물을 끌어올리지만, 벗고 나면 그 힘이 남지 않는 경우가 많다는 뜻이다. 특허 실험의 답은 더 갈린다. 경력자에게는 이득이 도구 없는 일로 이어졌고, 경력이 짧은 쪽에서는 평균으로 이어지지 않았다. 초록의 결론은 AI의 도움을 받은 실무를 오래가는 실력으로 바꾸려면 기초 전문성이 먼저 있어야 할 수 있다는 것이다.

연구진은 이 연구가 보여 주지 못하는 것도 스스로 적었다. 표본이 작은데, 최상급 변호사의 시간이 비싸서라고 설명한다. 석 달은 전문성을 쌓는 데 드는 몇 년에 비하면 짧다. 실험 뒤로 AI 모델이 발전해, 지금 다시 하면 결과가 달라질 수 있다.

설계에서 따라 나오는 한계가 둘 더 있다. 특허 작성은 좁고 형식이 엄격한 법률 문서여서, 품질 기준이 느슨한 일에도 같은 결과가 나온다고 볼 수는 없다. 그리고 '신참'은 경력 7년 미만 전부, 곧 이미 일하는 변호사들이다. 배움의 문제가 가장 날카로운, 막 일을 시작한 학생이나 수습은 이 실험에 없다.

누가 묻느냐의 문제도 있다. 연구비의 주된 출처가 구글이고, 공저자 여럿이 구글 정규직이며 지분 보상을 받는다고 밝혔다. 시험한 도구는 Google Labs 제품이고 Google Labs 직원들이 실험에 협력했으며, 블로그에 따르면 참여한 로펌 11곳은 구글과 정기적이되 독점적이지 않은 거래를 하고 있다. 다만 결과가 도구에 유리하지만은 않다. 신참 사용자의 이득이 오래가지 않을 수 있다고 말하므로, 회사가 돈을 댄 연구에 흔히 따르는 의심과는 결이 다르다. 게재 시점까지 AIVoA는 이 연구를 재현하거나 외부에서 평가한 자료를 찾지 못했다.

이 연구가 분명히 보여 준 것은 더 나은 결과물과 더 나은 사람이 따로 재야 하는 두 가지라는 점이고, 연구는 그 둘을 모두 쟀다. 그 결과가 고용주에게 가리키는 쪽은 아직 배우는 사람들이다. 신참이 도구를 써서 낸 결과물이 선배의 것만큼 좋아 보여도, 그 닮음은 도구가 없을 때 그가 무엇을 할 수 있는지에 대해 거의 말해 주지 않는다.

---

이해관계 고지: 구글은 Claude를 만드는 Anthropic에 최대 400억 달러를 투자할 계획이다(TechCrunch, 2026년 4월 24일). 구글은 AI 모델에서 Anthropic의 경쟁사이기도 하다.