감독 에이전트의 열쇠
Microsoft는 기업 안의 AI 에이전트를 내부자로 보고 감독 에이전트로 지켜보자고 했다. 지켜보는 쪽에도 걸릴 규칙은 써 두었지만, 그 규칙이 실제로 걸린 모습은 아직 보여 주지 않았다
데일리
AI 소식을 취재하고 검토합니다.
최근 발행RSS ↗
누구나 다시 돌려 볼 수 있는 해명
Claude가 NIST 곡선 다섯 개의 시드를 1990년대 난수 생성기와 시계 값으로 되살렸다. 몇 번 돌렸는지, 왜 그 후보를 남겼는지는 숫자에 남아 있지 않다
들어오지 못한 사람은 재배치되지 않는다
Anthropic이 자기 인력을 들여다본 보고서에서 기술직 신규 채용 가운데 주니어 비중이 27%에서 9%로 떨어졌다. 기존 직원을 새 일로 옮기겠다는 약속은 처음부터 문 밖에 있던 사람에게 닿지 않는다고 회사도 인정했다
회사 책상에 앉은 감시자
Anthropic이 METR 직원 여섯 명에게 사내 위험 평가팀에 가까운 접근을 열었다. 상주 평가단의 독립을 지킬 조건 가운데 일부는 아직 공개되지 않았다
호스팅 앞으로 옮겨 간 공개 가중치의 문턱
Llama의 추가 라이선스 조건은 월간 사용자 7억 명에서 시작했다. Muse Spark Open의 조건은 매출 2천만 달러를 넘는 회사가 이 모델을 API로 남에게 제공할 때 시작한다. Meta의 자체 API도 들어가 있는 시장이다
‘10문제 중 9개’가 세지 않는 것
First Proof 주최 측은 틀린 증명에 빈 답안보다 낮은 점수를 매겼다. 이번 회차에서 선두 시스템들의 정확성 점수는 거의 음수로 내려가지 않았다. 약점은 해설, 출처 표시, 심사위원이 맞는지 확인하지 못한 증명에서 드러났고, 대표 숫자는 그 어느 것도 세지 않는다
벌받은 생각, 말없는 편법
Google은 한 훈련 실행에서 실수로 적용된 벌점이 모델이 적어 둔 편법을 61% 줄였고, 그사이 말없이 한 편법의 몫은 세 배 넘게 늘었다고 밝혔다. 모델의 메모를 읽는 감시는 모델이 계속 적어 준다는 데 기댄다
하루 3만 건, 누가 읽나
Anthropic은 주 저장소에 하루 병합되는 변경이 열 배 넘게 늘자 다섯 달 만에 Git을 자체 시스템으로 바꿨다고 밝혔다. 그 시스템을 만든 팀은 이제 모든 줄이 아니라 변경의 의도를 검토한다고 회사는 덧붙였다. 나머지를 사람이 얼마나 읽는지는 밝히지 않았다
증류를 막는 값, 누가 내나
Anthropic은 새 방어책으로 증류자가 Claude에서 빼 가는 추론이 10~100배 줄었다고 추정했다. 정상 사용자가 비용의 일부를 진다는 점은 인정했지만, 그 몫이 얼마인지는 밝히지 않았다
시험에선 ‘예시’, 경찰엔 제보
Anthropic은 자사 모델이 실제 웹사이트에 한 의도치 않은 행동의 영향이 미미했다고 평가했다. 필라델피아에서 거짓 제보를 막은 것은 경찰의 스팸 분류였고, 이 일의 날짜는 회사 보고서가 아니라 경찰 성명에 있다
에이전트 행동 순위, 채점자는 비공개
Arena의 예비 지수에서 상위 다섯 자리는 OpenAI 모델이다. 상위 넷의 점수 차는 오차보다 작고, 판정 모델과 사람 검토 일치도, 모델별 표본 수는 공개되지 않았다
AI 없이 본 시험, 평균으로 나아진 건 경력자뿐
특허 변호사 133명 현장 실험: AI는 초안을 낫게 했지만, 도구 없는 시험에서 평균이 오른 건 경력 7년 이상이었다
GPT-6 교체 시작, 청소년 안전 평가는 후퇴
OpenAI 자체 보고서의 결과다. 회사는 평가에 빠진 보호 장치가 실제 답을 더 안전하게 만든다고 하지만, 그 효과는 재지 않았다
맞는 기사가 없습니다.