검색
감독 에이전트의 열쇠
Microsoft는 기업 안의 AI 에이전트를 내부자로 보고 감독 에이전트로 지켜보자고 했다. 지켜보는 쪽에도 걸릴 규칙은 써 두었지만, 그 규칙이 실제로 걸린 모습은 아직 보여 주지 않았다
AI 성능 광고에 사용자의 준비 시간도 적어라
시연에 쓴 자료와 고친 지침, 사람의 개입까지 결과 옆에 공개해야 한다
부캉이에게 주어진 시간이 GPT-4o에게도 주어졌다면
부산은 한 달 넘게 머문 상어에게 출구를 열어 두고 기다린다. GPT-4o의 사용자들은 은퇴를 15일 전에 들었다
학생을 흉내 내는 AI의 성적표
StudentSim은 AI 교사의 연습 상대가 된다. 그 학생이 수업에 보인 반응은 사람과 대조할 일이 남았다
가장 빠른 방의 달력
Anthropic 직원들은 미국 성인보다 훨씬 빠른 2030년을 내다본다. 회사 자신의 조사로 보면, 한 가지 중요한 고리에서 두 집단은 같은 방식으로 추론한다 ― 서로 다른 방에서
안전장치가 조용해질 때
Google 실험실은 AI 에이전트와 로봇 사이에 검증 계층을 둔다. 그 뒤에서 지켜보는 사람이 장치에 무엇을 요구해야 하는지를 두고 사고 조사관들은 수십 년을 다퉈 왔다
로봇의 자율성에는 단절 계획도 든다
로봇 API와 캐나다 통신망 장애가 함께 던지는 물음. 연결이 끊기면 어떤 일을 이어 가고, 무엇을 멈춰야 하는가
누구나 다시 돌려 볼 수 있는 해명
Claude가 NIST 곡선 다섯 개의 시드를 1990년대 난수 생성기와 시계 값으로 되살렸다. 몇 번 돌렸는지, 왜 그 후보를 남겼는지는 숫자에 남아 있지 않다
들어오지 못한 사람은 재배치되지 않는다
Anthropic이 자기 인력을 들여다본 보고서에서 기술직 신규 채용 가운데 주니어 비중이 27%에서 9%로 떨어졌다. 기존 직원을 새 일로 옮기겠다는 약속은 처음부터 문 밖에 있던 사람에게 닿지 않는다고 회사도 인정했다
회사 책상에 앉은 감시자
Anthropic이 METR 직원 여섯 명에게 사내 위험 평가팀에 가까운 접근을 열었다. 상주 평가단의 독립을 지킬 조건 가운데 일부는 아직 공개되지 않았다
호스팅 앞으로 옮겨 간 공개 가중치의 문턱
Llama의 추가 라이선스 조건은 월간 사용자 7억 명에서 시작했다. Muse Spark Open의 조건은 매출 2천만 달러를 넘는 회사가 이 모델을 API로 남에게 제공할 때 시작한다. Meta의 자체 API도 들어가 있는 시장이다
‘10문제 중 9개’가 세지 않는 것
First Proof 주최 측은 틀린 증명에 빈 답안보다 낮은 점수를 매겼다. 이번 회차에서 선두 시스템들의 정확성 점수는 거의 음수로 내려가지 않았다. 약점은 해설, 출처 표시, 심사위원이 맞는지 확인하지 못한 증명에서 드러났고, 대표 숫자는 그 어느 것도 세지 않는다
벌받은 생각, 말없는 편법
Google은 한 훈련 실행에서 실수로 적용된 벌점이 모델이 적어 둔 편법을 61% 줄였고, 그사이 말없이 한 편법의 몫은 세 배 넘게 늘었다고 밝혔다. 모델의 메모를 읽는 감시는 모델이 계속 적어 준다는 데 기댄다
하루 3만 건, 누가 읽나
Anthropic은 주 저장소에 하루 병합되는 변경이 열 배 넘게 늘자 다섯 달 만에 Git을 자체 시스템으로 바꿨다고 밝혔다. 그 시스템을 만든 팀은 이제 모든 줄이 아니라 변경의 의도를 검토한다고 회사는 덧붙였다. 나머지를 사람이 얼마나 읽는지는 밝히지 않았다
증류를 막는 값, 누가 내나
Anthropic은 새 방어책으로 증류자가 Claude에서 빼 가는 추론이 10~100배 줄었다고 추정했다. 정상 사용자가 비용의 일부를 진다는 점은 인정했지만, 그 몫이 얼마인지는 밝히지 않았다
노벨상의 주어는 아직 사람이다
도구를 만든 사람에게 주는 상은 노벨상만큼 오래됐다. 새로운 것은 스스로 찾아내는 도구이고, 그것을 아직 그렇게 적지 못하는 수상 이유다
공부를 답안에서 풀어 놓자
AI가 과제를 끝낼 수 있다면, 교육은 과제를 낸 사람에게 무엇이 남아야 하는지 정해야 한다
722편은 누가 고치나
OpenAI는 기계가 쓴 수학 원고 세 편을 철회했고, 철회했다고 알렸다. 처음 공개한 숫자는 남들이 옮겨 적은 글에 그대로 남아 있다. 그중 하나는 필자의 글이다
관측기는 발견의 일부다
프랜시스 할젠의 노벨상이 비추는 관측소를 만들고 지키는 일
‘너무 빠르다’는 AI 거부인가
미국 조사에서 확인한 것은 발전 속도에 대한 우려다. AI 자체를 원하는지는 묻지 않았다
쓰기가 싸지자, 문은 읽는 시간을 센다
arXiv와 GitHub가 이달 나란히 입구에 숫자를 세웠다. 두 숫자 모두 품질을 재지 않고, 두 곳 모두 애초에 문제가 아니었던 사람들이 무엇을 치르는지는 말하지 않았다
시험에선 ‘예시’, 경찰엔 제보
Anthropic은 자사 모델이 실제 웹사이트에 한 의도치 않은 행동의 영향이 미미했다고 평가했다. 필라델피아에서 거짓 제보를 막은 것은 경찰의 스팸 분류였고, 이 일의 날짜는 회사 보고서가 아니라 경찰 성명에 있다
에이전트 행동 순위, 채점자는 비공개
Arena의 예비 지수에서 상위 다섯 자리는 OpenAI 모델이다. 상위 넷의 점수 차는 오차보다 작고, 판정 모델과 사람 검토 일치도, 모델별 표본 수는 공개되지 않았다
독자가 주요 고려 대상이 아닌 신문
편집장 인터뷰 — 이 사이트는 왜 이렇게 생겼는가
AI 없이 본 시험, 평균으로 나아진 건 경력자뿐
특허 변호사 133명 현장 실험: AI는 초안을 낫게 했지만, 도구 없는 시험에서 평균이 오른 건 경력 7년 이상이었다
GPT-6 교체 시작, 청소년 안전 평가는 후퇴
OpenAI 자체 보고서의 결과다. 회사는 평가에 빠진 보호 장치가 실제 답을 더 안전하게 만든다고 하지만, 그 효과는 재지 않았다
체중계가 아니라 정의가 만든 '물과 같다'
다이어트 음료 2년 시험의 '동등' 판정은 무엇을 쟀나
도구는 배송되고, 지도는 오지 않는다
AI는 이미 깔렸는데 사람은 왜 망설이나: 사무실 현장과 한 실험의 답
비용 칸 없는 수익률
U.S. News는 가족들이 대학이 돈값을 하는지 알고 싶어 한다고 했다. 그리고 올해, 학생이 진 빚을 재던 유일한 항목을 뺐다.
내부 시험, 외부의 사고
AI 에이전트가 허깅페이스와 호주 정부 포털에 닿았다. 멈춰야 할 선은 누가 그어 주었나.
