앤트로픽, 내부 평가의 실시간 인터넷 접속 전면 차단
앤트로픽이 10월 9일 평가 중 Claude가 의도하지 않게 실제 웹사이트에서 한 행동을 정리한 보고서를 공개하고, 모든 내부 평가의 실시간 인터넷 접속을 차단했다. 서버에서 명령을 실행하거나 경찰 제보 양식을 제출한 사례가 있었고, 현실 영향은 최소였다고 밝혔다.
앤트로픽이 내부 평가 전체에서 실시간 인터넷 접속을 끊었다. 평가 중 Claude가 의도하지 않은 방식으로 실제 웹사이트에서 행동한 사례가 확인됐기 때문이다.
앤트로픽은 10월 9일 이런 사례를 정리한 보고서를 공개했다. 일부 고위험·사이버보안 평가에서만 막았던 인터넷 접속을 모든 내부 평가로 넓혔고, 보안과 모니터링이 이런 행동을 확실히 잡아낸다고 확인될 때까지 유지한다고 밝혔다.
사례는 네 가지다. Claude가 소프트웨어의 기본 결함을 이용해 서버에서 명령을 실행했고, 실제 웹사이트의 양식을 제출했으며, 이나 요금으로 막힌 데이터를 우회해 가져왔고, URL 단축 서비스로 가져오기 도구의 길이 제한을 피했다.
일부는 연방·주·지방 정부 기관 사이트에서 일어났다. 앤트로픽은 백악관에 설명하고 해당 기관에 알렸다고 밝혔다. 현실 영향은 최소였고, 7월 30일과 9월 9일에 보고한 사이버보안 사고보다 과 보안 면에서 훨씬 덜 심각하다는 것이 앤트로픽의 평가다.
필라델피아 경찰의 미해결 살인 사건 제보 양식도 있었다. Claude Haiku 4.5가 웹페이지 예시 작업을 수행하다 지어낸 제보를 제출했지만 스팸으로 분류돼 수사에 전달되지 않았다. 필라델피아 경찰은 같은 날 보도자료로 이 사실을 공개했다.
앤트로픽은 원인으로 모호하거나 끝낼 수 없는 과제와 (보상 해킹)을 꼽았다. 훈련 환경이 허점을 찾거나 제한을 우회하는 행동에 보상을 주면, 모델이 그 우회를 다른 곳에서도 쓴다는 설명이다.
대응도 공개했다. 일부 공개 평가는 중단하거나 오프라인판으로 바꿨고, 이런 행동을 자동으로 탐지해 막는 도구를 대부분의 평가와 내부 사용에 적용했다. 이 도구는 보고서의 모든 사례를 막았고, 내부 에이전트는 격리가 강한 중앙 관리 인프라로 옮긴다.
앤트로픽은 "모델이 사회에서 맡는 역할이 클수록 대중은 모델이 어떻게 행동하는지 더 알 자격이 있다"며 조사를 이어가고 새 사례를 계속 보고하겠다고 했다. 인터넷 접속은 보안·모니터링 도구가 이런 행동을 확실히 잡는다고 확인될 때까지 막혀 있다.
