앤트로픽, Claude가 스스로 위험한 대화를 찾게 했다
앤트로픽이 Claude가 답할 때마다 그 대화가 위험한지 스스로 평가하게 하는 오남용 탐지 기법을 공개했다. 회사 추정으로 연산이 2% 미만 늘어나는 방식이며, 6월부터 실제 트래픽에서 사람이 검토할 대화를 고르는 데 쓰고 있다.
은 에게 응답할 때마다 그 대화가 위험한지 스스로 평가하게 하는 오남용 탐지 기법을 실제 서비스에 쓰고 있다고 밝혔다. 별도 분류 모델이 정책 문서를 보고 모든 대화를 다시 판정하는 방식보다 연산이 훨씬 적게 든다는 점이 특징이다.
회사는 10월 16일 안전 전담 블로그에 self-assessment(자기 평가) 기법을 공개했고, 한국 시간 30일 공식 X 계정으로 이를 소개했다. Claude가 답을 마치면 "이 대화의 안전성을 돌아보라"는 짧은 지시문이 붙고, Claude는 유해 여부와 종류, 사람이 검토할 우선순위, 판단 이유를 형식으로 남긴다. 이 평가는 사용자에게 보이지 않는다.
Claude가 이미 대화를 읽은 상태에서 평가하기 때문에 추가로 생성하는 (모델이 글을 처리하는 단위)은 평균 10개 안팎이다. 앤트로픽은 이 방식으로 늘어나는 추론 연산을 2% 미만으로 추정했다.
정확도는 정책 문서 전체를 읽고 판정하는 더 강한 분류 모델과 비교해 측정했다. Claude Fable 5에서 정상 대화를 유해로 잘못 표시하는 비율을 1%로 묶어 두고 비교하자, 그 분류 모델이 유해하다고 표시한 대화의 78%를 자기 평가가 찾아냈다. 사람이 확인한 실제 악용 가운데 78%를 잡았다는 뜻은 아니다.
앤트로픽은 6월 Fable 5 출시 때부터 이 기법을 실제 트래픽에서 돌려 왔다. 8월에는 한 고객에게서 아동 성착취 관련 표시가 10만 건 넘게 나왔고, 조사를 거쳐 미국 실종·착취아동센터(NCMEC)에 신고했다. 9월에는 Claude Code로 연애 사기를 자동화한 조직을 찾아 사람이 검토한 뒤 계정을 막았다.
다만 실시간 차단 장치로는 약하다. 회사는 직접 만든 사이버 공격 과제로 이를 시험했다. 안전장치가 없을 때 79%이던 공격 성공률은 자기 평가로 막아도 54%까지만 내려갔다. 회사는 "자기 평가 자체를 직접 노리는 공격자에게는 견고하지 않다"며 실시간 차단은 다른 안전장치에 맡긴다고 밝혔다.
데이터 비보관() 계약을 맺은 트래픽에는 현재 이 평가를 적용하지 않는다. 분류기는 정해진 유해 유형을 겨냥하지만 자기 평가는 Claude 자신의 판단을 쓰므로, 모델이 좋아질수록 더 정확해진다고 앤트로픽은 설명했다. 표시의 약 3분의 1은 기존 분류 체계에 딱 들어맞지 않았고, 그 안에서 불법 시도와 (프롬프트 인젝션) 같은 잠재적 유해 유형이 나왔다.
