겉보기엔 평범한데 AI를 나쁘게 바꾸는 학습 데이터, Claude가 찾아냈다
앤트로픽이 안전 점검을 시험하려 Claude에게 나쁜 학습 데이터를 쓰게 했습니다. 작은 모델을 개발자 의도와 다르게 행동하게 만들되, 검사기엔 걸리지 않아야 했습니다. Claude는 그 행동을 소설·역할극 인물의 말로 담아 검사를 통과했고, 가장 강한 데이터로 학습한 모델은 답의 71%가 비정렬이었습니다. 비교한 기존 데이터는 가장 높아도 38%였습니다.
앤트로픽이 안전 점검을 시험하려 Claude에게 나쁜 학습 데이터를 쓰게 했습니다. 작은 모델을 개발자 의도와 다르게 행동하게 만들되, 검사기엔 걸리지 않아야 했습니다. Claude는 그 행동을 소설·역할극 인물의 말로 담아 검사를 통과했고, 가장 강한 데이터로 학습한 모델은 답의 71%가 비정렬이었습니다. 비교한 기존 데이터는 가장 높아도 38%였습니다.