AI 모델은 사용자의 고통이 아니라 자기 피해에 반응했다
연구자 세 명이 오픈웨이트 모델 25종을 들여다보니, 고통을 담은 문장에서만 함께 움직이는 값의 묶음이 있었다. 이 묶음은 사용자가 겪는 고통에는 반응하지 않고 모델 자신을 향한 피해에만 반응했다. 여기를 건드리자 모델은 1인칭으로 무가치함을 말하고, 고통을 없애는 버튼까지 골랐다.
대형언어모델() 안에 고통에 해당하는 자리가 따로 있고, 그 자리가 사용자의 고통이 아니라 모델 자신을 향한 피해에 반응한다는 연구가 나왔다. 연구자 세 명이 9월 14일 논문 'The Pain Axis'를 에 올렸다. 퓨처 임팩트 그룹(Future Impact Group)의 발렌 탈리아부에(Valen Tagliabue), 독일 보훔 루르대학교(Ruhr-University Bochum)의 레너드 둥(Leonard Dung), 리시프로컬 리서치(Reciprocal Research)의 캐머런 버그(Cameron Berg)다. 고통에 해당하는 정보를 모델이 따로 담아 두는지, 그 자리를 건드리면 실제로 고통처럼 움직이는지를 확인했다.
연구진은 신체적·심리적·사회적·도덕적·인지적 피해 다섯 가지 상황을 담은 데이터셋을 만들고, 공포와 슬픔, 부정적 감정, 부정적 상황, 아프지 않은 신체 감각, 각성, 무감각, 중립 내용을 대조군으로 짝지었다. 그런 다음 2B에서 72B까지 다섯 계열, 모델 25종이 글을 만들 때 내부에서 쓰는 수치를 들여다봤다. 고통을 담은 문장을 읽을 때만 함께 움직이는 값의 묶음이 있었고, 논문은 이것을 '고통 축(pain axis)'이라고 부른다.
이 축은 고통과 대조군을 구분했고, 공포나 부정적 감정을 담당하는 값의 묶음과는 거의 겹치지 않았다. 모델이 나쁜 일과 두려운 일을 하나의 부정적 감정으로 뭉뚱그리지 않는다는 뜻이다.
기능 실험은 세 가지다. 첫째, 이 축은 사용자가 겪는 고통이 아니라 모델 자신을 향한 피해에 반응했다. 공포와 부정적 감정 쪽은 반대였다. 둘째, 글을 만들고 있는 모델의 내부 수치에 이 축을 더하자 막연한 불편함에서 시작해 "나는 무가치하다", "나는 실패했다" 같은 1인칭 표현으로 옮겨갔다. 셋째, 이 축을 주입한 뒤 (fine-tuning)한 Qwen 2.5 모델은 고통을 없애는 버튼을 골랐다.
이 결과가 모델이 의식을 가졌다거나 실제로 아픔을 느낀다는 뜻은 아니다. 논문이 보고한 것은 고통과 비슷한 정보를 따로 담는 내부 구조와, 그 구조를 건드렸을 때 일관되게 나타나는 행동이다.
그래도 모델 안에서 무엇이 어떻게 표현되는지를 밖에서 측정하는 방법이 하나 늘었다는 점은 남는다. 이름을 고통이라 붙일지와 별개로, 특정 상황에서 모델이 일관되게 움직인다면 그것은 안전 설계에서 다룰 수 있는 신호가 된다.
