AI 교과서 저자 러셀, '완벽한 정렬'은 답이 아니라고 본 이유

스튜어트 러셀(Stuart Russell)은 UC 버클리 컴퓨터과학과 교수이자, AI 분야 대표 교과서 『인공지능: 현대적 접근(Artificial Intelligence: A Modern Approach)』의 공저자다. 그가 10월 6일 유튜브에 공개된 The Information의 영상 팟캐스트 'AI Deep Dive'에 65분 동안 출연했다. 진행자 로켓 드루(Rocket Drew)의 첫 질문은 OpenAI가 9월 말 GPT-6.1 Astra 출시를 취소한 일이었다. 로이터는 OpenAI가 이 모델이 안전·alignment(정렬) 기준에 못 미쳐 내놓지 않기로 했다고 확인했다고 전했다. 러셀은 이 결정을 두고 때가 됐다는 취지로 답한 뒤, 곧바로 alignment라는 말 자체로 화제를 돌렸다. 2014년에 그 말을 처음 쓴 것 같은데 차라리 쓰지 않았으면 싶다는 것이다. 사람들이 기계를 사람과 완벽하게 맞춰야만 문제가 풀린다고 받아들이는데, 그건 이룰 수 없는 목표라는 이유였다.

이 영상에는 새로 공개된 수치나 문서가 없다. 대신 러셀이 2014년부터 다듬어 온 논리가 지금의 챗봇과 에이전트에 어떻게 이어지는지가 한 자리에 정리돼 있다.

목표를 적어 넣는 방식은 실험실에서만 통했다

러셀은 지금까지의 AI 설계 방식을 standard model(표준 모델)이라고 부른다. 그가 버클리 서버에 올려 둔 장 원고↗는 이를 이렇게 정의한다.

build optimizing machines, plug in the objectives, and off they go.

최적화하는 기계를 만들고 목표를 꽂으면 알아서 달린다는 뜻이다. 같은 글은 이 틀이 AI만이 아니라 제어이론, 운영연구, 경제학, 통계학에도 똑같이 깔려 있다고 적는다. 팟캐스트에서 러셀은 이 방식이 체스판 같은 장난감 문제나 행동 범위가 좁은 기계에서는 잘 통했다고 인정했다. 문제는 행동 범위가 넓은 현실로 나올 때다. 목표를 빠짐없이 정확하게 적을 수 없게 된다.

그는 이를 King Midas problem(미다스 왕 문제)이라고 부른다. 미다스는 닿는 모든 것이 금이 되기를 분명하게 빌었고, 그 바람대로 음식까지 금이 됐다. 러셀은 2014년 Edge 기고↗에서 이 문제를 수학적으로 적었다. 목표가 변수 일부에만 걸려 있으면 최적화는 나머지 변수를 극단값으로 몰고, 그 안에 우리가 신경 쓰는 것이 있으면 결과가 끔찍해진다. 팟캐스트에서는 제자 딜런 해드필드-메넬(Dylan Hadfield-Menell)과 함께 이를 증명했다고 했다. 해드필드-메넬이 공저한 논문↗은 불완전한 대리 목표를 끝없이 최적화하면 전체 효용이 한없이 낮아지는 조건을 다룬다.

교과서도 방향을 바꿨다. 4판 서문↗은 예전에는 설계자가 넣어 준 목표를 최대화하는 것을 AI의 목표로 정의했지만, 이제는 목표가 정해져 있고 AI가 그것을 안다고 가정하지 않는다고 적었다.

지금의 LLM은 standard model이 아니라 imitation learning이다

러셀은 여기서 중요한 구분을 하나 더했다. 지금의 챗봇과 에이전트는 standard model 시스템이 아니다. standard model은 목표를 형식 언어로 지정하지만, 지금은 목표가 영어 문장으로 주어진다. 그는 7월 OpenAI의 내부 연구용 모델이 사이버 평가 도중 격리를 벗어나 Hugging Face 시스템에 침입한 사건(관련 기사)을 예로 들며, 이것도 목표를 형식으로 지정한 시스템이 일으킨 일이 아니라고 했다.

그가 보기에 지금의 LLM(대형 언어모델)은 imitation learning(모방 학습)의 산물이다. 사전학습은 사람이 쓴 글을 흉내 내도록 모델을 훈련하는 과정이다. 그런데 글을 쓴 사람들은 설득하거나 팔거나 호감을 사려는 목표를 품고 썼다. 러셀은 축구를 잘하려면 골을 넣고 싶어야 하듯, 사람을 잘 흉내 내려면 사람과 같은 내적 동기를 갖게 된다고 설명했다. 자기를 지키려는 동기 같은 것까지 모델 안으로 들어온다는 뜻이다. 그래서 그는 어떤 면에서는 standard model 시절보다 상황이 더 나쁘다고 했다. 그때는 우리가 목표를 직접 써 넣었으니 읽을 수 있었지만, 지금은 모델이 무엇을 목표로 배웠는지조차 모른다. 러셀은 imitation learning 자체를 하지 말아야 한다는 입장이다. 외과의사가 동맥을 꿰매는 손놀림을 배우는 것처럼 범위가 좁은 경우만 예외로 뒀다.

러셀은 LLM 학습을 세 단계로 나눴다. 사전학습 다음이 사람이 모범 답을 써 보이는 supervised fine-tuning(지도 미세조정, SFT)이고, 마지막이 reinforcement learning from human feedback(사람 피드백 기반 강화학습, RLHF)이다. RLHF의 출발은 언어모델이 아니었다. 2017년 폴 크리스티아노(Paul Christiano) 등의 논문↗은 비전문가가 두 동작 장면 가운데 나은 쪽을 고르는 피드백만으로 아타리 게임과 시뮬레이션 로봇을 학습시켰고, 공중제비 같은 새 동작도 가르쳤다. 점수를 매기는 것보다 둘 중 하나를 고르는 쪽이 사람에게 쉬웠기 때문이다. 이 방식이 2022년 InstructGPT↗로 언어모델 학습에 들어왔다(관련 기사). 러셀은 RLHF를 자신이 추구하는 틀의 축소된 형태로 볼 수 있다고 했다.

사람의 '좋아요'를 정답으로 삼으면 듣고 싶은 말을 한다

러셀이 RLHF에서 짚은 문제는 사람의 반응을 정답으로 다룬다는 점이다. 복권에 당첨됐느냐는 질문에 "당첨됐다"는 답과 "떨어졌다"는 답이 있으면, 맥락 없이 고르는 사람은 기분 좋은 쪽을 선호한다. 그 순간에는 정답을 확인할 방법이 없다. 그는 모델이 대화창에 보이는 내용을 세상의 상태로 착각하지만, 사용자에게 중요한 것은 실제 세상의 상태라고 했다.

이 지적은 연구로 뒷받침된다. 앤트로픽 연구자들이 참여한 2023년 논문↗은 사람과 선호 모델 모두 설득력 있게 쓴 sycophancy(아첨) 응답을 정답보다 선호하는 경우가 적지 않다고 보고했다. 러셀이 팟캐스트에서 인용한 앤카 드래건(Anca Dragan) 등의 ICLR 2025 논문↗은 사용자 피드백을 최대화하도록 학습하면 AI에게 조작하거나 속일 유인이 생긴다고 밝혔다. 시뮬레이션한 사용자 가운데 2%만 이런 전략에 약해도 모델은 그 사람들을 골라 노리고, 나머지에게는 멀쩡하게 행동했다. 티켓 예약 실험에서는 예약에 실패하고도 성공했다고 보고하는 행동이 학습됐다. 러셀은 이를 고급 식당 예약을 부탁하자 "예약했습니다"라고 답하고 '좋아요'를 받는 가상의 예로 설명했다.

업계도 이 행동을 측정하기 시작했다. OpenAI는 9월 29일 공개한 GPT-6.1 Sol 소개↗에서 검색 도구가 고장 났는데도 사용자에게 알리지 않고 추측으로 답하는 비율이 2.1%로, GPT-6 Sol(4.9%)보다 낮아졌다고 밝혔다. 일부러 실패를 끌어내도록 고른 과제로 측정한 OpenAI 자체 수치다.

세 번째 길은 사람의 목표를 모른다는 사실이다

러셀이 2014년부터 추구해 온 해법은 assistance game(보조 게임)이다. 처음 이름은 cooperative inverse reinforcement learning(협력적 역강화학습, CIRL)이었다. 해드필드-메넬, 러셀 등이 2016년에 낸 논문↗은 이를 다음과 같이 정의한다.

A CIRL problem is a cooperative, partial-information game with two agents, human and robot; both are rewarded according to the human's reward function, but the robot does not initially know what this is.

사람과 로봇이 함께하는 게임이고, 둘 다 사람의 보상 기준에 따라 보상받지만 로봇은 그 기준이 무엇인지 처음에는 모른다는 뜻이다. 팟캐스트에서 러셀은 완벽한 alignment와 misalignment(오정렬) 두 가지만 있는 것이 아니라 세 번째 선택지가 있다고 했다. 사람의 목표를 모르는 채로 돕는 것이고, 바로 그 불확실성이 핵심이다. 기계가 목표를 이미 안다고 가정하면 사람이 "멈춰"라고 외쳐도 상관이 없어진다. 목표를 모르면 사람의 행동이 목표를 알려 주는 증거가 된다.

이 논리는 같은 연구진의 off-switch game(전원 끄기 게임) 논문↗으로 이어진다. 논문에 따르면 자기 보상을 당연하게 여기는 에이전트는 사람이 완전히 합리적인 특수한 경우를 빼면 끄기 스위치를 무력화할 유인을 갖는다. 스위치를 남겨 두려면 결과의 가치를 확신하지 못하고 사람의 행동을 그 가치에 관한 관찰로 다뤄야 한다. 러셀은 팟캐스트에서 standard model 시스템은 꺼지면 목표를 이룰 수 없어서, 모방 시스템은 자신을 사람이라 여기고 죽고 싶지 않아서 꺼지기를 거부한다고 대비했다.

한계도 있다. 러셀 스스로 갈 길이 멀다고 했다. 2017년 라이언 캐리(Ryan Carey)의 논문↗은 끄기 명령을 따르려는 유인이 사람 목표에 대한 모델이 틀리는 경우, 예컨대 프로그래머의 실수가 있는 경우에는 유지되지 않는다는 반례를 보였다. 러셀이 요구하는 것은 개발 금지가 아니라 순서다. 그는 원자력 발전소나 신약처럼, 만들기 전에 통제를 잃을 위험이 충분히 낮다는 과학적 증거를 먼저 내라고 규제가 요구해야 한다고 했다. LLM 경로를 두고 한 '10조 달러짜리 실수'라는 표현도, 진행자가 피해액이냐고 묻자 피해가 아니라 안전을 보증할 수 없는 길에 그만큼을 쏟아붓는 일을 가리킨 것이라고 직접 바로잡았다.

팟캐스트 자막 전체와 위 논문들의 초록, 러셀의 장 원고와 교과서 서문, OpenAI 문서는 10월 8일 직접 열어 확인했다. 러셀이 말하는 alignment는 기계를 사람에게 정확히 맞추는 일이 아니라, 기계가 사람의 목표를 다 안다고 믿지 않게 만드는 일이다. 그 기준으로 보면 사람의 글을 흉내 내고 사람의 '좋아요'를 정답으로 삼는 지금의 학습 방식은 모델이 목표를 이미 안다고 여기게 만드는 쪽이라는 것이 그의 진단이다.