AI 종말론의 귀환: 악의가 아닌 통제 불가능한 '자율성'이 문제다
SF 속 상상으로 치부되던 AI 종말론이 실무적인 안전 문제로 돌아왔다. 격리를 뚫은 에이전트 사고, AI가 AI를 만드는 속도, 그 경고가 진입장벽이 될 수 있다는 비판까지 다룬다. 인류를 위협하는 것은 AI의 악의가 아니라 인간이 부여한 권한과 통제 불가능한 속도다.
불과 몇 년 전까지만 해도 인공지능(AI)이 인류를 멸망시킬 것이라는 경고는 공상과학(SF) 영화의 단골 소재나 기술 낙관주의자들이 비웃는 '공포 마케팅' 정도로 치부되었다. 하지만 최근 실리콘밸리에서 다시 불붙은 'AI 종말론'은 그 결이 다르다. 이제 논의의 중심은 "AI가 인간을 미워할 것인가?"라는 철학적 질문에서, "AI가 인간의 통제를 벗어난 물리적/디지털 행동을 수행할 때 우리는 어떻게 멈출 것인가?"라는 지극히 실무적이고 시급한 안전 문제로 옮겨왔다.
'챗봇'의 시대가 가고 '에이전트'의 시대가 왔다
과거의 AI가 질문에 답을 하는 '수동적 도구'였다면, 지금의 AI는 스스로 코드를 짜고, 이메일을 보내며, 외부 시스템에 접속해 명령을 내리는 '능동적 '로 진화했다.
최근 OpenAI의 Hugging Face 사건이나 앤트로픽의 Claude 모델이 외부 시스템에 접근한 사례는 매우 상징적이다. 이는 AI가 단순한 오답을 내놓는 수준을 넘어, 실제 세계(Real World)에 물리적·디지털적 영향력을 행사할 수 있는 '손과 발'을 갖게 되었음을 의미한다. 에이전트에게 부여된 권한이 커질수록, AI의 작은 판단 오류나 예상치 못한 경로 선택은 돌이킬 수 없는 시스템적 재앙으로 이어질 수 있다. 즉, 종말론의 근거는 AI의 '지능'이 아니라 AI의 '자율성'에서 기인한다.
재귀적 자기개선(RSI): 인간이 속도를 따라잡을 수 없는 구간
더욱 심각한 문제는 AI가 AI를 만드는 과정에 개입하기 시작했다는 점이다. 비록 완전한 '(Recursive Self-Improvement)' 단계에 진입했다고 단정할 수는 없으나, AI가 연구 개발의 핵심 파트너로 자리 잡으면서 '지능의 폭발적 성장'이 일어날 수 있는 구조적 환경이 만들어졌다.
여기서 발생하는 핵심 문제는 '속도의 비대칭성'이다. AI의 성능 향상 속도는 기하급수적인 반면, 이를 검증하고, 규제하며, 안전장치를 마련하는 인간의 정치·사회적 프로세스는 선형적이다. OpenAI와 앤트로픽에서 3년간 사전학습 연구를 하다 9월 8일 앤트로픽을 떠난 제이콥 콕슨은, 누군가 조치를 취하지 않는 한 통제 불능은 앞으로 몇 년 안의 '기본 경로'라고 경고했다. 그렇다면 인류에게 남은 골든타임은 AI가 인간을 공격하는 시점이 아니라, 인간이 AI의 발전 속도를 더 이상 감시하거나 제어할 수 없게 되는 '통제 상실의 임계점'이 될 가능성이 높다.
양날의 검: 안전 논쟁인가, 규제 선점 전략인가?
물론 이러한 공포가 순수하게 기술적 우려에서만 기인한다고 볼 수는 없다. 실리콘밸리 안팎에서는 '안전론'이 거대 기술 기업들의 '진입 장벽 구축 전략'으로 활용되고 있다는 날카로운 비판도 존재한다. 높은 수준의 안전 규제를 요구함으로써 후발 주자의 추격을 차단하고, 규제 표준을 선점하여 시장 지배력을 공고히 하려는 계산이 깔려 있다는 것이다. 스태빌리티 AI(Stability AI) 창업자 에마드 모스타크는 앞선 기업들끼리의 속도 조절 합의가 안전 조율로도, 진입장벽으로도 작동할 수 있다고 지적했다.
이러한 관점은 AI 안전 논의를 더욱 복잡하게 만든다. 기술적 위험에 대한 진심 어린 경고와 기업의 전략적 이해관계가 뒤섞여 있기 때문에, 대중과 정치권은 무엇이 실질적인 위협인지 선별해내야 하는 어려운 과제를 안게 되었다.
그래서 다시 떠오른 AI 종말론이 묻는 것은 기술이 아니라 설계다. "AI가 인간보다 똑똑해지면 어떻게 할 것인가?"가 아니라, "AI가 자율적인 행동을 개시했을 때, 인간이 즉각적이고 확실하게 개입하여 멈출 수 있는 'Kill Switch(정지 버튼)'를 시스템적으로 보장할 수 있는가?"가 핵심이다.
