AI 평가 기관 METR, 앤트로픽의 AI 연구 속도를 평가했다

AI 평가 기관 METR이 11월 5일 앤트로픽 안에서 AI가 AI 연구개발을 얼마나 가속하는지 평가한 보고서를 냈습니다. 결론은 앤트로픽이 모델 능력을 높이는 속도가 이전(2024년 3월~2025년 10월)의 약 2배일 가능성이 크다는 것입니다. AI가 AI 개발을 빠르게 하면 더 능력 있는 모델이 다시 개발을 빠르게 하는 순환이 생길 수 있어, METR은 이를 핵심 우려로 꼽았습니다. 이틀 뒤에는 이 보고서의 점수를 바탕으로 했다는 차트가 X에서 약 20만 회 조회됐습니다.

METR은 무엇을 측정했고, 차트의 시간 수치는 어디서 왔을까요. 보고서 내용부터 보겠습니다.

METR이 앤트로픽 안에서 측정한 결과

앞서 앤트로픽은 AI의 연구개발 주도 비율(8월 기준)을 자체 지표로 공개했고, 10월 15일에는 METR 연구자를 회사 안에 들이는 사내 상주를 발표했습니다. 이번 평가는 그 발표와 별개라고 METR은 적었습니다.

METR 직원은 8월 12일부터 10월 29일까지 앤트로픽 안에서 평가했습니다. 핵심 결론은 이렇습니다. 2026년 10월 기준으로, 목표와 평가 기준이 분명한 과제(잘 정의된 과제)에서 앤트로픽이 모델 능력을 높이는 속도가 이전 속도의 약 2배일 가능성이 큽니다.

평가에 참여한 METR 직원 대부분의 판단이고 팀 안에 이견도 있었습니다. METR은 실제 값이 1.3배나 3배에 가까워도 놀랍지 않다고 덧붙였습니다. 삭제된 증거도 이 판단에 크게 영향을 줬고, 가속이 2배를 넘을 수 있다는 신호도 담겨 있었다고 합니다.

약 2배라는 결론에는 AECI(Anthropic 판 Epoch 능력 지수)의 1.9배가 크게 작용했습니다. Epoch가 공개한 능력 지수의 앤트로픽 판으로, 여러 벤치마크(시험 과제 묶음) 점수를 하나로 합쳐 전반적 능력을 나타냅니다. 앤트로픽 내부 벤치마크 점수에 Epoch의 공개 계산 코드를 적용해 모델별 값을 추정했습니다. 2025년 10월 이후 앤트로픽 모델의 AECI 점수는 이전보다 1.9배 빠르게 늘었고, 신뢰 구간은 1.5배에서 2.8배입니다. 지난 1년에 과거 약 2년치 진전이 있었다는 뜻입니다.

METR은 현재 가속 가운데 AI 덕분인 부분이 대부분, 아마 약 80%일 것이라고 추정했습니다. 불확실성이 상당하다고도 했습니다. 1.9배가 부풀려졌을 수도 있다고 METR은 적었습니다. 모델이 벤치마크 과제에 과적합했을 수 있고, 다른 회사 모델까지 넣으면 1.4배가 더 정확하다는 해석도 보고서에 실렸기 때문입니다. 1.9배가 정확에 가깝다는 반대 해석도 함께 실렸습니다.

Model 4(앤트로픽 내부 전용 모델에 붙은 가명)는 시험한 AECI 벤치마크 전부에서 50%를 넘었습니다. 점수가 높은 쪽에 몰려 모델 간 차이를 가리기 어려운 상태, 곧 포화가 진행 중입니다. 그래도 METR은 측정된 가속 추정이 포화로 크게 흔들리지는 않아 보인다고 덧붙였습니다. 벤치마크 점수가 실제 영향으로 이어지는 정도는 불분명하다는 단서도 있습니다.

연구 가속은 주로 사람이 AI를 쓰는 방식으로 이뤄진다고 앤트로픽이 METR에 설명했습니다. 가장 중요한 훈련 단계에서 AI가 완전 자율로 크게 기여하는 일은 아직 없고, 곧 가능하리라는 신호가 있다고 합니다. 구체 내용은 삭제됐고 영역마다 성숙도 차이가 크다고 합니다.

더 빨라질 위험과 공개되지 않은 부분

METR이 핵심 우려로 든 것은 가속이 복리로 쌓이는 경우입니다. AI가 AI 개발을 크게 가속하면 극단적이고 위험한 능력이 갑자기 나타날 수 있다고 봤습니다. 이를 막을 뚜렷한 병목은 찾지 못했고, 평가 도중 이해가 여러 번 바뀌었다며 불확실성이 크다고 단서를 달았습니다. 그래서 앞으로 1년 사이 가속이 더 빨라질 상당한 위험이 있다고 판단했습니다. AI 개발 속도를 두고 업계가 내놓은 대응은 속도 조절 합의를 다룬 글에서 다뤘습니다.

앤트로픽 사내 Slack 투표에서는 최신 모델로 얻은 속도 향상을 직원들이 스스로 보고한 값이 10월에 평균 12배에 이르렀습니다. METR은 응답이 성의 있게 이뤄지지 않아 아주 느슨한 증거라고 평가했습니다. 개인이 보고한 속도 향상과 모델 능력이 높아지는 속도의 가속은 대응하지 않는다고도 덧붙였습니다.

앤트로픽은 METR이 결론에 가장 도움이 된다고 본 증거의 대부분을 삭제했습니다. METR은 이 보고서가 증거를 투명하게 공개한다는 목표를 이루지 못했다고 밝혔습니다. 처음 계약 범위에는 역량 개발과 안전 연구에 컴퓨트(계산 자원)를 얼마씩 쓰는지 검증하는 일이 있었습니다. 앤트로픽이 중간에 범위를 바꿔 이 검증을 계약에서 뺐습니다. 그 결과 컴퓨트에 대해서는 실질적 결론이 나오기 전에 작업이 중단됐습니다.

같은 날 낸 검토문은 앤트로픽의 8월 Risk Report(위험 보고서) 가운데 자동화된 연구개발 절을 다뤘습니다. 7월 15일 시점에 내부에서 쓰던 모델의 파국적 위험이 낮다는 앤트로픽의 판단에는 동의했습니다. 앤트로픽에는 AI의 연구개발 자동화로 진전이 2배 빨라지면 경고하는 조기경보 기준이 있습니다. METR은 그 시점에 이 기준을 넘었을 가능성도 있다고 보았습니다. 담당 METR 연구자와 앤트로픽 담당 직원 모두 "넘지 않았다" 쪽으로 기울었지만, 넘었을 수 있다는 것입니다. 공개 보고서가 가속 수준을 전체적으로 낮게 서술한다고도 지적했습니다.

모델의 정렬 상태(AI가 사람이 의도한 목표대로 움직이는지)를 평가한 결과는 평가 보고서와 검토문 어느 쪽에도 실려 있지 않습니다. 한편 검토문은 AI가 연구자를 완전히 대체하는 수준(Full Substitution Threshold)에 이르지 않았다는 앤트로픽의 논증이 설득력 있다고 봤습니다. 다만 AI의 능력 한계를 보여 줄 벤치마크 가운데 점수가 아직 한쪽에 몰리지 않았고 믿을 만한 것이 없어, 걱정이 커진다고 적었습니다. 모델이 필요한 능력을 갖췄거나 거의 갖췄는데도 정렬 문제, 도구 문제, 감독 문제, 능력을 끌어내는 방법의 문제 때문에 자동화가 막혀 있을지 모른다는 것입니다. 막힌 이유가 능력이 아니라 이런 문제라면, 문제가 해소됐을 때 자동화가 빨라질 여지가 있다는 뜻이 됩니다.

화제가 된 차트와 METR 수치의 차이

게시자는 일부 내부 모델이 AI 2027 시나리오의 곡선 위에 있다고 적었습니다. AI 2027은 AI Futures Project가 내놓은 AI 발전 예측 시나리오입니다. 차트의 세로축은 AI 에이전트가 80% 성공률로 끝내는 과제를 사람이 하면 걸리는 시간이고, 이를 시간 지평(time horizon)이라 부릅니다. 게시자는 "트래커 추정 기준"이라는 단서를 달았습니다.

원본은 글자가 작고 Model 2~4의 시간이 적혀 있지 않아, 점의 위치를 눈금에서 읽어 다시 그렸습니다. 원본에 숫자로 적힌 것은 하단 요약 칸 세 개와 METR 공개 점뿐이고, 나머지 점의 시간은 AIGeek이 눈금에서 어림한 값입니다.

점선 곡선은 시나리오를 나타내고, 차트 제작자는 원본 하단 요약 칸에 2026년 11월 곡선 값을 36시간으로 적었습니다. 점마다 날짜가 달라서 각 점은 같은 날짜의 곡선 값과 견줘야 합니다. 곡선보다 위쪽에 놓인 점은 눈으로 읽으면 Model 2, 3, 4와 Mythos Preview 등 여럿이고, 그중 그림에서 곡선과 세로 간격이 가장 큰 점은 Mythos Preview입니다. 세로축이 로그 눈금이라 이 간격은 곡선의 몇 배인지를 나타냅니다. Model 2~4는 METR에 공유된 가명이며, METR이 받은 것은 모델이 아니라 그 데이터입니다.

Model 2~4를 뺀 모델 중 가장 높은 점은 Claude Opus 5.5이고 원본 요약 칸에는 약 20시간으로 적혀 있습니다. 요약 칸의 나머지 한 칸은 Epoch 능력 지수(ECI)로 추정한 GPT-6 Astra 약 9시간입니다. AECI는 같은 지수를 앤트로픽 모델에 적용한 앤트로픽 판이라, 두 칸은 모델도 지수도 다릅니다. Opus 5.5 점은 찍힌 날짜의 곡선 값 근처에 있습니다. 11월 값인 36시간과 곧바로 맞대면 안 됩니다.

게시자는 차트가 올라온 사이트 링크를 달지 않았습니다. AI 2027 저자들과 무관하다고 밝히는 독립 트래커 사이트를 11월 8일에 확인했지만 AECI 점은 보이지 않았습니다. 게시물이 가리키는 트래커가 그 사이트인지도 확인하지 못했습니다.

METR 보고서에는 시간 지평 수치가 없습니다. 차트 제작자가 AECI 점수를 시간으로 옮긴 것으로 보이며, 그 방법은 적혀 있지 않습니다. METR의 시간 지평 페이지에서 가장 최근 모델은 4월 7일 출시된 Claude Mythos Preview (early)로, 80% 성공률 기준 약 3.1시간입니다. 이 페이지에는 더는 적극 갱신하지 않는다고 적혀 있습니다. 차트에는 Mythos Preview라는 점이 따로 있는데, 5~6시간으로 읽히는 이 점은 이 값과 다른 AECI 추정입니다.

차트나 수치를 볼 때 확인할 것

METR이 측정한 것은 앤트로픽 모델의 벤치마크 점수가 늘어나는 속도이고, 그것이 연구 속도로 이어지는 정도는 삭제된 증거를 포함한 METR의 판단입니다. 차트의 시간은 그 점수를 다른 척도로 옮긴 것으로 보이는 값이라 구분해서 읽어야 합니다. 비슷한 차트나 수치를 만나면 세 가지를 확인하십시오.

• 점의 정체: 곡선 위쪽 점이 내부 전용 모델인지 이름이 알려진 모델인지, 점과 곡선 값의 날짜가 같은지
• 시간의 출처: 시간 수치를 누가 어떤 방법으로 만들었는지
• 삭제된 부분: 인용한 보고서에서 삭제된 증거가 얼마인지