GPT-6 Astra, 미공개 이론물리 문제 50개 중 49개 풀어

아직 논문으로 나오지 않은 이론물리 연구 문제 50개를 AI 에이전트에게 풀게 한 평가에서 OpenAI의 GPT-6 Astra가 49개를 맞혔다. 채점 과정에서는 전문가가 낸 기준 답안의 오류가 여러 건 드러났다.

인도 국제이론과학센터(ICTS) 등 연구진은 10월 9일 arXiv에 평가 논문 TheoPhysEval을 공개했다. 문제는 양자장론·우주론 등 11개 분야 전문가들이 냈다. 연구진은 AI 없이 세계적 전문가가 하루 이내에 풀 수 있는 수준이라고 설명했다.

에이전트는 사람의 힌트 없이 문제를 풀었고, 채점은 최종 숫자 답만 대조했다. 웹 검색을 허용한 조건의 결과는 다음과 같다.

Astra의 비용은 문제당 평균 3달러가 안 됐다. 인터넷을 막은 조건에서는 Astra와 Opus 5.5가 46개로 같았다. 연구진은 검색을 막아도 점수가 크게 떨어지지 않은 것을 모델이 기존 문헌을 상당 부분 외운 신호로 봤다.

채점 중 전문가 답안의 오류가 드러났다

연구진은 처음에 Astra가 몇 문제를 더 틀렸다고 판단했다. 전문가와 다시 확인해 보니 원래 풀이에 미묘한 오류가 있었고, 이런 경우 모두 고친 답안 기준으로 Astra의 풀이가 맞았다.

공동저자 수브랏 라주(Suvrat Raju)는 블로그에서 모델, 특히 Astra가 "자기가 맞고 전문가가 낸 답이 틀렸다고 주장했다"고 썼다. 처음 점수는 80%대 후반이었다. 오류가 몇 건이었는지는 논문과 블로그 모두 밝히지 않았다.

연구진 "획기적 난제는 아니다"

연구진은 이 문제들이 알려진 기법으로 기존 결과를 넓히는 연구 문제이며, 결과는 새롭지만 획기적이지는 않다고 밝혔다. 일부 출제자가 풀이에 AI 도구를 써 데이터 유출 가능성도 배제하지 못했고, 모델마다 평가는 한 번씩만 돌렸다.

모든 모델이 못 푼 문제는 하나다. 곡선을 보고 그 곡선을 만드는 방정식을 찾는 문제로, 라주는 규칙을 조금 비틀어야 풀리는 문제라고 설명했다.

Astra와 Opus 5.5의 차이는 웹 검색을 허용했을 때만 났다. 연구진은 에이전트의 계산 능력이 전문 분야에서도 세계적 전문가 수준에 이르렀다고 평가하면서도, 중요한 물리 문제를 맡겨 혼자 풀게 할 단계는 아니라고 밝혔다.