논문을 AI 에이전트로 바꾸는 Paper2Agent, 네이처 게재
연구 논문과 코드를 AI가 직접 실행해 검증한 뒤, 질문하면 논문 속 분석을 대신 수행하는 에이전트로 바꾸는 스탠포드의 Paper2Agent가 네이처에 실렸다. 논문 100편 중 74편을 바꿨고 1편당 평균 15달러가 들었다. 함께 공개된 심사 기록에는 새 패러다임이라는 주장에 대한 반론도 남았다.
스탠포드 연구진이 만든 Paper2Agent가 9월 16일 네이처에 정식 게재됐다. 연구 논문과 그 논문의 코드를 넣으면 AI가 코드를 직접 실행해 확인한 뒤, 사용자가 말로 요청하면 논문 속 분석을 대신 해 주는 로 만들어 주는 도구다. 논문과 코드를 서버로 묶어 채팅 에이전트에 붙이는 방식이고, 연구진은 이렇게 만든 에이전트를 '가상 교신저자'라고 부른다. 계산생물학 논문 100편으로 시험했을 때 74편을 사람 손을 거치지 않고 에이전트로 바꿨다.
처음 공개된 것은 아니다. 2025년 9월 논문 사전 공개 사이트 와 GitHub에 먼저 나왔고, 그해 10월 네이처에 투고돼 약 10개월 동안 심사를 받았다. 네이처는 논문과 함께 세 차례에 걸친 심사 보고서도 공개했다. 심사위원들이 무엇을 문제 삼았고 저자들이 무엇을 인정했는지가 그대로 남아 있다.
지금은 누구나 내려받아 쓸 수 있다. GitHub 저장소는 MIT 라이선스로 공개돼 있고, 게재일에 맞춰 Claude Code·Codex용 로 개편됐다. 다만 아래에 나오는 수치는 모두 논문 당시 구현(Claude Code 에이전트 SDK와 Claude Sonnet 4)으로 측정한 것이고, 지금 배포되는 버전으로 측정한 값은 아니다. 논문이 예시로 만든 MCP 서버 3종은 Hugging Face에서 운영되고 있다. 구글 딥마인드의 유전체 예측 모델 AlphaGenome, 단일세포 분석 도구 Scanpy, 공간 전사체 분석 도구 TISSUE를 바탕으로 만든 것들이다.
튜토리얼을 직접 실행해 통과한 것만 남긴다
Paper2Agent가 하는 일은 논문 요약이 아니라 실행과 검증이다. Claude Code SDK로 만든 가 하위 에이전트들에게 단계별로 일을 나눠 맡긴다. 먼저 코드 저장소를 내려받아 격리된 실행 환경을 만들고, 저장소에 딸린 튜토리얼을 처음부터 끝까지 실행해 정답 역할을 할 결과를 얻는다. 그다음 튜토리얼 속 분석 단계를 다른 데이터에도 쓸 수 있는 도구로 떼어 내고, 같은 예제 데이터로 다시 실행해 정답과 맞춰 본다. 숫자는 3% 오차 안에서 같아야 하고, 그림은 (perceptual hash, 이미지를 짧은 지문으로 바꿔 비교하는 방식)로 측정했을 때 차이를 나타내는 (Hamming distance)가 20 미만이어야 통과한다. 여섯 번까지 고쳐도 통과하지 못한 도구는 버린다.
AlphaGenome 논문에 적용해 보니 약 45분 만에 도구 22개가 만들어졌고, 비용은 14달러였다. 개인 노트북에서 사람이 손대지 않고 22개 모두 검증을 통과했다. 튜토리얼 내용으로 만든 질문 15개를 던지고 사람 전문가 2명이 채점하자 정답률은 98.7%였다. Paper2Agent 없이 Claude Code에 저장소만 주고 같은 질문을 했을 때는 82.7%였다. 저자들은 에이전트로 바꾸지 못한 논문이 대개 코드가 불완전하거나 설명서가 빠졌거나 실행 환경을 갖출 수 없는 경우였다며, "에이전트로 바꾸기 쉬운 정도가 곧 재현성의 실용적 척도가 될 수 있다"고 적었다. 다른 연구자가 같은 결과를 다시 낼 수 있는 논문일수록 에이전트로도 잘 바뀐다는 뜻이다.
100편 중 74편, 한 편에 15달러
100편 시험에서 로 바뀐 74편에 대해 Paper2Agent가 떼어 낸 도구는 599개였고, 그중 593개가 검증을 통과했다. 실패한 26편의 원인은 실행할 코드가 없음(34%), 데이터·모델 파일이 없음(31%), 실행 환경을 갖추지 못함(23%) 순이었다. 튜토리얼에서 뽑은 질문 300개로 평가하자 Paper2Agent는 91.2%를 맞혔다. 같은 AI 모델(Claude Sonnet 4)을 쓰는 Claude Code에 저장소만 주고 물었을 때는 80.3%였고, 더 새 모델인 Sonnet 4.6으로 바꾸면 86.3%로 차이가 줄었다. 질문 하나에 드는 비용과 시간은 0.20달러·1.6분으로, Sonnet 4에 논문과 저장소를 그대로 주고 묻는 방식(0.38달러·4.3분)보다 싸고 빨랐다.
에이전트를 미리 만들어 두는 데는 비용이 따로 든다. 논문 보충 자료에 따르면 성공한 논문은 한 편에 평균 14.99달러·2.4시간, 실패한 논문도 9.03달러·1.7시간이 들었다. 심사위원 1은 이 비용이면 질문을 약 245번은 해야 비용을 회수할 수 있다고 계산하고, 찾는 사람이 적은 연구 도구는 대부분 그만큼 쓰이지 못할 것이라고 지적했다.
심사위원 한 명은 끝까지 설득되지 않았다
공개된 심사 보고서를 보면 처음 투고한 원고는 지금과 달랐다. 성능 평가는 AlphaGenome 질문 30개(튜토리얼 질문 15개, 새 질문 15개)가 전부였고, 새 발견 사례도 ADHD 하나였다. 논문 100편 시험, (ablation study), 건선 원인 유전자 사례, 생물학 밖 분야 논문 5편 시험은 첫 수정본에서 추가됐고, 생물학 밖 논문은 최종본에서 10편으로 늘었다. 심사위원 2는 두 번째 심사에서 이렇게 늘어난 평가와 실패 원인 분석, (hallucination) 비율 측정 덕분에 연구가 한층 엄밀해졌다며 주요 우려가 풀렸다고 평가했다. 마지막 심사에서는 Paper2Agent의 결과를 사람 검증 없이 과학적 발견에 바로 쓰면 안 된다고 논문에 밝힌 점을 좋게 봤다.
심사위원 1의 평가는 달랐다. 두 번째 심사에서 이 연구는 근본적인 진전이라기보다 공학적으로 잘 다듬은 결과라며, 네이처보다 방법론 전문 학술지에 어울린다고 권고했다. 마지막 심사 의견도 같았다. "종합하면 이 연구의 의의에는 설득되지 않는다. 엔지니어링은 분명히 강하다. (…) 그러나 데이터가 뒷받침하는 것은 과학 소통의 새 패러다임이라는 개념적 주장보다는 신뢰성·재현성 향상, 기존 방법의 재사용 같은 운영상의 주장이다." 성적이 오른 것이 Paper2Agent라는 방식 덕분인지, 그 밑에서 쓰인 AI 모델이 원래 뛰어나서인지를 이 실험으로는 구분할 수 없다는 것이 요지였다.
ADHD 사례를 설명한 표현도 지적을 받았다. 심사위원 1은 두 번째 심사에서 "ADHD 위험의 그럴듯한 원인 기전을 밝혔다"는 표현이 데이터보다 앞서 나간다고 했고, 마지막 심사에서는 표현이 적절히 누그러졌다고 평가했다. 저자들도 마지막 답변에서 "현재 벤치마크가 일반적 과학 추론이나 자율적 과학 발견을 입증한다고 보지 않는다"고 인정했고, 를 오래 관리하는 일과 비용을 감당하는 방법이 남은 과제라는 데 동의했다. 게재본에도 점수가 높다는 것은 분석이 과학적으로 옳다는 뜻이라기보다 논문의 방법을 충실히 따라 했다는 뜻으로 읽어야 한다는 문장이 들어갔다.
'새 발견'은 논문에서 '후보 가설'이다
스탠포드 의대 보도자료는 AlphaGenome 가 ADHD 연구 데이터에서 ADHD 위험 증가와 관련된 변이를 MPHOSPH9 유전자 근처에서 찾아냈고, 교신저자 제임스 저우(James Zou) 교수에 따르면 이전에 보고되지 않은 연결이라고 소개했다. 보도자료는 Paper2Agent가 "어떤 논문이든" 에이전트로 바꾼다고도 썼다.
네이처 논문에서 이 결과는 본문이 아니라 확장 데이터 그림 2에 실렸다. 에이전트가 후보 변이 209개 가운데 하나(rs1626703)를 골라, 이 변이가 MPHOSPH9 유전자가 작동하는 방식과 정도를 바꿀 수 있다고 계산한 것이다. 그림 설명은 이를 "실험으로 검증해야 할 후보 가설"이라고 적었다. 보도자료의 "어떤 논문이든"도 논문에서는 "모든 논문이 매끄럽게 믿을 만한 에이전트로 바뀌지는 않는다"로 적혀 있다. 실제로 100편 중 26편은 에이전트로 바뀌지 않았다.
논문 본문에 실린 발견 사례는 피부 질환인 건선의 원인 유전자 찾기다. 여기서도 방향을 정한 것은 사람이었다. 에이전트가 확인 방법 10가지를 제안했고, 사람 연구자가 그중 하나(두 실험 데이터의 유전자 변화 패턴을 비교하는 분석)를 골랐다. 에이전트가 그 분석을 기존 실험 데이터로 실행한 결과가 GPR137을 유력한 원인 유전자로 뒷받침했다.
저자들은 가설을 세우고 그 의미를 해석하는 일은 여전히 사람이 해야 하는 영역이라고 적었다. Paper2Agent는 "자율적이거나 권위 있는 과학적 결론의 출처"가 아니라 발견을 돕는 도구라는 것이다. 네이처 게재로 인정받은 것도 그 범위, 논문을 실제로 실행해 볼 수 있는 도구로 바꾸는 검증된 절차다.
참고한 자료
- Nature — Reimagining research papers as interactive and reliable AI agents (2026-09-16)
- Nature — Peer Review File (심사 보고서·저자 답변)
- Nature — Supplementary Information (보충 자료)
- Stanford Medicine — Manuscripts-turned AI agents can now 'talk' to each other, make new discoveries (2026-09-16)
- arXiv 2509.06917 — Paper2Agent 사전 공개본 (v1 2025-09-08)
- GitHub — jmiao24/Paper2Agent
