스탠포드 AI 에이전트 무료 강의, 성능 원리부터 워크플로까지
스탠포드가 과목 CS329A '자기 개선 AI 에이전트'의 첫 수업을 유튜브에 무료로 공개했습니다. 학습 연산을 키우는 스케일링 법칙에서 추론 연산으로 축이 옮겨 간 흐름, 답을 여러 번 뽑아 고르면 코딩 해결률이 15.9%에서 56%로 오른 논문, 워크플로 패턴 5종을 다룹니다.
스탠포드 과목 '자기 개선 AI 에이전트(Self-Improving AI Agents)'의 첫 수업을 스탠포드 공식 유튜브 채널 스탠포드 온라인(Stanford Online)이 2026년 8월 3일 무료로 공개했습니다. 2025년 가을학기 9월 22일 수업이고, 길이는 69분 42초, 확인 시점 조회수는 53만 회입니다. 필자가 영상 자막 전문과 논문 초록, 앤트로픽 글 원문을 직접 확인해 정리했습니다.
이 수업에는 를 직접 만드는 실습이 나오지 않습니다. 학습에 쓰는 연산을 키우는 스케일링이 한계를 보이자 답을 낼 때 쓰는 연산이 새 축이 됐고, 그 축은 맞는 답을 판별할 수 있는 과제에서 특히 잘 통한다는 것이 이 수업의 핵심입니다. 이 글은 그 흐름을 순서대로 따라갑니다.
스케일링 법칙은 학습에 쓰는 연산을 키우는 방향이었다
수업은 대규모 언어모델()의 최근 5년 흐름부터 다룹니다. 학습에 쓰는 연산량과 데이터 크기, 파라미터 수가 늘수록 테스트 손실(test loss, 정답에서 벗어나는 정도)이 줄어드는 관계를 (scaling laws)이라고 부릅니다. 2020년 논문 초록은 손실이 모델 크기와 데이터셋 크기, 학습에 쓴 연산량에 대해 거듭제곱 법칙으로 줄어들고, 일부 추세는 일곱 자릿수가 넘는 범위에 걸쳐 나타난다고 적었습니다.
강사는 BERT의 3억 4천만 개, GPT-2의 15억 개, GPT-3의 1,750억 개, PaLM의 5,400억 개로 파라미터가 늘어 온 과정을 소개했고, GPT-4는 수조 개로 추정된다고 했습니다. 모델이 커지면서 예시 몇 개만 보여 줘도 과제를 따라 하는 (few-shot learning)이 나왔고, 풀이 과정을 함께 보여 주면 정답률이 오르는 (chain of thought) 같은 능력이 나타났다고도 설명했습니다. 이렇게 키우는 방식이 2024년 무렵부터 한계를 보이기 시작했다는 말도 덧붙였습니다.
다음 축은 답을 낼 때 쓰는 연산이었다
관심은 학습이 아니라 추론(inference), 곧 답을 낼 때 쓰는 연산으로 옮겨 갔습니다. 수업이 다룬 논문 "Large Language Monkeys"는 초록에서 모델이 문제 하나에 한 번만 시도하도록 제한되는 경우가 많다며, 추론 연산(inference compute)을 스케일링의 또 다른 축으로 삼아 보았다고 밝혔습니다. 방식은 (repeated sampling)입니다. 같은 모델에 같은 문제를 여러 번 풀게 하고 맞는 답을 가려냅니다. 실제 소프트웨어 이슈를 고치는 코딩 문제 모음 ""에서 DeepSeek-Coder-V2-Instruct의 해결률은 샘플 1개일 때 15.9%, 250개일 때 56%로 올랐고, 당시 단일 시도 최고 성적인 43%를 넘었다고 초록에 적었습니다. 강사는 모델 안에 답을 맞힐 지식이 이미 충분히 있지만 한 번만 물어서는 그것을 다 끌어내지 못한다는 취지로 설명했습니다.
이 방식은 여러 답 가운데 맞는 것을 골라낼 수단이 있어야 통합니다. 같은 초록에 따르면 코드처럼 답을 자동으로 검증할 수 있는 분야에서는 후보가 늘어난 만큼 성능이 그대로 오릅니다. 자동 (automatic verifier)가 없는 분야에서는 다수결(majority voting)이나 보상 모델(reward model)로 고르는 방법이 샘플 수백 개를 넘으면 더 오르지 않습니다. 아래 그림은 수학 문제에서 정답을 아는 검증기를 쓴 결과와 다수결·보상 모델로 고른 결과를 비교한 것입니다.
추론 모델은 이 반복을 모델 안으로 옮겼다
강사는 과 (reasoning model)을 이렇게 구분했습니다. 반복 샘플링이 올리는 것은 여러 번 중 한 번이라도 맞힌 비율(coverage, )이고, 추론 모델이 올리는 것은 첫 답이 맞을 확률(pass@1)입니다. 기반 모델(base model)도 추론 과정을 여러 가지로 만들 수는 있지만 어느 것이 맞는지 알지 못하는데, 추론 모델은 그것을 학습하게 만든 것이라는 설명입니다.
강사가 든 추론 모델의 작동 방식은 다음과 같습니다. 문제를 분석하고, 과제를 쪼개고, 코드라면 테스트를 실행하고 계산기를 쓰거나 답을 스스로 판정해 그 피드백으로 고치고, 안 풀리면 되돌아가 다른 접근을 시도합니다. 강사는 OpenAI가 o1을 공개하며 어려운 수학 벤치마크에서 추론에 쓰는 연산을 로그 척도로 늘릴수록 첫 답의 정확도가 오르는 관계를 보였다고 소개했습니다.
추론 시 연산()을 어떻게 쓸지에 관한 2024년 논문 초록은 두 방법을 분석했습니다. 하나는 역할을 하는 보상 모델을 상대로 답을 탐색하는 방법이고, 다른 하나는 를 받은 시점에 모델이 답을 낼 확률의 분포(응답 분포)를 그 문제에 맞게 바꿔 가는 방법입니다. 어느 쪽이 효과적인지는 문제의 난이도에 따라 크게 달라진다고 밝혔습니다. DeepSeek-R1 논문 초록은 (reinforcement learning)만으로 추론 능력을 끌어올릴 수 있고, 그 과정에서 자기 성찰(self-reflection)과 검증, 전략 전환 같은 패턴이 나타났으며, 수학과 코딩 대회처럼 검증 가능한 과제에서 성능이 높았다고 적었습니다.
강사는 추론 연산으로 만든 풀이를 정답이 있는 수학 문제나 코딩 문제에서 데이터로 모아 모델을 다시 (fine-tuning)하는 고리를 소개하며, 이것이 자기 개선에 해당하는 부분이라고 설명했습니다.
에이전트는 목표를 받아 행동하고 피드백으로 고친다
강사는 를 목표를 받아 단계를 계획하고, 환경과 상호작용하며 피드백에 따라 단계를 고치다가 목표를 이루거나 못 하겠다고 돌아오는 시스템으로 설명했습니다. 도구 호출(tool use)과 메모리가 필요하다고도 했습니다. 워크플로 패턴으로는 체이닝(prompt chaining), 라우팅(routing), 병렬화(parallelization), (orchestrator-workers), 평가자(evaluator-optimizer) 다섯 가지를 소개했습니다.
이 다섯 패턴은 앤트로픽이 2024년 12월 19일 엔지니어링 블로그에 쓴 글의 분류와 같고, 위 설명도 그 글의 정의를 따랐습니다. 강의가 그 글을 인용했다는 말은 자막에서 찾지 못했습니다. 앤트로픽 글은 워크플로를 미리 정한 코드 경로로 과 도구를 엮는 것, 에이전트를 LLM이 과정과 도구 사용을 스스로 지휘하는 것으로 구분합니다.
잘 맞는 일은 반복 작업이고 병목은 생성과 검증의 격차다
강사는 코딩 를 터미널에서 파일을 찾고 고치고 명령을 실행하는 일을 반복하는 방식으로 설명하며, 2024년에는 아직 믿을 만하지 못했지만 이제 막 안정되기 시작했다고 했습니다. 잘 맞는 일로는 코드 마이그레이션과 버전 업그레이드, 코드베이스 재구성, 데이터 정제, 데이터웨어하우스 이전 같은 반복 작업을 들었습니다. 고객지원에서는 실시간 받아쓰기와 지식 보조, 답장 제안, 통화 요약이 예로 나왔습니다. 사용자가 목표를 충분히 설명하지 않는 경우가 많아서 에이전트가 되묻는 일이 중요하다는 말도 했습니다.
병목으로는 '(generator-verifier gap)'를 꼽았습니다. 모델은 그럴듯한 내용을 많이 만들어 내기 쉽지만 그것이 쓸모 있는지는 피드백으로 확인해야 합니다. 창작처럼 피드백을 사람이 직접 줘야 하는 영역에서는 이 부분이 병목이 되고, 좋은 피드백을 줄 수 있는 영역에서는 계속 개선할 수 있다는 설명입니다. 같은 양을 generation-verification gap이라는 이름으로 정식화한 2024년 논문은 이를 생성물을 모델 자신의 검증 결과로 다시 가중했을 때 얻는 성능 향상으로 정의하고, 의 자기 개선 정도를 좌우하는 양이라고 밝혔습니다.
검증이 어려운 리서치에서는 환각을 후보를 만드는 데 썼다
리서치 대목에서는 참고문헌 찾기, 개요 작성, 문서별 요약, 종합으로 이어지는 딥 리서치(deep research)를 소개했습니다. 아이디어를 내고 실험을 반복해 논문까지 쓰는 AI 사이언티스트(AI scientist)도 다뤘습니다. 슬라이드에 걸린 2024년 12월 23일 자 뉴욕타임스 기사 제목은 '(hallucination)을 일으키는 AI가 과학의 큰 돌파구를 구상하게 돕는 방식'입니다. 강사는 환각이 발상 단계에서는 오히려 도움이 될 수 있다는 취지로 말했습니다.
추론 연산이 통하는 곳은 답을 판별할 수 있는 과제였다
수업의 사례들을 모아 보면 같은 조건이 반복됩니다. 은 가 있을 때 성능이 그대로 오르고 없을 때 정체합니다. DeepSeek-R1은 수학과 코딩 대회처럼 검증 가능한 과제에서 으로 추론 능력을 길렀고, 강사가 설명한 자기 개선 고리에 쓰이는 데이터도 정답이 있는 문제에서 얻습니다. 코딩 는 명령을 실행한 출력을 보고 다음 행동을 고칩니다. 피드백을 사람이 줘야 하는 창작 영역은 개선이 더디고, 리서치에서 이 쓰이는 자리도 정답을 내는 단계가 아니라 후보를 만드는 단계입니다. 앤트로픽 글도 평가자 패턴은 평가 기준이 분명하고 반복해 고치는 것이 측정 가능한 가치를 줄 때 효과적이라고 설명합니다.
필자는 이 흐름을 이렇게 읽습니다. 이 학습 연산에서 추론 연산으로 넓어졌고, 넓어진 만큼 성능을 결정하는 것은 모델 크기에 더해 결과를 판별하는 수단이 있는지가 됐습니다. 수업의 앞부분이 프레임워크 사용법보다 답을 판별하는 문제를 먼저 다루는 것으로 읽히는 이유입니다. 영상 설명문에는 이 내용을 더 깊게 다루는 스탠포드의 온라인 에이전트 과정 안내가 붙어 있습니다.
참고한 자료
- Stanford Online, "Stanford CS329A Self-Improving AI Agents | Part 1 | Course Overview" (2026년 8월 3일 공개)
- 스탠포드 CS329A 강좌 페이지
- arXiv, "Scaling Laws for Neural Language Models"
- arXiv, "Large Language Monkeys: Scaling Inference Compute with Repeated Sampling"
- arXiv, "Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters"
- arXiv, "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning"
- arXiv, "Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models"
- Anthropic, "Building effective agents" (2024년 12월 19일)
- Stanford Online, Agentic AI 프로그램 안내 (영상 설명문에 연결된 링크)
