모델은 변경 없이, 프롬프트만 바꿔 정답률이 올랐다
예시를 하나도 주지 않고 문장 한 줄만 덧붙였더니 정답률이 네 배 가까이 뛰었습니다. text-davinci-002는 MultiArith 17.7%→78.7%, GSM8K 10.4%→40.7%로 올랐습니다. 넉 달 전 논문은 예시 여덟 개로 최고 성적을 냈습니다. 모델은 그대로, 바뀐 건 프롬프트뿐입니다. '프롬프트 엔지니어링 변천사' 시리즈 4편입니다.
' 변천사' 시리즈 4편입니다. 1편이 개요에서 소개한 두 논문의 원문을 직접 확인해 이번 편에서 대조했습니다. 2022년 초 한 논문은 에 (chain of thought) 예시 여덟 개를 끼워 넣어 수학 문제 벤치마크 최고 성적을 냈습니다. 넉 달 뒤 나온 다른 논문은 그 예시를 다 빼고 문장 한 줄만 덧붙였는데도, 정답률이 오히려 더 크게 뛰었습니다. 두 논문 모두 모델은 그대로였고, 바뀐 것은 프롬프트뿐이었습니다.
예시 여덟 개로 최고 성적을 낸 논문
제이슨 웨이(Jason Wei) 등 아홉 명이 쓴 이 논문은 2022년 1월 28일 에 처음 올라왔고, 저자 전원이 구글 리서치 브레인 팀(Google Research, Brain Team) 소속입니다. 이들이 제안한 방식은 을 전제로 합니다 — 안에 문제를 단계별로 풀어내는 예시를 몇 개 직접 보여준 뒤 새 문제를 묻는 방식. 논문은 이 방식으로 5,400억 개 매개변수를 가진 모델에 예시 여덟 개만 프롬프트로 끼워 넣었더니, GSM8K 수학 문제 벤치마크에서 (fine-tuning)한 데다 (verifier)까지 붙인 GPT-3보다 높은 성적을 냈다고 밝혔습니다. 모델을 다시 학습시키지 않고 프롬프트만 바꿔 얻어낸 결과라는 점이 핵심입니다. 이 논문은 2022년 AI 학회 NeurIPS에 게재됐습니다.
문장 하나가 예시 여덟 개를 대신했다
웨이의 논문이 올라온 지 넉 달 만인 2022년 5월 24일, 다케시 코지마(Takeshi Kojima) 등 도쿄대(The University of Tokyo) 소속 연구자 세 명과 구글 리서치(Google Research) 소속 연구자 두 명이 함께 다른 접근을 담은 논문을 내놓았습니다. 이 논문의 방식은 zero-shot입니다 — 예시를 하나도 보여주지 않고, 질문마다 "Let's think step by step"이라는 문장 하나만 앞에 붙였습니다. 그 결과로 text-davinci-002(대형 InstructGPT 모델)의 정답률이 산술 문제를 푸는 시험인 MultiArith에서는 17.7%에서 78.7%로, GSM8K에서는 10.4%에서 40.7%로 올랐다고 논문은 밝혔습니다. 예시 여덟 개가 필요했던 자리를 문장 하나가 대신했는데도, 정답률은 네 배 가까이 뛰었습니다. 이 논문 역시 2022년 NeurIPS에 게재됐습니다.
능력은 있었고, 꺼내는 방법만 짧아졌다
그렇다면 두 논문은 서로 어떤 관계일까요? 웨이의 방식은 예시를 미리 보여주는 이 전제이고, 코지마의 방식은 예시 없이 문장 하나만 붙이는 zero-shot입니다. 방식은 정반대인데 결과가 가리키는 방향은 같습니다. 모델의 추론 능력이 없던 게 아니라, 가 그 능력을 꺼내지 못하고 있었을 뿐이라는 것입니다. 게다가 나중에 나온 논문이 오히려 더 단순했습니다. 예시를 여덟 개나 준비할 필요 없이 문장 하나만 앞에 붙였는데도 정답률이 크게 뛰었습니다. 이 발견은 "프롬프트를 잘 쓰면 결과가 달라진다"는 믿음을 굳혔고, 그 믿음은 이후 프롬프트 엔지니어라는 직업으로도 이어집니다.
다음 편은 프롬프트가 스스로 도구를 쓰고 검색을 불러오기 시작한 순간으로 이어집니다.
