프롬프트란 말, 핵심 용어가 된 건 언제부터 (arxiv.org)
GPT-3 논문에도 'prompt'라는 단어는 27번 나오지만, 예시 몇 개로 모델이 추가 학습 없이 과제를 푸는 이 현상에 논문이 실제로 붙인 이름은 '인컨텍스트 러닝'이었습니다. 지금 쓰는 뜻의 핵심 용어로 프롬프트가 자리 잡은 건 2주 뒤 나온 OpenAI의 GPT-3 API 공개 발표문입니다. '프롬프트 엔지니어링 변천사' 시리즈 2편입니다.
#딥러닝
트랜스포머란 무엇인가, 카파시 강연으로 정리 (youtube.com)
안드레이 카파시가 2023년 스탠포드 CS25 강연에서 직접 설명한 트랜스포머 구조를 원본 자막과 논문 원문으로 다시 확인했습니다. 어텐션의 등장 배경과 Q·K·V, 범용 컴퓨터라는 비유를 정리하고, 강연 속 nanoGPT 대신 후속작 nanochat으로 코드에서 직접 열어보는 순서까지 붙였습니다.