#트랜스포머

AI에게 대화를 전부 주면 오히려 답을 놓칠 수 있다 (research.trychroma.com)

컨텍스트 엔지니어링(context engineering)은 AI가 답을 만들 때 무엇까지 함께 보여줄지를 설계하는 일입니다. 크로마 실험에서 Claude Opus 4는 답에 필요한 대목만 받으면 1점 만점에 0.92점, 대화 전체를 받으면 0.38점이었습니다. 길이보다 섞여 든 잡음이 문제였습니다. '프롬프트 엔지니어링 변천사' 시리즈 5편입니다.

인사이트딥슨

트랜스포머란 무엇인가, 카파시 강연으로 정리 (youtube.com)

안드레이 카파시가 2023년 스탠포드 CS25 강연에서 직접 설명한 트랜스포머 구조를 원본 자막과 논문 원문으로 다시 확인했습니다. 어텐션의 등장 배경과 Q·K·V, 범용 컴퓨터라는 비유를 정리하고, 강연 속 nanoGPT 대신 후속작 nanochat으로 코드에서 직접 열어보는 순서까지 붙였습니다.

가이드딥슨