OpenAI CEO 알트먼의 DRAM 발언, 로컬 AI 장비는 괜찮을까
OpenAI CEO 샘 알트먼이 팟캐스트에서 한정된 DRAM이 각자의 컴퓨터에서 5%의 시간만 쓰이는 것은 꽤 끔찍하다고 말했습니다. SK하이닉스는 메모리 공급 부족이 2030년까지 이어질 것으로 봤습니다. 로컬 AI 장비를 고민하는 사람이 무엇을 따져야 하는지 우리 실측과 함께 정리했습니다.
CEO 샘 알트먼(Sam Altman)이 개인 컴퓨터에 들어 있는 메모리가 아깝다는 취지의 말을 했습니다. 10월 29일 공개된 팟캐스트 Cheeky Pint에서입니다. 지금은 메모리 반도체가 모자라 기기 값이 오르고 있습니다. 내 장비에서 AI 모델을 실행하는 로컬 AI를 고민하던 사람이라면 신경 쓰이는 말입니다.
AIGeek은 10월 16일 직접 구축할까 API 쓸까 기사에서 동시 사용 인원, 기밀 문서, 비용을 기준으로 로컬 장비와 를 비교했습니다. 이번에 새로 나온 것은 메모리를 언제까지 구하기 어려운지에 대한 전망입니다.
알트먼이 한 말
진행자 존 콜리슨(John Collison)은 메모리 값이 이렇게 올랐는데 공급이 왜 늘지 않느냐고 물었습니다. 알트먼은 DRAM 업체들이 과거 호황과 불황을 겪어 설비 투자에 보수적이라고 답했습니다. 이어 공급망 이야기를 하다 로컬 추론을 예로 들었습니다. 많은 사람이 오픈소스 모델을 자기 컴퓨터에서 실행하면 데이터센터가 덜 필요하다고 여긴다는 것입니다.
알트먼은 "세계의 한정된 DRAM을 모두가 자기 컴퓨터에 두고 5%의 시간만 쓰는 것은 전 세계 배분 관점에서 꽤 끔찍하다"고 말했습니다. 공급이 빠듯할 때는 클라우드에서 가동률을 최대로 끌어올려야 한다는 주장입니다.
두 가지는 구분해서 읽어야 합니다. 5%는 근거나 측정 방법을 밝히지 않은 수치입니다. 또 알트먼은 로컬 AI를 쓰지 말자고 하지는 않았습니다.
메모리 부족은 2030년까지
SK하이닉스는 10월 28일 3분기 실적을 발표하며 수요가 공급을 넘는 구조가 2030년까지 이어질 것으로 본다고 밝혔습니다. 2027~2028년 생산능력의 50% 넘게는 장기공급계약으로 이미 확보했습니다. 계약 고객 14곳에는 글로벌 클라우드 사업자가 들어 있습니다.
삼성전자도 3분기 실적 발표에서 2027년에는 AI 수요가 업계 공급을 2026년보다 훨씬 크게 넘을 것이라고 내다봤습니다. 메모리를 만드는 국내 두 회사가 모두 부족이 이어진다고 본 셈입니다.
시장조사업체 TrendForce는 9월 30일 4분기 범용 DRAM 계약 가격이 전 분기보다 10~15% 오를 것으로 전망했습니다. 제조사들이 서버용 제품에 생산을 먼저 배정하고 있습니다. 이 때문에 시장 전체가 공급 부족이라고 TrendForce는 설명했습니다. 용 DRAM 공급은 2027년에 줄어들 수 있다고도 했습니다.
메모리 부족은 소비자 제품 가격도 올리고 있습니다. 라즈베리 파이는 10월 1일 라즈베리 파이 4·5의 2GB 모델 가격을 12.5달러 올리면서 메모리 비용이 지난 2년 동안 가파르게 올랐다고 밝혔습니다.
우리 장비에서 메모리를 얼마나 썼나
로컬 AI도 메모리를 많이 씁니다. AIGeek이 (통합 메모리 128GB) 한 대로 Ornith-1.5-122B를 실측했을 때, (양자화)으로 4~5비트까지 줄인 모델이 실행 방식에 따라 74~91GB를 차지했습니다. 한국어 응답 속도는 초당 20~38이었습니다.
같은 장비에 요청 4건을 동시에 보내면 기준 전체 처리량이 초당 67.5토큰으로 늘었습니다. 한 사람이 쓸 때의 약 2.5배입니다. 여럿이 나눠 쓰면 장비 한 대가 처리하는 양이 늘어난다는 뜻입니다.
Qwen3.8-Flash-Next는 RadixArk가 정식 공개 전 후보로 내놓은 4비트 버전으로 실행했습니다. 이 버전의 크기는 135.3GB입니다. 이 구성에서는 47.7GiB 크기의 테이블을 디스크에서 읽어야 해서, 응답 생성 속도가 초당 약 23토큰에 머물렀습니다.
이 측정은 한 번 실행할 때 메모리를 얼마나 쓰는지를 측정한 것입니다. 장비가 하루 중 얼마나 쉬는지는 측정하지 않았습니다.
장비를 고르기 전에 확인할 것
SK하이닉스 전망대로 메모리가 2030년까지 귀하다면, 로컬 장비는 쉬는 시간이 길수록 비싼 선택이 됩니다. 10월 16일 기사의 기준으로 보면, 여러 사람이 매일 나눠 쓰거나 밖으로 내보낼 수 없는 데이터를 다루는 일에는 로컬 장비가 여전히 맞습니다. 가끔 쓰거나 128GB에 들어가지 않는 큰 모델이 필요하다면 클라우드나 쪽이 낫습니다.
- 장비를 하루 몇 시간, 몇 명이 쓰는가
- 쓰려는 모델의 버전이 장비 메모리에 들어가는가
- 메모리 가격이 오르는 동안 장비 견적이 얼마나 바뀌었는가
