중소기업 AI, 직접 구축할까 API 쓸까…시험 장비 900만→1,700만 원

중소기업이 회사 문서를 읽고 직원 질문에 답하는 AI(LLM, 대규모 언어 모델)를 직접 구축하기 전에 먼저 시험해 보는 장비의 가격이 크게 올랐다. 메모리 값이 오르면서 AI 장비 가격이 함께 뛰었기 때문이다.

필자는 2026년 3월 20일 델(Dell)의 소형 AI 컴퓨터 Dell Pro Max with GB10 한 대를 3년 보증을 포함해 900만 원대에 샀다. 고가 GPU를 사고 서버를 구축하기에 앞서 PoC(개념 검증)를 하려는 장비였다. 10월 16일 같은 장비의 견적은 1,700만 원대였다. 이 견적은 3년 보증을 포함한 국내 판매가로, 아래 엔비디아의 미국 권장가와는 조건이 다르다. 엔비디아가 직접 파는 DGX Spark도 같은 GB10을 쓰는 장비다.

장비 가격이 이만큼 오르면 AI를 직접 구축할지, 상용 AI를 API로 빌려 쓸지 다시 따져 봐야 한다. 이 글의 비교 기준은 세 가지다. 동시에 몇 명이 쓸 수 있는지, 사내 기밀 문서가 외부로 유출될 위험이 있는지, 1년 동안 드는 비용이 얼마인지다.

메모리 값이 장비 가격을 끌어올렸다

엔비디아는 2026년 2월 자체 제품 DGX Spark(128GB)의 공식 판매 권장가를 3,999달러에서 4,699달러로 올렸다. 엔비디아는 개발자 포럼 공지에서 인상 이유를 "메모리 공급 제약"이라고 밝혔다.

메모리 값은 아직 오르는 중이다. 시장조사업체 트렌드포스에 따르면 기업끼리 대량으로 거래하는 서버용 D램 가격은 2025년 하반기에만 64% 올랐다. 트렌드포스는 2026년 한 해에 약 270% 더 오를 것으로 전망했다.

AI가 회사 문서를 찾아 읽게 하는 방식(검색 증강 생성, RAG)에는 문서 색인을 담을 저장장치(SSD)도 필요하다. 트렌드포스는 기업용 SSD 가격도 2026년 한 해에 235% 오를 것으로 봤다.

엔비디아는 메모리를 절반으로 줄인 DGX Spark 64GB를 10월 23일부터 에이서·에이수스·델 등 6개 제조사를 통해 4,999달러부터 판다. 엔비디아 자체 128GB 제품의 권장가(4,699달러)보다 300달러 높은 제조사 판매 시작가다. 메모리를 줄였는데도 가격은 내려가지 않았다.

자체 장비: 기밀 문서는 회사 안에 남지만 한 대가 받는 양은 작다

자체 장비의 가장 큰 장점은 사내 기밀 문서가 외부로 유출되지 않는다는 점이다. 장비 가격은 한 번 내고, 질문이 늘어도 사용료가 따로 붙지 않는다.

필자가 이 장비로 업무용 챗봇을 시험해 보니 Gemma-4-26B 모델은 한국어 답을 사람이 읽는 속도보다 빠르게 썼고, 동시 32건까지 기다림 없이 받았다. 그러나 한 직원이 4만 8,508토큰(토큰은 AI가 글을 나누어 처리하는 단위)짜리 긴 문서를 넣자, 그 문서를 읽는 83초 동안 다른 직원들의 질문이 모두 멈췄다.

125B급 Qwen3.8-Flash-Next는 메모리가 더 빠듯했다. 이 장비는 CPU와 GPU가 메모리 128GB를 나눠 쓴다. 그래서 모델을 4비트로 압축(양자화)해야 한 대에 들어갔다. 동시 사용자 16명 기준으로 설정하자 남은 메모리가 2.6GB에 그쳐 다른 모델을 함께 올릴 수 없었다. 큰 모델 하나를 띄우면 장비 한 대가 꽉 찬다는 뜻이다.

장비 한 대에 맞춘 모델도 나오고 있다. 엔비디아는 Qwen3.8-Flash-Next를 4비트로 압축한 뒤 원래 모델의 답을 따라 하도록 다시 학습시킨 버전을 공개했다. 크기는 약 103GB로 DGX Spark 한 대에 들어간다. 엔비디아가 대학원 수준 과학 문제 198개로 측정한 정답률은 원래 모델 92.2%, 압축 모델 91.5%로 차이는 0.7%포인트였다. 아직은 엔비디아가 정한 전용 실행 환경에서만 작동한다.

이 측정은 모두 시험 장비 한 대 기준이다. 긴 문서가 다른 질문을 멈추는 문제는 실행 엔진의 설정값을 바꿔도 풀리지 않았다. 전 직원이 함께 쓰려면 장비를 더 놓아야 한다.

공용 API: 쓴 만큼 내지만 기밀 문서가 외부로 유출될 수 있다

상용 AI를 API로 연결하면 쓴 만큼만 낸다. 앤트로픽 Claude Haiku 5.5와 OpenAI gpt-6-luna는 100만 토큰당 질문으로 넣는 글(입력)에 0.1달러, 받는 답(출력)에 0.5달러다. 중간급인 Claude Sonnet 5.5는 입력 2달러, 출력 10달러다.

질문 하나에 문서 발췌 2만 토큰을 넣고 답 1,000토큰을 받는다고 하자. 직원 100명이 하루 10번씩, 한 달 22일 묻는다면 Claude Sonnet 5.5로는 한 달에 약 1,100달러, Claude Haiku 5.5로는 약 55달러다(필자 계산).

서울외국환중개가 고시한 10월 16일 매매기준율(1달러 1,348.5원)로 바꾸면 Sonnet 5.5는 한 달 약 148만 원이다. 이 속도라면 11~12개월 만에 장비 견적 1,700만 원에 이른다. Haiku 5.5는 한 달 약 7만 원이라 장비 가격에 이르려면 19년 가까이 걸린다(필자 계산).

가격이 곧 바뀌는 모델도 있다. 구글 Gemini 4 Argon은 11월 30일까지 입력 2달러·출력 10달러이고, 12월 1일부터 두 배가 된다.

OpenAI·앤트로픽·구글 세 회사는 모두 API로 받은 데이터를 모델 학습에 쓰지 않는다고 문서에 적어 두었다. 보관 방식은 회사마다 다르다. OpenAI는 부정 사용을 막으려고 기록을 기본 30일 보관하고, 앤트로픽은 30일 안에 지운다.

구글은 응답을 빠르게 하려고 데이터를 기본으로 임시 저장한다.

아예 보관하지 않는 계약(Zero Data Retention)은 OpenAI와 앤트로픽 모두 별도 승인을 받아야 한다. 데이터 처리 지역을 지정하면 요금이 오른다. OpenAI는 3월 5일 이후 나온 모델에 지역을 지정하면 10%를 더 받고, 앤트로픽은 미국 안에서만 처리하도록 정하면 1.1배를 받는다.

클라우드 전용 연결: 공용 인터넷을 거치지 않는다

자체 장비와 공용 API 사이에 중간 선택지도 있다. 회사가 이미 쓰는 클라우드 안에서 AI 모델에 사설 연결로 접속하는 방식이다.

아마존웹서비스(AWS)는 AI 모델 서비스 Amazon Bedrock을 공용 인터넷이 아닌 사설 연결(AWS PrivateLink)로 쓸 수 있게 한다. 회사가 AWS 안에 만든 사설망에서 Bedrock이 그 안에 있는 것처럼 접속하는 방식이다.

이 방식에서는 문서가 공용 인터넷을 지나지 않는다. 다만 기밀 문서가 회사 외부 클라우드에서 처리된다는 점은 공용 API와 같다.

GPU 임대: 장비 없이 원하는 모델을 돌린다

장비를 사지 않고 빌리는 방법도 있다. GPU 임대 업체 Lambda는 데이터센터용 H100 SXM(80GB) 한 장을 주문형 요금으로 시간당 3.99달러에 빌려준다(10월 16일 가격표 기준). 30일 내내 쓰면 약 387만 원(필자 계산)으로 Sonnet 5.5를 API로 쓸 때보다 비싸다. 대신 AI 회사의 API를 거치지 않고 원하는 공개 모델을 정해진 기간만 실행할 수 있다. 기밀 문서도 임대 업체의 데이터센터에서 처리된다.

H100 한 장과 시험 장비 한 대를 시간당 요금으로 바로 견줄 수는 없다. H100은 메모리에서 데이터를 읽는 속도(메모리 대역폭)가 GB10의 약 12배다(엔비디아 발표 기준 초당 3.35TB 대 273GB). 같은 모델을 돌려도 한 시간에 처리하는 양이 다르다.

섞어 쓰기, 그리고 네 방식 비교

가장 현실적인 절충은 섞어 쓰는 방식이다. 인사 기록이나 계약서처럼 외부로 유출되면 안 되는 기밀 문서는 자체 장비로 처리하고, 일반 문의나 공개 자료 요약은 API로 보낸다. 그러면 자체 장비는 한 대로 유지하고 사용량이 몰리는 일만 API에 맡길 수 있다.

직원 100명이 하루 10번 묻는 규모라면 중간급 API를 1년 가까이 써야 지금 이 시험 장비 한 대 가격이 된다. 기밀 문서가 많지 않은 중소기업이라면 API부터 쓰고, 기밀 문서만 자체 장비로 처리해도 된다.