메모리 값이 오르면서 중소기업이 AI를 들이기 전에 시험하는 장비 가격도 크게 뛰었다. 필자가 GPU 서버 구축에 앞서 3월에 900만 원대에 산 Dell Pro Max with GB10은 10월 견적이 1,700만 원대였다. 동시 사용 인원, 기밀 문서 유출 위험, 비용 세 가지로 자체 장비·공용 API·클라우드 전용 연결·GPU 임대를 비교했다.
알리바바 Qwen의 125B MoE 모델 Qwen3.8-Flash-Next를 NVIDIA DGX Spark 한 대에 올리는 커뮤니티 레시피 다섯 개를 10일간 실제 서비스 서버에서 비교했다. 같은 4비트라도 같은 3D 코드 과제가 0/2에서 2/2까지 차이가 났고, 한국어에서는 초안 어휘 목록만 고쳐도 속도가 약 14% 올랐다.
GB10 한 대에 4비트 후보판 Qwen3.8-Flash-Next를 6일간 운영했습니다. 품질과 안정성은 합격인데, 체감 속도가 기본 모드에서도 같은 기계의 기본 모델(Gemma-4-26B)보다 1.4배 느렸습니다(41.7 대 29.1초). 사고를 최대로 켜면 한 답에 최대 33.7분까지 걸렸습니다. 모델이 아니라 GB10 한 대 구성의 병목입니다.
GB10 한 대에 Qwen3.8-27B를 사내 챗봇의 선택 모델로 3주째 운영하고 있습니다. 공개 지능 지표는 같은 기계의 기본 모델 Gemma-4-26B의 두 배(52 대 26)인데, 한국어 산문은 14~15 tok/s로 그 기본 모델(51.5)보다 3.4배 느렸습니다. 속도를 올리려 한 시도는 MTP 깊이 하나만 빼고 전부 실패했습니다.
GB10 한 대에 Gemma-4-26B-A4B를 vLLM으로 올려 사내 챗봇으로 넉 달째 쓰고 있습니다. 공식 NVFP4 4비트 판으로 바꾸자 디코드가 22.5에서 41.1 tok/s로 뛰었고, 한국어 산문 답변은 51.5 tok/s가 나옵니다. 다만 긴 문서 한 건이 팀 전체를 83초 멈추는 문제는 파라미터로 고치지 못했습니다.
