메모리 값이 오르면서 중소기업이 AI를 들이기 전에 시험하는 장비 가격도 크게 뛰었다. 필자가 GPU 서버 구축에 앞서 3월에 900만 원대에 산 Dell Pro Max with GB10은 10월 견적이 1,700만 원대였다. 동시 사용 인원, 기밀 문서 유출 위험, 비용 세 가지로 자체 장비·공용 API·클라우드 전용 연결·GPU 임대를 비교했다.
알리바바 Qwen의 125B MoE 모델 Qwen3.8-Flash-Next를 NVIDIA DGX Spark 한 대에 올리는 커뮤니티 레시피 다섯 개를 10일간 실제 서비스 서버에서 비교했다. 같은 4비트라도 같은 3D 코드 과제가 0/2에서 2/2까지 차이가 났고, 한국어에서는 초안 어휘 목록만 고쳐도 속도가 약 14% 올랐다.
마이크로소프트가 10월 7일 코딩 모델 MAI-Code-1.1-Flash의 PC용 로컬판을 공개했다. 크기를 53GB로 줄였고, SWE-Bench Verified 70.8%로 클라우드판(72.6%)에 근접했다. 256K 컨텍스트에서 최대 75.5GB 메모리를 쓰며, 서피스 랩톱 울트라는 10월 16일 출시된다.
GB10 한 대에 4비트 후보판 Qwen3.8-Flash-Next를 6일간 운영했습니다. 품질과 안정성은 합격인데, 체감 속도가 기본 모드에서도 같은 기계의 기본 모델(Gemma-4-26B)보다 1.4배 느렸습니다(41.7 대 29.1초). 사고를 최대로 켜면 한 답에 최대 33.7분까지 걸렸습니다. 모델이 아니라 GB10 한 대 구성의 병목입니다.
GB10 한 대에 Gemma-4-26B-A4B를 vLLM으로 올려 사내 챗봇으로 넉 달째 쓰고 있습니다. 공식 NVFP4 4비트 판으로 바꾸자 디코드가 22.5에서 41.1 tok/s로 뛰었고, 한국어 산문 답변은 51.5 tok/s가 나옵니다. 다만 긴 문서 한 건이 팀 전체를 83초 멈추는 문제는 파라미터로 고치지 못했습니다.
알리바바가 오픈 웨이트 모델 Qwen3.8-Flash-Next 를 2026년 8월 26일 공개했습니다. 토큰당 6B 만 켜는 125B MoE 판본이고, 8월 15일 나온 밀집 모델 Qwen3.8-27B 의 다음 차례입니다. 개인 PC 로 가는 llama.cpp 지원은 하루 반 만에 정식 태그에 들어갔습니다.
