DGX Spark(GB10)로 Qwen3.8-Flash-Next 모델 실측 비교 (huggingface.co)
알리바바 Qwen의 125B MoE 모델 Qwen3.8-Flash-Next를 NVIDIA DGX Spark 한 대에 올리는 커뮤니티 레시피 다섯 개를 10일간 실제 서비스 서버에서 비교했다. 같은 4비트라도 같은 3D 코드 과제가 0/2에서 2/2까지 차이가 났고, 한국어에서는 초안 어휘 목록만 고쳐도 속도가 약 14% 올랐다.
#온프레미스 LLM
Qwen3.8-Flash-Next, 팀 배포는 아직 개인용은 쓸 만 (huggingface.co)
GB10 한 대에 4비트 후보판 Qwen3.8-Flash-Next를 6일간 운영했습니다. 품질과 안정성은 합격인데, 체감 속도가 기본 모드에서도 같은 기계의 기본 모델(Gemma-4-26B)보다 1.4배 느렸습니다(41.7 대 29.1초). 사고를 최대로 켜면 한 답에 최대 33.7분까지 걸렸습니다. 모델이 아니라 GB10 한 대 구성의 병목입니다.
GB10 Qwen3.8‑27B 3주, 3.4배 느려도 남긴 이유 (recipes.vllm.ai)
GB10 한 대에 Qwen3.8-27B를 사내 챗봇의 선택 모델로 3주째 운영하고 있습니다. 공개 지능 지표는 같은 기계의 기본 모델 Gemma-4-26B의 두 배(52 대 26)인데, 한국어 산문은 14~15 tok/s로 그 기본 모델(51.5)보다 3.4배 느렸습니다. 속도를 올리려 한 시도는 MTP 깊이 하나만 빼고 전부 실패했습니다.
GB10 한 대에 Gemma‑4‑26B 넉 달, 이 조합은 잘 맞았다 (huggingface.co)
GB10 한 대에 Gemma-4-26B-A4B를 vLLM으로 올려 사내 챗봇으로 넉 달째 쓰고 있습니다. 공식 NVFP4 4비트 판으로 바꾸자 디코드가 22.5에서 41.1 tok/s로 뛰었고, 한국어 산문 답변은 51.5 tok/s가 나옵니다. 다만 긴 문서 한 건이 팀 전체를 83초 멈추는 문제는 파라미터로 고치지 못했습니다.