GB10 Qwen3.8‑27B 3주, 3.4배 느려도 남긴 이유 (recipes.vllm.ai)
GB10 한 대에 Qwen3.8-27B를 사내 챗봇의 선택 모델로 3주째 운영하고 있습니다. 공개 지능 지표는 같은 기계의 기본 모델 Gemma-4-26B의 두 배(52 대 26)인데, 한국어 산문은 14~15 tok/s로 그 기본 모델(51.5)보다 3.4배 느렸습니다. 속도를 올리려 한 시도는 MTP 깊이 하나만 빼고 전부 실패했습니다.
GB10 한 대에 Qwen3.8-27B를 사내 챗봇의 선택 모델로 3주째 운영하고 있습니다. 공개 지능 지표는 같은 기계의 기본 모델 Gemma-4-26B의 두 배(52 대 26)인데, 한국어 산문은 14~15 tok/s로 그 기본 모델(51.5)보다 3.4배 느렸습니다. 속도를 올리려 한 시도는 MTP 깊이 하나만 빼고 전부 실패했습니다.