GB10 한 대에 4비트 후보판 Qwen3.8-Flash-Next를 6일간 운영했습니다. 품질과 안정성은 합격인데, 체감 속도가 기본 모드에서도 같은 기계의 기본 모델(Gemma-4-26B)보다 1.4배 느렸습니다(41.7 대 29.1초). 사고를 최대로 켜면 한 답에 최대 33.7분까지 걸렸습니다. 모델이 아니라 GB10 한 대 구성의 병목입니다.
GB10 한 대에 Qwen3.8-27B를 사내 챗봇의 선택 모델로 3주째 운영하고 있습니다. 공개 지능 지표는 같은 기계의 기본 모델 Gemma-4-26B의 두 배(52 대 26)인데, 한국어 산문은 14~15 tok/s로 그 기본 모델(51.5)보다 3.4배 느렸습니다. 속도를 올리려 한 시도는 MTP 깊이 하나만 빼고 전부 실패했습니다.
GB10 한 대에 Gemma-4-26B-A4B를 vLLM으로 올려 사내 챗봇으로 넉 달째 쓰고 있습니다. 공식 NVFP4 4비트 판으로 바꾸자 디코드가 22.5에서 41.1 tok/s로 뛰었고, 한국어 산문 답변은 51.5 tok/s가 나옵니다. 다만 긴 문서 한 건이 팀 전체를 83초 멈추는 문제는 파라미터로 고치지 못했습니다.
