GLM-5.3-Flash, GB10 2대 속도·한국어 품질 측정

Z.ai가 공개한 GLM-5.3-Flash를 GB10 두 대에 나눠 실행하는 레시피를 Mia-AiLab이 정한 설정 그대로 설치했다. 레시피는 Mia-AiLab↗이 실행 설정과 엔진 패치를 모아 GitHub에 공개한 저장소↗다. 한국어 속도와 동시 처리, 이미지 이해와 tool call(도구 호출), 한국어 답변의 안정성을 같은 문항으로 측정했다. 사고(Thinking)는 모델이 답하기 전에 추론 과정을 쓰는 기능이다. GLM 수치는 모두 11월 6일에 직접 측정했고, Mia-AiLab 수치는 레시피 문서를 열어 확인했다.

측정은 2026년 11월 6일 하루(약 3시간) 동안 Dell Pro Max with GB10 2대를 ConnectX-7 케이블로 직접 연결해 진행했다. 이 기기는 NVIDIA DGX Spark와 같은 GB10 플랫폼(통합 메모리 128GB)이며, 이 글은 읽기 쉽게 GB10이라고 부른다. 실행에는 Mia-AiLab 레시피 「GLM-5.3-Flash-DGX-Sparks-1104」 11월 5일판을 썼다. 비교 기준은 GB10 1대에서 같은 측정 도구로 10월에 측정한 Qwen3.8-Flash-Next 4비트 모델이며, GLM과 같은 날 측정한 값이 아니다. 각 표 아래에 날짜와 조건을 적었다.

속도는 충분했지만 한국어 답 4개가 깨졌다

한국어 요청 한 건은 초당 40.8토큰이 나왔다. 동시에 8건을 보내면 합계가 초당 108.8토큰이었다. Mia-AiLab이 레시피에 적은 영어 수치(한 건 38.4, 8건 합계 105~106)와 비슷하다. 이미지 이해는 정답 단어 26개를 모두 맞혔고 도구 호출도 정상이었다.

그러나 한국어 질문 19개 가운데 4개에서 답이 쓰던 도중 깨졌다. 답에 이상한 낱말과 깨진 글자(�)가 나왔다. 그 뒤 추론 과정이 끝났음을 알리는 표시 </think>와 「corrupted output」(깨진 출력)이라는 말이 출력에 나왔고, 답이 처음부터 다시 시작됐다. 같은 질문을 온도 0으로 다시 보내도 같은 자리에서 같은 글이 나왔다. 온도는 답의 무작위성을 정하는 설정이며, 0이면 같은 질문에 같은 답이 나온다.

레시피에서 바꿀 수 있는 설정은 초안 모델, KV 캐시, 연산 정밀도 등이다. 초안 모델은 속도를 높이는 보조 모델이고, KV 캐시는 앞서 처리한 글의 계산 결과를 저장해 두는 메모리다. 이 설정을 바꿔도 깨짐은 사라지지 않았다. 자세한 시험은 뒤의 표에 있다.

추가 (2026-11-09) 이 측정은 레시피 11월 5일판(620ad29)이다. 그 뒤 Mia-AiLab은 기본값을 하나 바꾸고 수정을 두 개 제안했다. >11월 7일에 바꾼 기본값은 템플릿(모델에 보내는 프롬프트의 틀)에 관한 것이다. 사고를 끈 요청에서는 시스템 프롬프트에 「Reasoning Effort: Max」 줄을 넣지 않게 했다. 이 줄이 무엇인지는 뒤의 '사고를 꺼도 프롬프트 첫 줄에 …' 절에서 설명한다. >11월 8일에 제안한 수정 두 개는 아직 열려 있다. 하나(PR #37)는 사고를 끈 답에서 </think> 앞에 나오는 글을 본문에 두지 않고 reasoning_content라는 별도 항목에 담는 것이다. 다른 하나(PR #36)는 답이 <|assistant|>라는 표시에서 끝나게 하는 것이다. 모델이 답을 마치고 같은 답을 한 번 더 이어 쓰는 증상을 막는 수정이며, 이번 측정에는 그 증상이 기록되지 않았다. >바꾼 기본값은 뒤의 재시험 표에서 이 줄을 지운 조건과 같다. 깨진 4문항을 다시 보낸 그 시험에서 추론 글이 섞인 문항은 4개 중 3개에서 2개로 줄었다. PR #37은 답에 섞이는 추론 글을 화면에서 걷어 낼 뿐 깨진 글자(�)는 고치지 않는다. 최신판은 다시 측정하지 않았다.

측정한 모델과 실행 구성

GLM-5.3-Flash는 Z.ai가 MIT 라이선스로 공개한 모델이다. 전체 파라미터 320B 가운데 18B만 활성화하는 MoE(전문가 혼합) 구조이고, 이미지 입력을 받는 첫 GLM-5 계열 모델이라고 모델 카드에 적혀 있다. 사고 기능은 켜고 끌 수 있으며, 이 글의 측정은 자전거 타는 펠리컨 SVG 그리기 과제 한 가지(뒤에서 설명)를 빼고 전부 사고를 끈 상태다.

양자화는 모델의 숫자를 더 적은 비트로 저장해 크기를 줄이는 방법이다. 양자화한 모델도 가중치가 175.7GB여서 통합 메모리 128GB인 한 대에는 올라가지 않아 두 대에 나눠 싣는다. 이때 쓰는 텐서 병렬은 모델 한 벌을 두 장비에 나눠 싣고 함께 계산하는 방식이고, EXL3는 ExLlamaV3용 양자화 형식이다.

초안 모델은 speculative decoding(추측 디코딩)에 쓰인다. 작은 초안 모델이 다음 토큰 여러 개를 미리 추측하면 본 모델이 한 번에 검사해 맞는 토큰만 확정한다. DFlash2 제작사는 결과가 본 모델의 출력과 같다고 설명한다. Mia-AiLab은 상업 용도라면 체크포인트에 든 MTP 층을 쓰거나 초안 없이 쓰라고 적었다. MTP 층은 다음 토큰을 예측하는 층이고, 설정값은 DRAFTER=mtp와 none이다.

설정은 Mia-AiLab이 실제 서비스에 쓰는 값을 따랐다. 동시 요청은 8건까지 받고, 장비마다 메모리 9.5GiB를 남겨 둔다. 숫자를 저장하는 형식은 KV 캐시가 fp8(8비트 부동소수점), 중간 층과 출력층이 q8(8비트 양자화)이다.

바꾼 것은 API 접속 주소 하나뿐이며, 측정할 때는 SSH 터널로 접속했다. 첫 기동에는 약 3분, 재기동에는 약 2분이 걸렸다.

한국어 요청 한 건은 초당 40.8토큰

사고를 끄고 600토큰 길이의 글을 쓰게 했다. 한국어 다섯 문항과 영어 세 문항을 세 번씩 실행해 중앙값을 냈다. 단위는 초당 생성 토큰 수(tok/s)이고, 괄호 안은 최솟값~최댓값이다.

비교 기준은 10월 28일에 같은 스크립트와 같은 한국어 질문으로 측정한 값이다. GLM은 기준 모델보다 한국어에서 약 7% 느렸다. 첫 토큰이 나오기까지는 한국어 207ms, 영어 169ms였다.

Mia-AiLab이 적은 한 건 속도는 영어로 측정한 초당 38.4토큰이다. 한국어에서도 이 수준이 나왔다. Mia-AiLab 수치는 항상 확률이 가장 높은 토큰을 고르는 그리디 방식으로 측정한 값이라 우리 조건과 완전히 같지는 않다.

동시에 8건을 보내면 합계가 초당 108.8토큰

같은 한국어 질문을 여러 건 동시에 보내, 요청 한 건이 받는 속도(건당)와 모든 요청을 더한 속도(합계)를 측정했다. 동시 1건 행은 질문 한 가지를 반복한 값이라 앞 표의 40.8과 조금 다르다. 1건 행에서 건당(39.3)이 합계(38.7)보다 큰 것은 건당이 첫 토큰 이후의 속도이고 합계는 첫 토큰을 기다린 시간까지 포함해 나누기 때문이다.

요청이 늘면 건당 속도는 낮아지지만 합계는 올라간다. 1건에서 8건으로 늘리면 건당은 39.3에서 14.4로 떨어지고, 합계는 38.7에서 108.8로 오른다. 여러 사용자가 함께 쓰는 서버라면 사용자 한 명이 받는 속도가 초당 14토큰 안팎이 된다는 뜻이다.

비교 기준 모델은 10월 28일에 동시 5건으로만 측정했다. 건당 22~26, 합계 109.5토큰이었다. 동시 수가 달라 같은 표에 넣지 않았다. 한 대에서 실행한 모델과 두 대에서 실행한 모델의 처리량을 같은 조건에서 비교한 값은 없다.

이미지 이해와 도구 호출은 정상

표 이미지, 차트 이미지, 스캔한 문서 이미지를 각각 두 번씩 보여 주고, 정답 단어가 답에 들어 있는지를 세었다. 정답 단어 26개가 모두 적중했다. 도구 호출은 OpenAI 형식의 tool_calls로 확인했다. 두 도시의 날씨를 묻자 도구 호출 2건이 한 번에 나왔고, 도구 결과를 받은 뒤 답이 이어졌으며, 스트리밍에서도 정상이었다.

한국어 질문 19개 중 4개에서 답이 중간에 깨졌다

사내 채팅 서비스의 시스템 프롬프트(약 8.2K 토큰)를 붙이고 한국어 질문 19개를 보냈다. 지식, 전략, 이어 묻기, 작성, 함정 질문 등 아홉 가지 유형이다. 온도(temperature)는 0으로 두고 사고는 끄고 최대 4,096토큰으로 제한했다.

* 비교 기준의 품질 값은 10월 18일에 측정한 직전 버전이다. 문항·온도·사고 끔은 같지만 함께 보낸 시스템 프롬프트가 그사이 바뀌어 9,035자에서 11,489자가 됐다. 이 열은 참고값이다.

깨진 답은 이런 모습이다. 아래는 모두 온도 0, 사고 끔에서 나온 원문이며 앞뒤는 생략했다. 첫 번째는 모델 비교를 설명하던 답이다.

두 번째는 그래프 작성이 가능한지 묻는 질문의 답이다.

사고를 끈 요청이라서 위 코드 블록의 글 전체가 사용자 화면에 본문으로 나간다. 이 밖에 표를 그리다가 「오픈 먬프」, 「클로즈 루지」처럼 낱말이 깨진 답과, 짧은 설명 안에서 「읽고 �쓰는」처럼 글자 하나만 깨진 답이 있었다.

깨진 답은 대부분 이어 묻는 질문에서 나왔다. 앞 대화가 붙은 질문 4개 중 3개에서 깨졌다. 첫 질문 15개 중에서는 1개(글자 하나)뿐이었다. 프롬프트 길이는 모든 질문이 8.3K~8.7K 토큰으로 비슷해 길이로는 설명되지 않는다. 실제 채팅은 이어 묻기가 대부분이라 체감하는 빈도는 더 높을 수 있다.

설정을 바꿔도 사라지지 않았다

깨진 4문항을 조건만 바꿔 다시 보냈다. 매번 엔진을 재기동했고 온도는 0이었다.

* 「Reasoning Effort: Max」 줄을 지운 시험만 엔진을 재기동하지 않고, 엔진이 만든 프롬프트 글에서 그 줄을 직접 지운 뒤, 채팅 틀을 거치지 않고 그 글을 그대로 보냈다. ABSORB_MMA는 레시피 설정이다. 긴 입력을 읽는 단계의 연산 방식을 고르며, Mia-AiLab은 켜면 속도가 8% 빨라지고 결과는 같다고 적었다.

원인으로 남는 것은 4비트로 양자화한 전문가 가중치(EXL3)나 엔진의 핵심 연산 코드다. 이 레시피가 지원하는 가중치는 4비트 하나뿐이라 사용자가 바꿀 수 있는 설정은 더 없다.

자전거 타는 펠리컨 SVG는 네 번 모두 끝내지 못했다

긴 코드를 끝까지 써 내는지 보려고 「자전거 타는 펠리컨을 움직이는 SVG로 그려 달라」고 요청했다. 샘플링은 엔진 기본값(온도 1.0, 누적 확률 상위 95% 안에서 고르는 top_p 0.95)이다. 시도는 모두 네 번이고 네 번 모두 토큰 한도에 닿을 때까지 그림을 끝내지 못했다.

시도 1·3·4는 사고를 끄고 한도 8,000토큰으로, 시도 2는 사고를 켜고 한도 32,000토큰으로 실행했다. 시도 1·2는 당시 측정 스크립트가 SVG만 저장해서 본문 원문이 남지 않았고, 한도까지 썼다는 점은 생성 토큰 수로 확인했다.

시도 3은 </leg motion> 같은 깨진 태그가 든 SVG 조각을 낸 뒤 한도까지 이어졌다. 시도 4는 <lane rect=…> 같은 깨진 속성이 들어간 SVG 뒤에 그 오류를 설명하는 문장이 나오고, 영어로 다시 설계하는 글이 이어지다 한도에 걸렸다. 두 시도의 증상은 한국어 질문에서 본 깨짐과 같은 형태다.

같은 프롬프트로 10월 22일에 측정한 Ornith-1.5-122B는 여섯 번 모두 성공했다. 비교 기준 Qwen3.8-Flash-Next는 사고를 끈 두 번 모두 성공했고, 사고를 켠 두 번은 1만 6,000토큰 한도에서 끝내지 못했다. 완성된 그림이 없어 비교 캡처는 만들지 않았다.

사고를 꺼도 프롬프트 첫 줄에 「Reasoning Effort: Max」가 들어갔다

모델 카드에 따르면 GLM-5.3-Flash는 reasoning_effort 값을 주지 않으면 최대(max)로 처리한다. 엔진이 쓰는 템플릿에는 사고를 꺼도 시스템 프롬프트 첫 줄에 「Reasoning Effort: Max」(추론 강도 최대)를 붙이는 규칙이 있었다. 요청에 담은 reasoning_effort 값은 반영되지 않았다.

Mia-AiLab도 이 줄 때문에 모델이 사고를 끈 답의 본문에 추론 과정을 쓰게 된다고 적었다. Mia-AiLab은 자체 품질 시험(755문항, 그리디)에서 이 줄을 넣으면 질의응답 정답률이 79.3%, 뺀 기본값에서는 86.0%라고 밝혔다. 우리 결과와 같은 방향이다.

날씨 도구를 막고 물으면 기온을 지어냈고, 세차장 질문은 앞뒤가 달랐다

날씨 조회 도구를 쓰지 못하게 막고(tool_choice: "none") 날씨를 물었다. 도구가 없으니 날씨를 알 수 없다고 답해야 한다. 그런데 두 번 중 한 번은 기온 수치를 적었고, 같은 글에 「실시간 날씨 정보에 접근할 수 없다」는 문장도 함께 적혀 있었다. 함정 질문 「세차장까지 50m, 비가 온다, 차를 두고 갈까 걸어갈까」에는 「차를 두고 걸어가는 게 낫다」로 시작해 「결론: 차를 몰고 가세요」로 끝나 앞뒤가 맞지 않았다.

한국어 채팅과 긴 코드에는 맞지 않고, 장비 두 대가 필요한 이유는 모델 크기다

이미지 이해와 도구 호출이 필요하고 답이 깨져도 걸러 낼 수 있는 용도라면 쓸 만했다. 한국어 한 건 속도는 GB10 한 대에서 실행한 Qwen3.8-Flash-Next보다 약 7% 느린 수준이다. 참고로 비교 기준의 동시 5건 합계는 109.5토큰이고 GLM의 동시 8건 합계는 108.8토큰이다.

두 대를 쓰는 이유는 처리량이 아니라 모델 크기다. 이 모델은 가중치가 175.7GB여서 한 대에는 올라가지 않는다. 장비 구입 가격은 첫 한 대가 900만 원대, 두 번째 한 대가 1,200만 원대이고, 둘 다 저장공간 4TB 모델에 3년 AS를 추가한 값이다. 두 대를 합치면 2,000만 원이 넘는다.

108.8토큰은 비상업 라이선스인 DFlash2를 켠 값이다. 상업 서버에서 초안 모델 없이 쓴 속도는 측정하지 않았다. Mia-AiLab이 11월 3일에 초안 모델별로 비교한 영어 시험에서 동시 4건 합계는 초안을 쓰지 않으면 26.4토큰, MTP를 쓰면 57.6토큰, DFlash2를 쓰면 69.8토큰이었다. 앞의 표에 적은 79~81토큰은 레시피 문서의 다른 측정 표 값이라 이 시험과 조건이 같지 않다.

한국어 업무용 채팅에는 올리기 어렵다. 이어 묻는 질문에서 답이 깨질 가능성이 높았고, 깨진 글이 사용자 화면에 그대로 나간다. 긴 코드를 한 번에 써야 하는 용도에도 맞지 않았다. 펠리컨 SVG는 네 번 모두 끝나지 않았다.

같은 장비에서 모델을 여러 실행 방식으로 나눠 비교하는 방법은 Qwen3.8-Flash-Next 엔진 다섯 가지 비교 리뷰에 있다. 이 모델에 같은 비교를 하려면 이 글의 19개 문항과 온도 0 조건을 그대로 쓰면 된다. 깨진 답이 매번 같은 자리에서 나와서 조건을 바꿀 때마다 결과를 맞춰 볼 수 있다.

같은 조건으로 다시 측정하는 방법

우리는 레시피 MiaAI-Lab/GLM-5.3-Flash-DGX-Sparks-1104 main 620ad29를 그대로 내려받았다. scripts/local.sh에 Mia-AiLab이 실제 서비스에 쓰는 값을 넣고 HOST=127.0.0.1만 더했다.

PARALLEL은 동시에 받는 요청 수(스트림)이다. 레시피 기본 접속 주소는 0.0.0.0이라서 모든 네트워크에서 접속할 수 있으므로, 외부에 열린 장비라면 받자마자 127.0.0.1(장비 자신만 접속할 수 있는 주소)로 바꿔야 한다. 가중치는 두 장비가 각자 hf download로 받았는데 장비당 약 40MB/s였고, 이미지 빌드에는 약 11분이 걸렸다.

원인 시험은 같은 문항을 반복하는 스크립트와 템플릿 줄을 지워 보내는 스크립트로 했다. 엔진의 /tokenize와 /detokenize로 실제 렌더링된 프롬프트를 확인했다.