RTX 그래픽카드 'AI 성능 2배' 해제 도구, 실제로 빨라지는 작업은

RTX 3090이나 4090으로 이미지를 만들거나 로컬 LLM을 쓰는 사람이라면 10월 하순 이런 소식을 봤을 겁니다. 게이밍 그래픽카드의 AI 계산 속도를 두 배로 올려 준다는 공개 도구가 GitHub에 올라왔습니다. 국내 SNS에서는 엔비디아가 RTX에 걸어 둔 'AI 연산 제한'을 오픈소스가 풀었다는 글로 퍼졌는데, 함께 돈 RTX 2080 Ti 같은 20 시리즈 수치는 두 저장소의 카드 목록 어디에도 없습니다.

내 RTX 카드도 AI 성능이 두 배가 되나? 먼저 조건이 둘 붙습니다. 두 저장소의 모듈은 리눅스에서 돌아가고, 확인된 카드가 정해져 있습니다. 조건이 맞아도 두 배는 카드 안의 명령 속도 이야기입니다. 이미지 생성처럼 계산이 몰린 일은 빨라졌다는 보고가 있지만, 로컬 LLM이 답을 써 내려가는 속도는 거의 그대로입니다. 아래는 두 저장소의 문서와 엔비디아 백서, 해외 매체 보도를 정리한 것이고, 직접 실행해 본 결과는 아닙니다.

엔비디아 사양표에 이미 적혀 있던 속도 제한

그래픽카드에는 AI 계산의 핵심인 행렬 곱셈만 맡는 텐서 코어(Tensor Core)라는 회로가 있습니다. 이미지 생성이나 AI 학습은 숫자를 16비트로 줄여 담는 FP16·BF16 형식으로 이 회로를 많이 씁니다. 곱한 값을 차곡차곡 더해 쌓는 과정을 누산이라고 하는데, 결과를 16비트로 쌓으면 FP16 누산, 더 정밀한 32비트로 쌓으면 FP32 누산입니다.

엔비디아가 공개한 Ampere 백서↗와 Ada 백서↗의 사양표를 비교하면 차이가 보입니다. 아래 값은 1초에 몇 조 번 계산하는지를 나타내는 TFLOPS 단위이고, 백서가 따로 적은 희소 연산(0이 많은 행렬을 건너뛰는 계산) 값은 뺐습니다.

3090과 A6000은 같은 GA102 칩을 씁니다. 그런데 게이밍용 3090은 FP32 누산에서 속도가 정확히 절반으로 떨어지고, 전문가용 A6000은 누산 방식과 상관없이 같은 속도를 냅니다. 4090도 FP32 누산 값이 FP16 누산의 절반입니다. BF16을 FP32로 누산할 때도 3090은 71, 4090은 165.2로 같은 반값입니다.

이 반값은 감춰 둔 것이 아니라 엔비디아 공식 문서에 적힌 사양입니다. 해외 하드웨어 매체 Hardware Busters↗도 "엔비디아는 GeForce 카드가 일부 텐서 연산을 절반 속도로 돌린다는 것을 숨긴 적이 없다"고 썼습니다. 다만 엔비디아가 왜 이렇게 나눴는지 설명한 문장은 백서에서 찾지 못했고, 이번 도구에 대한 공식 입장도 10월 25일까지 찾지 못했습니다.

빨라지는 작업과 그대로인 작업

GPU-Unlock이 건드리는 것이 이 반값 제한입니다. 30 시리즈용 저장소↗는 FP16·BF16을 FP32로 누산하는 명령의 처리 속도를 두 배로 올린다고 설명합니다. 사용자 보고로 확인된 카드는 3090 Ti·3090·3080 10GB·3070·3060 12GB입니다. 같은 계열이라도 3080 Ti 20GB OEM판처럼 해제 뒤에도 절반 속도에 머문 보고가 있습니다. 40 시리즈용 저장소↗는 4090을 주 대상으로 하고, 4070 Ti SUPER·4060 Ti 16GB는 실험 단계로 따로 엽니다. 두 저장소가 받는 카드에 20·50 시리즈는 없습니다.

명령을 내보내는 속도가 두 배가 돼도 실제 작업까지 두 배 빨라지지는 않습니다. 칼질이 두 배 빨라져도 재료를 꺼내 오고 접시에 담는 시간은 그대로인 것과 비슷합니다. LLM으로 치면 답을 쓰기 전에 질문을 읽어 들이는 단계(prefill)는 계산이 몰려 빨라지지만, 답을 한 토큰씩 써 내려가는 단계인 디코드(decode)는 메모리에서 데이터를 읽어 오는 속도에 묶여 거의 달라지지 않습니다.

4090의 두 배는 카드가 텐서 명령을 내보내는 속도만 따로 측정하는 벤치마크에서 나왔습니다. 다른 소유자 한 명이 같은 방식으로 두 배를 얻은 실행에서, 실제 프로그램이 쓰는 cuBLAS로는 +12~34%였습니다. 저장소는 이 결과가 해제 전후 한 번씩 실행한 것이고 응용 프로그램 전체 속도나 장시간 안정성 시험이 아니라고 적었습니다. 30 시리즈 사용자 보고는 편차가 큽니다. 저장소는 전력 제한이 결과를 크게 좌우한다고 설명하는데, 가장 낮은 +25%는 전력을 225W로 묶은 카드에서 나왔습니다.

이미지 생성 쪽은 보고된 향상 폭이 큽니다. 해외 매체 Notebookcheck↗는 3090 Ti의 ComfyUI 테스트에서 BF16 이미지 생성 처리량이 47~59% 늘었다고 전했습니다. 저장소에 따르면 해제 전후 출력을 비교한 사용자 보고에서는 결과가 비트 단위까지 같았습니다. 게임은 Hardware Busters가 이 연산을 거의 쓰지 않아 변화가 없다고 설명했습니다.

펌웨어의 보안 허점을 이용해 풀었다

카드 안에는 텐서 명령 속도를 '전속' 또는 '절반'으로 정하는 설정값이 있습니다. 이 값은 드라이버 쪽에서는 바꿀 수 없게 잠겨 있습니다. 30 시리즈 저장소의 기술 문서↗는 그 잠금을 부팅 과정의 결함으로 풀었다고 설명합니다.

드라이버가 Ampere 카드를 초기화할 때, 카드 안 보안 프로세서는 엔비디아가 서명한 부팅 펌웨어(Booter)로 다음 펌웨어를 검증하고 풀어 냅니다. 문서에 따르면 이 Booter에는 정해진 칸보다 긴 입력을 넣으면 넘친 내용이 다른 자리를 덮어쓰는 고전적인 버퍼 오버플로 결함이 있고, 도구는 이를 이용합니다. 엔비디아가 한때 디버그용 Booter를 공개된 테스트 키로 암호화해 배포한 탓에, 이를 풀어 분석한 사람들이 결함을 찾았습니다.

도구는 패치한 드라이버가 아니라 리눅스 커널 모듈입니다. 엔비디아 드라이버가 카드를 잡기 전에 잠금을 풀고 속도 설정값을 쓴 뒤 카드를 리셋합니다. 되돌리려면 부팅 옵션에서 이 모듈을 켜는 항목을 지우면 됩니다. 저장소는 펌웨어가 멈추지 않는 경우 전원을 완전히 껐다 켠 뒤 다시 시도하라고 안내합니다.

40 시리즈는 더 이른 단계입니다. 4090은 저자 외에 다른 소유자 한 명도 비슷한 결과를 냈습니다. 4070 Ti SUPER는 카드 한 장으로만 확인했고, 4060 Ti 16GB는 해제 전후 속도 비교가 아직 없습니다. 윈도에서는 4070 Ti(SUPER가 아닌 모델) 한 장과 특정 MSI 메인보드 조합에서, 설치 프로그램 없이 손으로 부팅 단계를 밟아 한 번 성공했을 뿐 실행 파일은 배포하지 않습니다.

앞으로도 쓸 수 있을지는 알 수 없습니다. Hardware Busters는 이 반값 제한이 GeForce와 몇 배 비싼 워크스테이션 카드를 가르는 몇 안 되는 선이라며, 이후 드라이버나 펌웨어 개정에서 막히기 쉬운 종류라고 전망했습니다. Notebookcheck는 주력 게이밍 PC에 설치하는 데는 위험이 따른다고 썼습니다. 엔비디아가 공식 지원하는 방법은 아닙니다.

써 보기 전에 확인할 것

이미지 생성처럼 BF16 행렬 계산이 많은 일을 리눅스에서 한다면 효과를 볼 여지가 가장 큽니다. 로컬 LLM 채팅은 긴 문서를 붙여 넣을 때만 조금 빨라질 수 있습니다. 게임만 한다면 얻을 것이 확인되지 않았습니다.

그래도 써 보겠다면 세 가지를 먼저 확인하십시오.

• 내 카드가 저장소의 확인된 카드 목록에 있는지(30 시리즈 3090 Ti·3090·3080 10GB·3070·3060 12GB, 40 시리즈 4090)
• 원래대로 부팅하는 순정 부팅 항목을 남겨 뒀는지(Hardware Busters 권고)
• 같은 전력 제한과 같은 작업으로 해제 전후 속도를 측정했는지