엔비디아, DGX Spark 등 로컬 GPU용 추론 서버 ‘Flare’ 공개
엔비디아가 DGX Spark 같은 소형 장비와 워크스테이션 GPU에서 쓰는 로컬 AI 추론 서버 Flare를 오픈소스로 공개했다. 장시간 대화와 코딩 에이전트, 반복적인 도구 호출 작업을 위해 설계됐다.
엔비디아가 SM120·SM121 아키텍처 용 로컬 AI 추론 서버 Flare를 오픈소스로 공개했다. 같은 소형 장비와 워크스테이션이 대상이다. Flare는 장시간 대화와 코딩 , 반복적인 (Tool Calling) 작업을 위해 설계됐다.
Flare는 모델 준비 단계에서만 Python(PyTorch)을 쓰고, 실제 추론은 Python 없이 Rust 기반 런타임으로 실행된다. 추론 시작 전 메모리 사용량을 미리 계획하고, 에는 기본으로 형식을 적용한다.
실행할 수 있는 모델은 엔비디아가 준비 절차를 공개한 Qwen3.8 27B·· 등으로 정해져 있다. 엔비디아는 보다 지원 범위가 좁은 대신 로컬 작업에 집중했다고 설명했다.
한 대에 들어가지 않는 모델은 DGX Spark 2대나 4대를 연결해 나눠 실행할 수 있다. 실행 패키지는 GPU 아키텍처별로 따로 준비해야 해, DGX Spark에 맞는 SM121용 패키지와 SM120용 패키지는 서로 바꿔 쓸 수 없다.
