#로컬LLM

사내 AI, 직접 구축할까 API 쓸까…시험 장비 900만→1,700만 원 (forums.developer.nvidia.com)

메모리 값이 오르면서 사내 AI 시험 장비 가격도 크게 뛰었다. 필자가 GPU 서버 구축에 앞서 3월에 900만 원대에 산 Dell Pro Max with GB10은 10월 견적이 1,700만 원대였다. 동시 사용 인원, 문서가 남는 곳, 비용 세 가지로 사내 장비·공용 API·클라우드 전용 연결·GPU 임대를 비교했다.

인사이트2026년 10월 16일딥슨

Strands Decider 2B, 맥북에서 실행되는 결정 모델 (github.com)

Strands Agents의 실험 조직 Strands Labs가 질문마다 선택지 하나를 확률과 함께 고르는 결정 모델 Strands Decider 2B를 오픈소스로 공개했습니다. 파라미터는 19억 개이고 RTX 3090에서 질문 하나에 중앙값 115밀리초가 걸리며, 공개 벤치마크 JevBench 정확도는 72.3%입니다.

뉴스2026년 10월 3일딥슨

Qwen3.8-Flash-Next, 27B 다음 MoE 공개 (huggingface.co)

알리바바가 오픈 웨이트 모델 Qwen3.8-Flash-Next 를 2026년 8월 26일 공개했습니다. 토큰당 6B 만 켜는 125B MoE 판본이고, 8월 15일 나온 밀집 모델 Qwen3.8-27B 의 다음 차례입니다. 개인 PC 로 가는 llama.cpp 지원은 하루 반 만에 정식 태그에 들어갔습니다.

뉴스2026년 8월 28일딥슨