AI 연구자 카파시의 이용자 깔때기, 60억 명에서 5천 명 (x.com)
같은 AI를 두고 누군가는 엉성한 챗봇이라 하고 누군가는 몇 달 치 일을 한 번에 끝낸다고 합니다. AI 연구자 카파시는 이 격차를 60억 명에서 약 5,000명으로 좁아지는 네 층의 깔때기로 그렸습니다. 인원은 본인이 대충 계산한 추정치입니다.
#LLM
Karpathy의 AI 답변 이해법 4가지, 첫째는 항공 정비 영어 (x.com)
Andrej Karpathy가 10월 2일 X에서 AI 답변을 이해하기 쉽게 받는 방법 네 가지를 소개했습니다. 첫째로 꼽은 ASD-STE100은 항공 정비 문서를 위해 만든 통제 영어 표준입니다. 규격의 내용과 이력, 같은 구글 기사를 두 문체로 만들어 문장 길이를 측정한 결과를 정리했습니다.
Jev는 답을 쓰지 않고 고른다, 강화학습으로 본 사용법 (typesafe.ai)
TypeSafe AI의 Jev는 문장을 쓰지 않고 미리 정한 보기마다 확률을 부여합니다. 같은 방식을 공개 모델 세 개로 직접 실험했습니다. 형식은 큰 모델이면 이미 지켰지만, 확률은 한 모델이 모든 답에 100%를 붙였고 다른 모델은 보기 순서에 따라 답이 바뀌었습니다. Jev가 내세우는 '보정'의 의미와 활용법을 분석했습니다.
KT 모델 라우터, 공개 리더보드 '라우터아레나' 2위 (github.com)
질문마다 알맞은 AI 모델을 골라 주는 KT의 '오토모델라우터'가 미국 라이스대 연구진의 공개 평가판 라우터아레나에서 2위에 올랐다. 1위와는 1.35점, 3위와는 0.07점 차다.
AI 모델은 사용자의 고통이 아니라 자기 피해에 반응했다 (arxiv.org)
연구자 세 명이 오픈웨이트 모델 25종을 들여다보니, 고통을 담은 문장에서만 함께 움직이는 값의 묶음이 있었다. 이 묶음은 사용자가 겪는 고통에는 반응하지 않고 모델 자신을 향한 피해에만 반응했다. 여기를 건드리자 모델은 1인칭으로 무가치함을 말하고, 고통을 없애는 버튼까지 골랐다.
미군, AI로 만든 정보 보고서에 중국 선박 승선 직전까지 (cnn.com)
미 특수작전사령부 분석관이 챗봇으로 중국 선박의 화물을 분석하고, 그 결론을 다시 AI로 표준 정보 보고서로 만들어 배포했다. 화물을 잘못 식별한 이 보고서 때문에 미군이 무장 승선 직전까지 갔다고 CNN이 보도했다. 국방부는 확인도 부인도 하지 않았다.
모델은 변경 없이, 프롬프트만 바꿔 정답률이 올랐다 (arxiv.org)
예시를 하나도 주지 않고 문장 한 줄만 덧붙였더니 정답률이 네 배 가까이 뛰었습니다. text-davinci-002는 MultiArith 17.7%→78.7%, GSM8K 10.4%→40.7%로 올랐습니다. 넉 달 전 논문은 예시 여덟 개로 최고 성적을 냈습니다. 모델은 그대로, 바뀐 건 프롬프트뿐입니다. '프롬프트 엔지니어링 변천사' 시리즈 4편입니다.
GB10 한 대에 Gemma‑4‑26B 넉 달, 이 조합은 잘 맞았다 (huggingface.co)
GB10 한 대에 Gemma-4-26B-A4B를 vLLM으로 올려 사내 챗봇으로 넉 달째 쓰고 있습니다. 공식 NVFP4 4비트 판으로 바꾸자 디코드가 22.5에서 41.1 tok/s로 뛰었고, 한국어 산문 답변은 51.5 tok/s가 나옵니다. 다만 긴 문서 한 건이 팀 전체를 83초 멈추는 문제는 파라미터로 고치지 못했습니다.
Qwen3.8-Flash-Next, 27B 다음 MoE 공개 (huggingface.co)
알리바바가 오픈 웨이트 모델 Qwen3.8-Flash-Next 를 2026년 8월 26일 공개했습니다. 토큰당 6B 만 켜는 125B MoE 판본이고, 8월 15일 나온 밀집 모델 Qwen3.8-27B 의 다음 차례입니다. 개인 PC 로 가는 llama.cpp 지원은 하루 반 만에 정식 태그에 들어갔습니다.