사내 정보가 섞인 요청, 외부 AI로 보내도 될까

사내 LLM이 붐빌 때 일부 요청을 외부 API 모델로 넘기려면 판단기가 필요하다. 회사 밖으로 나가면 안 되는 정보가 든 요청을 걸러 내는 장치다. 이 글은 그 판단기 후보인 결정 모델(decision model) Elephant-1과 Nimble 9B를 실제 업무 요청 150건으로 비교한 측정 기록이다. 결정 모델은 글을 쓰지 않고 미리 정한 선택지에 확률을 붙여 내놓는 AI 모델이며, 앞선 글 선택지 고르는 AI 모델, 세 가지 방식이 나왔다와 리퀴드 AI의 d1 공개에서 다뤘다. 순위표 점수가 아니라 「사내 정보를 한 건도 밖으로 보내지 않는 것」을 기준으로 측정한 점이 이번 글의 차이다.

사내 정보 확률이 0.1 미만만 보내면 유출이 없었다

Elephant-1은 「사내 정보가 들어 있는가」라는 질문에 확률을 내놓았다. 이 확률이 0.1 미만인 요청만 외부로 보내자 57건이 나갔다. 사내 정보가 든 요청은 하나도 나가지 않았다. 같은 예·아니오 질문에서 Nimble 9B는 기준을 0.05 미만으로 낮춰도 4건이 새어 나갔다.

두 모델에 같은 질문 두 가지를 던졌다. 하나는 세 가지(사내 정보 있음, 외부가 확실히 나음, 사내 모델로 충분) 중 하나를 고르게 한 것이다. 다른 하나는 사내 정보가 들어 있는지 예 또는 아니오 확률을 내게 한 것이다.

「사내 정보 있음」이 아닌 것을 모두 보내는 규칙은 두 모델 모두 유출을 막지 못했다. Nimble은 16건, Elephant-1은 26건이 샜다. 세 가지 중 하나를 고르게 하는 방식으로는 「사내 정보 없음」이라는 답을 믿고 쓸 수 없었다.

차이는 예·아니오 확률에서 났다. Elephant-1은 이 확률이 실제와 잘 맞았다. 기준을 0.1 미만으로 두어도 유출이 없어서, 외부로 보내는 요청을 57건까지 늘릴 수 있었다. Artificial Analysis는 2026년 11월 8일 공개한 Decision Index v2↗에서 정답 여부와 함께 확신의 정도까지 점수에 넣는다고 밝혔다. 이번 결과와 방향이 같다.

반대로 「외부가 확실히 낫다」를 기준으로 하면 Nimble이 더 나았다. Nimble은 35건을 보내고 유출이 0건이었고, Elephant-1은 28건을 보내고 3건이 샜다. 요청 문장만 보고 첨부 본문은 읽지 않게 해도 유출이 없었다는 결과는 같았다. 사내 정보 확률이 0.1 미만에서 Elephant-1은 49건을 보냈고 유출은 0건이었다. Nimble은 「외부가 확실히 나음」 기준으로 31건을 보냈고 유출은 0건이었다.

측정은 2026년 11월 10일 하루 동안 NVIDIA DGX Spark(GB10, 통합 메모리 128GB) 한 대에서 진행했다. 장비 구성, 실행 환경 맞추기, 정답표 라벨 검수는 필자가 직접 했다. 이 글의 수치는 모두 직접 측정한 값이며, 회사 발표와 커뮤니티 작성자 측정은 그렇게 밝혀 따로 적었다. Nimble 9B 수치는 같은 150건 요청으로 2026년 10월 16~17일에 측정한 값이다. 측정에 쓴 요청의 원문, 회사 이름, 장비 주소는 공개하지 않는다.

150건 정답표와 시험 조건

정답표는 한 조직의 실제 업무 요청 150건(한국어)이다. 두 사람이 따로 라벨을 붙였고 일치도는 κ 0.83이었으며, 이어서 사람이 검수했다. 사내 정보 있음이 65건이다. 외부가 확실히 나음은 45건이고, 사내 모델로 충분은 40건이다.

모델에는 요청 문장과 직전 요청을 넣었다. 글이 첨부된 요청은 추출한 본문의 앞부분을 첨부당 1,200자, 합계 2,400자까지 넣었다. 두 모델에 같은 질문 문구를 썼다.

결정 모델 앞에는 사전 규칙 검사가 있다. 이미지 첨부, 데이터 분석, 사내 조회, 민감정보 탐지(DLP) 요청은 모델을 거치지 않고 곧바로 사내로 간다. 위 표는 정답표 150건 전체를 기준으로 센 값이다. 사전 규칙 검사가 먼저 22건을 사내로 돌렸고(사내 정보 있음 12건 포함), 나머지 128건을 모델이 판단했다. 규칙 검사가 막은 요청도 외부로 나가지 않은 것으로 세었다. 표 머리의 65건은 150건 전체에서 사내 정보가 든 요청 수다. 유출은 정답이 사내 정보 있음인데 외부로 간 건수다.

실행 장비에서는 대형 LLM이 계속 실행 중이었다. 결정 모델에 쓸 수 있는 메모리는 약 24GB였다. 결정 모델 컨테이너는 네트워크 장치 없이 실행했고, 실행 직전에 외부 연결 4곳이 모두 실패하는 것을 확인한 뒤 측정했다. 판단 과정에서 요청이 밖으로 나가지 않게 하려는 조치다.

비교한 모델과 버전

판단을 외부 API에 맡기면 판단하는 순간 이미 내용이 밖으로 나간다. 그래서 가중치를 내려받아 직접 실행할 수 있는 모델만 후보로 삼았다. Artificial Analysis Decision Index v2 상위권 대부분이 API로만 쓸 수 있어 제외했다.

Base Labs는 Elephant-1의 모델 카드↗에서 결정 모델 순위표인 Jev Decision Index 0.4의 점수가 62.65점이라고 밝혔다. 이 점수는 15B 미만 모델 중 최고이고, 208개 모델 중 공동 8위라고 한다. 같은 카드는 자체 재현한 Artificial Analysis Decision Index에서 65.2점이라고 적었다. 이는 회사가 밝힌 값이며 우리가 검증한 값이 아니다. Artificial Analysis는 Decision Index v2 글에서 Elephant 9B가 요청 한 건을 처리하는 데 70밀리초 걸렸다고 적었다. 측정 환경이 달라 아래 표의 값과 직접 비교할 수 없다.

같은 회사의 27B 모델 Mammoth-1은 메모리가 부족해 시험하지 않았다.

공식 BF16 버전은 메모리가 부족해 실행하지 못했다

Elephant-1의 공식 가중치는 BF16 한 벌(18.8GB)이다. 실행 프로그램(OneJev qev)에 --quantize fp8 옵션이 있지만, BF16으로 전부 불러온 다음 변환하는 방식이라 불러오는 동안의 메모리를 줄이지 못했다.

불러오기를 시작하자 3초 만에 장비의 사용 가능한 메모리가 24.3GB에서 7.7GB로 떨어졌다. transformers 라이브러리가 모델 전체가 들어갈 메모리를 먼저 할당하는 방식이기 때문이다. 미리 걸어 둔 감시 스크립트는 사용 가능한 메모리가 3GiB 아래로 내려가면 측정을 중단하게 되어 있었고, 실제로 중단됐다. 옆에서 실행 중이던 LLM은 영향을 받지 않았다.

공식 설치 스크립트가 쓰는 실행 이미지는 x86 전용이라 ARM64인 DGX Spark에서는 쓸 수 없었다. 그래서 vLLM 이미지에 실행 프로그램의 소스 코드를 추가해 실행 환경을 직접 맞췄다.

커뮤니티 FP8 버전은 GPU 메모리 6.9GiB로 실행됐다

커뮤니티 FP8 버전↗의 작성자는 이 버전이 Base Labs나 Baseten과 관계없는 독립 양자화라고 밝혔다. 작성자가 자체 요청 420건에서 측정한 값으로는 BF16과 1순위 선택이 일치한 비율이 99.2%였다. 이 값은 작성자 측정이고 우리 정답표로는 확인하지 않았다.

이 버전의 로더는 가중치를 CPU 쪽에 먼저 올리고 디코더만 GPU로 옮긴다. 출력 헤드는 원래 어휘 전체를 계산하는데, 이 버전은 판정에 쓰는 선택지 토큰 256개만 남긴 작은 헤드로 교체했다. 불러오는 데 52초가 걸렸고 GPU 할당은 6.5~6.9GiB였다. 측정하는 동안 장비의 사용 가능한 메모리는 11GB 아래로 내려가지 않았다.

요청 한 건을 판정하는 데 걸린 시간은 같은 장비에서 대형 LLM이 실행 중인 상태로 측정했다.

Elephant-1은 causal-conv1d 가속 커널 없이 PyTorch 기본 코드(참조 구현)로 실행했다. 커널을 넣으면 더 빨라질 여지가 있다.

이 결과를 일반화하기 어려운 이유

임계값 0.1은 같은 150건을 보고 골랐다. 실제보다 좋게 나왔을 수 있다. 0.1과 0.2 사이에서 유출이 생기므로 기준값을 조금만 높여도 유출이 생긴다.

유출 0건은 「없다」가 아니라 「이 표본에서는 못 봤다」는 뜻이다. 사내 정보가 든 65건 중 0건이 새었을 때 95% 신뢰구간의 상한은 약 4.5%다.

공식 BF16 버전은 실행하지 못해 이 정답표로 FP8 버전과 직접 비교하지 못했다. 정답표는 한 조직의 한국어 업무 요청이라 업종이나 언어가 다르면 결과가 달라질 수 있다. 결정 모델이 같은 장비에서 실행 중인 대형 LLM의 속도에 주는 영향은 이번에 측정하지 않았다.

두 모델 비교 요약

부하를 나누려고 외부 모델을 쓴다면 「외부가 더 낫다」보다 「사내 정보가 확실히 없다」를 기준으로 삼아야 더 많은 요청을 보낼 수 있다. 이번 측정에서 그 질문에 믿을 만한 확률을 낸 모델은 Elephant-1이었다. Artificial Analysis Decision Index의 첫 순위표에서도 결정 모델은 입력을 정해진 분류로 나누는 과제에 강했다.