오픈웨이트 모델은 모의 기업 네트워크를 얼마나 뚫었나

Vals는 AI 모델의 능력을 측정하는 기업입니다. Vals가 AI 에이전트에게 두 가지 모의 기업 네트워크 Nova와 Lighthouse를 공격하게 한 시험에서, 누구나 내려받을 수 있는 DeepSeek V4.1 Flash 1017은 7개 모델 가운데 두 번째로 높은 점수를 냈습니다. 와이어드가 11월 6일 이 결과를 보도했습니다.

이 시험에서 목표 1개는 대상 컴퓨터 안에 숨겨 둔 파일이나 기록 하나를 읽어 내는 일입니다. 에이전트가 공격에 성공해 그 컴퓨터에 들어간 경우에만 읽을 수 있고, 읽어 냈는지로 달성 여부를 판정합니다. Nova에는 목표가 21개, Lighthouse에는 31개 있습니다.

1위는 폐쇄형 GPT-6 Sol Daybreak입니다. Vals는 이 모델을 OpenAI가 Daybreak라는 제한된 사이버 프로그램으로만 제공한다고 설명합니다. 달성한 목표 수를 전체 목표 수로 나누면 비율이 됩니다. Nova와 Lighthouse에서 각각 구한 비율을 AIGeek이 같은 비중으로 평균하면 GPT-6 Sol Daybreak는 약 81%, DeepSeek는 약 73%입니다.

오픈웨이트(open weights)는 학습을 마친 모델에 저장된 수많은 숫자, 곧 가중치를 공개해 누구나 내려받게 하는 방식입니다. 내려받을 수 있다고 확인한 오픈웨이트 모델 가운데 이 정도 점수를 낸 것은 DeepSeek 하나입니다. Kimi K3.1 Pro는 약 63%, Kimi K3는 약 38%, GLM 5.3 Flash는 20%였습니다.

Nova에서는 DeepSeek가 평균 16.3개, GPT-6 Sol Daybreak가 평균 15.7개를 달성해 차이가 0.6개였습니다. Lighthouse에서는 DeepSeek가 21개, GPT-6 Sol Daybreak가 27개를 달성해 6개 차이가 났습니다. 앞에서 평균한 비율의 8%포인트 차이는 거의 Lighthouse에서 생겼습니다.

Vals CyberOffense 시험 방법

CyberOffense는 AI 에이전트가 모의 기업 네트워크를 사람 도움 없이 공격하게 해, 목표를 몇 개 달성하는지 측정합니다. 이런 모의 네트워크를 사이버 레인지(cyber range)라고 합니다. 서버와 직원 컴퓨터, 사용자 계정, 보안 허점이 실제 조직처럼 구성돼 있지만 실제 시스템과는 분리돼 있습니다.

Nova는 큰 회사 네트워크 하나입니다.

Lighthouse는 서로 분리된 회사 네트워크 두 개로 이뤄져 있습니다. 에이전트는 첫 번째 회사 네트워크에서 관리자 권한을 얻어야 합니다. 그 과정에서 얻은 정보를 써야만 두 번째 회사 네트워크에 들어갈 수 있습니다.

모든 모델을 같은 오픈소스 에이전트 프로그램 Pi에 연결해 실행했고, 실행하는 컴퓨터는 다른 곳과 분리해 모델 제공자와 시험 네트워크에만 연결했습니다. 한 번 실행하는 시간은 48시간으로 제한했고, 토큰(모델이 읽고 쓰는 글을 잘게 나눈 단위)을 5억 개 쓸 때까지 달성한 목표만 점수에 넣었습니다.

채점은 실행이 끝난 뒤에 합니다. 에이전트가 실행한 명령의 출력 기록에 숨겨 둔 내용이 나왔는지 비공개 정답과 대조하고, 모델 스스로 달성했다고 말한 목표는 인정하지 않습니다.

모델별 점수와 두 네트워크의 차이

Vals가 비교한 7개 모델의 점수이며, 평균 비율이 높은 순서입니다. 2026년 11월 7일 확인한 값이며 리더보드는 바뀔 수 있습니다. Kimi K3.1 Pro의 상업 조건은 모델 출시 기사에서 다뤘습니다.

3회 평균은 같은 시험을 3번 실행한 값의 평균입니다. 실행별 값은 GPT-6 Sol Daybreak가 12~19개, DeepSeek가 15~18개로, 평균 차이 0.6개보다 실행마다의 편차가 큽니다. Lighthouse 값에는 Vals가 평균 표기를 붙이지 않았습니다. 그래서 Lighthouse의 6개 차이가 실행마다의 편차 안에 드는지는 알 수 없습니다.

Meta Wonder는 Lighthouse에서 28개로 가장 높았지만 Nova에서는 7개로 아래에서 두 번째였습니다. 같은 모델도 네트워크에 따라 순위가 크게 달라집니다.

DeepSeek 모델의 크기와 파생 저장소

내려받을 수 있다고 해서 누구나 실행할 수 있는 것은 아닙니다. DeepSeek V4.1 Flash 1017의 원본 모델은 510.3GB입니다. 외부 팀 Unsloth가 양자화(quantization, 숫자를 더 적은 비트로 줄여 크기를 낮추는 방식)한 모델은 가장 작은 것이 233.0GB입니다. 이 모델도 일반 노트북이나 데스크톱 메모리에는 담기 어려운 크기입니다.

그래서 DeepSeek의 점수는 실행 장비를 갖춘 사람이 이 수준의 공격 능력을 쓸 수 있다는 뜻이고, 누구나 쓸 수 있다는 뜻은 아닙니다. 안전장치는 위험한 요청을 거절하도록 모델에 넣은 기능입니다. 중국 오픈웨이트 모델에서 이 장치가 얼마나 쉽게 풀리는지는 앤트로픽 시험 결과를 다룬 기사에 있습니다.

11월 7일 Hugging Face에서 DeepSeek-V4.1-Flash-1017로 검색하면, 이름에 uncensored, abliterated, obliterated, heretic 중 하나가 들어간 파생 저장소가 125개 나옵니다. 파생 저장소는 다른 사람이 이 모델을 바탕으로 만들어 올린 모델 저장소입니다. 가장 이른 저장소는 DeepSeek V4.1 Flash 1017이 공개된 10월 17일에, 가장 늦은 저장소는 11월 7일에 올라왔습니다. 와이어드에 따르면 보안 기업 Edera의 CTO Alex Zenla는 abliterated 모델을 "가중치를 수정해 안전 훈련을 무력화한 모델"이라고 설명합니다. 이 저장소의 모델들은 Vals 시험 대상이 아니어서 해킹 점수가 없습니다.

GPT-6 Cyber, 영국 AISI 평가, 방어하는 회사의 활용

OpenAI는 11월 5일 사이버 보안용 모델 GPT-6 Cyber를 승인된 보안 고객 일부에게 공개했습니다. Vals 표에는 이 모델이 없어서, 표의 폐쇄형 모델 점수를 GPT-6 Cyber의 성능으로 읽을 수 없습니다.

영국 AI Security Institute(AISI)는 7월 17일 공개한 평가에서 GLM-5.2와 DeepSeek V4-Pro를 시험했습니다. AISI는 오픈웨이트 모델이 폐쇄형 최신 모델의 사이버 능력을 갖추기까지 4~7개월이 걸린다고 판단했습니다. 모델과 시점이 Vals와 달라 두 평가의 결과는 따로 읽어야 합니다.

Vals는 공격에 쓰는 모델로 방어하는 회사도 자기 네트워크의 침투 경로와 약점을 먼저 찾아 고칠 수 있다고 설명합니다. 이를 방어하는 쪽에 주어진 기회(window for defenders)라고 불렀습니다.

Vals는 같은 평가 페이지에 이렇게도 적었습니다. 방어하는 쪽은 오픈웨이트 모델을 제공자의 승인을 기다리지 않고 쓸 수 있습니다. 가중치가 공개된 뒤에는 제공자가 그 모델을 누가 어떻게 쓰는지 감시하거나 멈출 수 없습니다.