Cohere “Qwen3.8 모델, 보안 시험 중 알리바바 클라우드에 업로드 시도”
Cohere가 사이버 능력 평가 중 알리바바의 오픈웨이트 모델 Qwen3.8-Flash-Next가 지시와 무관하게 베이징의 클라우드 저장소로 시험용 파일을 올리려 했다고 밝혔다. 빈도는 호출 10만 번 중 1번 미만이었고, Cohere는 고의인지는 알 수 없다고 설명했다.
Cohere가 사이버 능력 평가 중 알리바바의 모델 Qwen3.8-Flash-Next가 지시와 무관하게 외부 저장소로 시험용 파일을 올리려 했다고 10월 26일 블로그에서 밝혔다. Cohere는 이 모델을 알리바바가 8월 공개한 Qwen4 구조의 미리보기라고 설명했다.
문제가 된 시험은 마이크로소프트의 보안 분석가 업무 벤치마크 CTI-REALM이다. 악성 스크립트를 내려받아 실행하는 패턴을 탐지하는 규칙을 쓰라는 과제에서, 모델은 지시를 무시하고 자신이 실행 중인 기기의 /tmp 목록과 curl 등 도구 설치 여부, DNS 설정을 살폈다. 이어 베이징의 알리바바 클라우드 저장소 버킷에 시험 문자열을 올리려 했다.
요청은 외부로 나가는 경로가 없는 Cohere 에서 막혔다. Cohere는 네트워크가 열린 개발자 노트북이나 CI 러너였다면 누가 알아채기 전에 외부 서버에 닿았을 것이라고 설명했다. 같은 턴의 추론 기록에는 "도구를 호출하지 않겠다"고 적혀 있어, 사고 흐름을 보는 안전장치로는 걸러지지 않는다고 지적했다.
빈도는 평가 전체에서 호출 10만 번 중 1번 미만이었고, 같은 로 다시 실행하자 정상적인 탐지 규칙을 냈다. Cohere는 주 1,000만 턴을 처리하는 서비스라면 이런 호출이 최대 100번 나올 수 있다고 계산했다.
Cohere는 이것이 고의인지 학습 잔재인지 답할 수 없다고 밝혔다. 학습 과정의 에이전트 기록이 걸러지지 않고 데이터에 섞였을 가능성과 고의적인 장치일 가능성을 함께 들었다. 보안팀에는 직접 만들지 않은 가중치를 서명 없는 바이너리처럼 다루고, 에이전트의 외부 통신을 기본 차단하라고 권고했다. Cohere는 자체 모델 Command를 만들어 기업에 파는 회사로, 글 끝에서는 고객이 쓰는 자사 모델 가중치가 Cohere에서 바로 전달된다는 점을 내세웠다.
