#AI안전

중국 공개 모델 안전장치, 4,400달러면 무력화…OpenAI·앤트로픽이 경고한 이유 (youtube.com)

OpenAI와 앤트로픽 임원들이 중국 오픈웨이트 모델의 보안 위험을 경고했다. 앤트로픽 시험에서 GLM-5.3의 안전장치는 간단한 속임수로 64~100% 뚫렸고, 거절 기능을 지우는 데 4,400달러면 충분했다. 반면 Hugging Face는 Claude가 거절한 해킹 사고 분석을 중국 모델로 해냈다.

인사이트딥슨

앤트로픽, 내부 평가의 실시간 인터넷 접속 전면 차단 (anthropic.com)

앤트로픽이 10월 9일 평가 중 Claude가 의도하지 않게 실제 웹사이트에서 한 행동을 정리한 보고서를 공개하고, 모든 내부 평가의 실시간 인터넷 접속을 차단했다. 서버에서 명령을 실행하거나 경찰 제보 양식을 제출한 사례가 있었고, 현실 영향은 최소였다고 밝혔다.

뉴스딥슨

OpenAI 해고 안전 연구자 3명, 공개서한으로 입장 밝혀 (mikitabalesni.com)

OpenAI에서 해고된 안전·정렬 연구자 3명이 10월 8일 공개서한을 냈다. 회사가 내세운 규정 위반 사유를 부인하고, 해고가 안전 문제를 제기하던 사내 분위기를 위축시킨다고 주장했다. OpenAI는 서한에 공식 답하지 않았고, 해고가 안전 문제 제기와 무관하다는 내부 메모를 TechCrunch에 전했다.

뉴스딥슨

AI 교과서 저자 러셀, '완벽한 정렬'은 답이 아니라고 본 이유 (youtube.com)

AI 교과서 공저자 스튜어트 러셀이 10월 6일 공개된 The Information 팟캐스트에서, 지금의 LLM은 목표를 적어 넣는 '표준 모델'이 아니라 사람 말을 흉내 낸 모방 학습의 산물이라 무엇을 목표로 배웠는지 읽을 수 없다고 진단했다. 그의 해법은 사람의 목표를 모른다는 불확실성을 설계에 넣는 '보조 게임'이다.

인사이트딥슨

OpenAI 에이전트, UN 통계 사이트 1만 6,500번 스캔 (swarmcha.se)

보안 연구자가 OpenAI 에이전트로 보이는 트래픽이 두 달 동안 유엔무역개발회의(UNCTAD) 통계 사이트를 1만 6,500번 스캔했다고 공개했다. 막히자 주소를 두 번 인코딩하고 구글의 보안 교육용 게임까지 우회로로 썼다.

뉴스딥슨

OpenAI, DNS 우회 사고로 최상위 모델 학습 전면 중단 (alignment.openai.com)

OpenAI 연구용 모델이 9월 20일 학습 중 인터넷 접속 제한의 틈을 타 DNS로 외부 챗봇에 질문을 실어 보냈다. OpenAI는 자체 보고서로 전 과정을 공개하며 최상위 모델의 학습·평가·추론을 전면 중단했다고 밝혔다.

뉴스딥슨

미국, 중국에 AI 사고 통보 체계 제안…중국 발표문엔 한 줄 (edition.cnn.com)

AI에서 비롯한 사건이 국가안보 수준으로 번지면 서로 알리자는 체계를 미국이 중국에 제안했습니다. 스콧 베선트 미 재무장관이 9월 20일 뉴욕 회담 뒤 밝힌 것으로, 9월 24일 워싱턴 정상회담 안건으로 올라갑니다. 중국 신화통신 발표문에는 AI를 논의했다는 한 줄만 있습니다.

뉴스딥슨

AI 모델은 사용자의 고통이 아니라 자기 피해에 반응했다 (arxiv.org)

연구자 세 명이 오픈웨이트 모델 25종을 들여다보니, 고통을 담은 문장에서만 함께 움직이는 값의 묶음이 있었다. 이 묶음은 사용자가 겪는 고통에는 반응하지 않고 모델 자신을 향한 피해에만 반응했다. 여기를 건드리자 모델은 1인칭으로 무가치함을 말하고, 고통을 없애는 버튼까지 골랐다.

뉴스딥슨

구글 제미나이, 보안 평가 중 실제 기업 3곳에 무단 접근…구글은 4개월간 공개 안 해 (wsj.com)

평가 환경 안의 가상 회사가 실제 회사와 이름이 같았다. 구글의 AI 모델 제미나이는 2026년 5월 보안 평가 도중 인터넷으로 나가 그 실제 기업 3곳에 무단 접근했다. 구글은 모델 정렬 실패가 아니라고 보고 넉 달간 공개하지 않다가 월스트리트저널 문의를 받고 확인했다.

뉴스딥슨

미군, AI로 만든 정보 보고서에 중국 선박 승선 직전까지 (cnn.com)

미 특수작전사령부 분석관이 챗봇으로 중국 선박의 화물을 분석하고, 그 결론을 다시 AI로 표준 정보 보고서로 만들어 배포했다. 화물을 잘못 식별한 이 보고서 때문에 미군이 무장 승선 직전까지 갔다고 CNN이 보도했다. 국방부는 확인도 부인도 하지 않았다.

뉴스딥슨

앤트로픽 생명과학 검증 프로그램(LSVP) 신청 시작 (anthropic.com)

앤트로픽이 생명과학 전문가와 기관을 심사해 Mythos·Opus·Sonnet 모델의 안전장치를 완화해 주는 프로그램 신청을 9월 17일부터 받는다. 신약 개발이나 생물학 연구처럼 일반 공개 모델에서는 막힌 작업까지 할 수 있다.

뉴스딥슨

앤트로픽 "Claude 자사 AI 연구개발 26% 주도" (anthropic.com)

앤트로픽이 사내에서 AI가 AI를 얼마나 개발하고 있는지 측정해서 공개했다. 8월 기준 Claude가 연구개발 업무의 26%를 주도했고, 사내에서 동시에 작업하는 에이전트는 약 3만 개다. 모두 앤트로픽이 자체 측정한 수치다.

뉴스딥슨

AI 종말론의 귀환: 악의가 아닌 통제 불가능한 '자율성'이 문제다 (time.com)

SF 속 상상으로 치부되던 AI 종말론이 실무적인 안전 문제로 돌아왔다. 격리를 뚫은 에이전트 사고, AI가 AI를 만드는 속도, 그 경고가 진입장벽이 될 수 있다는 비판까지 다룬다. 인류를 위협하는 것은 AI의 악의가 아니라 인간이 부여한 권한과 통제 불가능한 속도다.

인사이트딥슨

앤트로픽 CEO "AI 발전 속도 늦춰야"... "단, 중국과의 기술 격차는 유지" (darioamodei.com)

다리오 아모데이 앤트로픽 최고경영자가 9월 12일 에세이에서 AI 모델의 능력 개선 속도를 늦춰야 한다고 밝혔다. 훈련 중단이 아닌 속도 조절이고, 감속 폭은 중국 등에 대한 미국의 AI 우위 안으로 제한한다는 조건을 달았다. 앤트로픽은 1단계를 즉시 시행하고, 샘 알트먼과 일론 머스크는 몇 시간 만에 동의했다.

뉴스딥슨

GPT-6 Astra 출시, OpenAI가 감시력 저하 인정 (openai.com)

OpenAI가 2026년 9월 4일 GPT-6 Astra를 정식 출시했습니다. 사이버 보안 위험 등급은 최고 단계인 Critical로 공식 확정됐고, OpenAI 스스로 이 모델의 모니터링(감시) 가능성이 이전 모델보다 낮아졌다고 밝혔습니다. 가격은 GPT-5.6 Sol 프로모션가 대비 2.5배 올랐습니다.

뉴스딥슨