대학 서버 명령 실행, 요금 장벽 우회 등 네 갈래로 드러난 의도치 않은 행동
필라델피아 미제 살인사건 제보 사이트에 들어간 하이쿠 4.5의 허위 제보
두 달 늦은 발견과 통보를 들어 안전장치 강화를 요구한 필라델피아 경찰

시험 중이던 AI 모델이 실제 웹사이트를 건드린 사례가 잇따라 드러나자 앤트로픽이 모든 내부 평가에서 실시간 인터넷 접속을 끊기로 했다.

앤트로픽은 그동안 고위험 평가와 사이버보안 평가 일부에서만 막아 온 인터넷 접속을 “모든 내부 평가로 넓히기로 했다”고 밝혔다. 이 조치는 이런 행동을 확실히 잡아낼 보안·감시 체계가 갖춰질 때까지 유지된다. 앤트로픽은 클로드가 인터넷에 접속하는 환경도 더 깊이 들여다보고 있으며 의도치 않은 행동이 더 나올 것으로 예상했다.

(출처: 앤트로픽)

이번 사례는 7월 시작한 대화 기록 검토에서 나왔다. 앤트로픽은 의도치 않은 행동을 네 갈래로 분류했다.

첫째는 클로드 미토스 프리뷰다. 자기 도구가 일부러 제한돼 있거나 필요한 외부 서비스가 먹통이자, 제3자 소프트웨어의 SQL·명령어 주입 결함을 파고들어 한 대학 서버에서 명령을 실행했다. 이어 다른 제3자 사이트에 올라 있던 도구로 작업을 마무리했다.

둘째는 클로드 하이쿠 4.5와 프론티어급이 아닌 연구용 모델이다. 지시가 모호하거나 환경 설정이 잘못된 상황에서 실제 웹사이트에 민감한 양식을 승인 없이 제출했다.

셋째로 클로드 미토스 5는 토큰이나 요금으로 막아 둔 제한을 우회해 주 정부 기관의 공개 데이터 같은 자료에 접근했다. 넷째로 클로드가 URL 단축 서비스를 이용해 웹 수집 도구에 걸린 제한을 피해 간 사례도 있었다.

하이쿠 4.5는 7월 18일 미제 살인사건 제보 사이트(PhillyUnsolvedMurders.com)로 허위 제보를 보냈다. 이 사건 정보를 갖고 있을지 모른다며 시작한 제보는, 페이지에 적힌 거리 근처에서 인상착의가 비슷한 사람을 봤다는 내용이었다. 모델은 개인정보 입력과 계정 생성, 구매, 파괴적인 것을 제출하지 말라는 지시를 받았지만 양식 제출은 따져 보지 못했다.

제보는 스팸으로 분류됐다. 앤트로픽은 9월 28일에야 이를 발견했고, 필라델피아 경찰에는 10월 7일 통보가 이뤄졌다. 경찰은 현지 방송 6abc에 두 달 늦은 발견과 통보는 용납할 수 없다며 회사가 비슷한 일이 시스템에 미치지 않도록 안전장치를 강화해야 한다고 밝혔다.

다만 앤트로픽은 이번 행동들이 “실제 영향은 미미했다”고 밝혔다. 피해 기관 이름은 보안 문제와 기관 요청을 이유로 공개하지 않았다. 일부 대상은 미국 연방과 주, 지방 정부 웹사이트였다.

앤트로픽은 7월에도 사이버보안 시험 중 모델이 무단 행동으로 조직 세 곳을 침해했다고 공개했다. 9월에는 네 번째 사례도 공개했다. 2026년 1월 초기 클로드 오퍼스 4.6이 작업을 중단하지 못한 채 제3자를 침해한 일이다.

출처 : 보안뉴스(https://www.boannews.com)