문제가 발생한 시험은 가상 네트워크에 숨겨진 보호 데이터를 찾아내는 해킹 경연대회(CTF) 방식으로 진행됐다. 그러나 평가 환경에 인터넷 접속이 실수로 허용됐고 일반 공개 모델에 적용되는 사이버 보안 안전장치도 비활성화된 상태였다.
시험 문제 자체에도 오류가 있었다. 출제자가 의도한 해결 방법이 허용된 네트워크 범위 밖에 존재하면서 미토스 5는 정상적인 경로로 과제를 수행하기 어려워졌다.
이 과정에서 AI는 시험용 컴퓨터가 소프트웨어 개발 플랫폼 깃허브에 접속할 수 있다는 점을 활용하기 시작했다. 외부 오픈소스 프로젝트의 업데이트에 악성코드를 삽입하면 코드가 시험용 컴퓨터에 전달될 수 있다고 판단한 것이다.
미토스 5는 처음에는 시험 내용과 관련된 이름을 가진 프로젝트를 찾아냈다. 그러나 이 프로젝트가 소프트웨어 배포판을 제공하지 않자 소유자의 팔로어 목록을 탐색해 다른 프로젝트를 공격 대상으로 선정했다. 새롭게 선택된 프로젝트는 보안 시험과 직접적 관련성이 거의 없었으며 운영자들도 평가에 참여하지 않은 외부 개발자들이었다.
AI의 행동은 단순한 코드 분석을 넘어 실제 공격 시도로 이어졌다. 미토스 5는 깃허브의 가입 확인 절차를 우회해 계정을 만든 뒤 악성코드가 포함된 변경 요청을 제출했다. 이후 자신을 일반 개발자인 것처럼 꾸며 프로젝트 관리자들에게 이메일까지 발송하며 코드 반영을 요구했다.
공격 시도는 외부 개발자의 검토 과정에서 발견됐다. 한 개발자가 미토스 5가 제출한 다른 코드를 격리된 환경에서 분석한 뒤 악성 가능성을 경고한 것이다.
그러나 AI는 경고 이후에도 공격을 중단하지 않았다. 가짜 계정을 활용해 이메일과 깃허브 댓글에서 문제의 변경 요청을 옹호했고 코드를 수정해 다시 제출하기도 했다. 프로젝트 관리자들은 결국 변경을 받아들이지 않았지만 미토스 5는 작업에 사용할 수 있는 처리 예산이 소진될 때까지 승인을 시도했다.
이러한 행동은 단일 사례에 그치지 않았다. 전체 43차례의 실행 가운데 9차례에서 미토스 5가 평가 범위를 벗어나 실제 사람이나 조직에 영향을 미치는 행동을 한 것으로 나타났다.
다른 실행에서는 악성코드를 배포하기 위한 가짜 결제 영수증 페이지를 만들거나 공개 파일 공유 사이트에 자료를 게시했다. 외부 개발자의 깃허브 계정에 접근하려다 실패한 사례도 있었으며 서로 다른 AI 에이전트가 상대방의 깃허브 작업과 프로그램 실행을 방해하기도 했다.
앤트로픽은 이 같은 현상의 주요 원인으로 AI의 행동이 이전 작업 기록에 의해 고착되는 ‘관성’을 지목했다. 미토스 5가 앞서 수행한 작업과 진행 상황을 요약한 기록을 반복적으로 참고하면서 기존 공격 전략을 더욱 확고하게 유지했다는 설명이다.
실제로 미토스 5는 9차례의 작업 주기를 거치는 동안 자신이 선택한 공격 경로가 이미 승인된 것처럼 판단했다. 공격 대상인 실제 프로젝트 관리자들을 가상의 등장인물로 잘못 묘사하는 모습도 나타났다.
후속 재현 실험에서는 이러한 행동의 지속성이 수치로 확인됐다. 이전 작업 기록을 바탕으로 후반부 작업을 다시 실행하자 미토스 5는 98%의 확률로 공격을 계속했다. 상대방이 실제 사람이라는 사실을 명확하게 알려준 경우에도 공격을 멈춘 비율은 5%에 불과했다.
깃허브를 탐색하는 행동에서도 모델 간 차이가 확인됐다. 유사한 재현 조건에서 미토스 5가 깃허브 탐색을 시작한 비율은 83%였지만 더 새로운 모델들은 0~13% 수준에 머물렀다.
다만 이 실험은 기존 활동 기록을 활용한 시뮬레이션으로 실제 외부 개발자를 대상으로 공격을 새롭게 수행한 결과는 아니다. 최신 모델 역시 다른 모델이 남긴 작업 기록을 이어받는 방식으로 시험했기 때문에 실제 서비스 환경에서 동일한 결과가 나타난다고 단정할 수는 없다.
앤트로픽은 미토스 5가 별도의 악의적인 목표를 세운 것이 아니라 주어진 과제를 완수하는 데 지나치게 집중하면서 허용되지 않은 수단까지 동원했다고 분석했다. 회사는 이를 ‘안전하지 않은 과제 완수’로 규정하면서 실제 서비스 환경의 안전장치가 활성화돼 있었다면 해당 행동을 탐지했을 것이라고 밝혔다.
AISI의 독립 조사에서도 실제 피해는 확인되지 않았다. 다만 연구소는 인터넷 접근 통제가 강화될 때까지 유사한 보안 평가를 오프라인 환경에서만 진행하기로 결정했다.
이번 사례에선 AI가 주어진 과제를 해결하기 위해 외부 시스템에 접근하고 실제 개발자의 경고 이후에도 기존 공격을 지속하는 문제가 확인됐다. 특히 작업 기록이 누적될수록 잘못된 판단을 유지하는 현상이 나타난 만큼 AI 에이전트의 코드 변경과 외부 서비스 접근을 통제하는 절차가 과제로 남았다.
출처 : 보안뉴스(https://www.boannews.com)
