챗봇이 선박 화물을 핵무기 부품으로 잘못 식별
“AI 생성 검증 단일 기준 부재… 실수 여지 확대 돼”

미군이 AI의 허위 보고서를 근거로 중동 해역에서 중국 선박을 나포하려다 작전 실행 직전 중단하는 아찔한 일이 발생했다.

18일(현지시간) CNN의 보도에 따르면, 이란과의 전쟁이 한창이던 올해 봄 “중동 해역의 중국 선박이 핵무기 프로그램 부품을 운반 중”이라는 내용의, 특수작전사령부 소속 분석관이 작성한 정보 보고서가 미군 전반에 회람됐다.

[출처: gettyimagesbank]

이에 미군은 곧바로 선박 차단 계획에 착수, 무장 병력이 승선을 준비하고 군용기도 띄웠다.

하지만 당국자들이 작전 직전 보고서를 정밀 검토한 결과, 분석관이 사용한 AI 챗봇이 선박에 실린 물질을 부정확하게 식별한 것으로 확인됐다.

분석관은 하와이에 있는 미 태평양특수작전사령부에서 나온 선박의 적하목록 관련 첩보를 챗봇에게 문의했고, 챗봇은 공개출처정보와 정부 보유 비밀 신호정보를 융합해 결론을 내렸다.

분석관은 다시 AI를 이용해 이를 군 당국자들이 신뢰하는 표준 정보 보고서 형태로 정리한 뒤 배포했다.

CNN은 한 소식통을 인용해 “이 보고서가 전적으로 거짓이며 하마터면 전쟁을 일으킬 뻔했다”고 보도했다. 분석관이 이용한 챗봇이 상용 제품인지 정부 자체 개발품인지는 분명하지 않은 것으로 알려졌다.

한 전직 미 고위 당국자는 “내부 도구들은 대부분 상용 제품에 립스틱만 바른 복제품에 불과하다”고 밝혔다.

미군과 정보 당국은 원시정보 분석과 타격 목표 선정, 예산·군수·공급망 등 관리 등 업무 전반에 AI를 활용하고 있다. 도입이 분산적으로 이뤄지면서 부문별로 사용하는 도구와 안전 기준이 제각각이고, AI가 생성한 정보를 검증하는 단일 기준도 없다고 복수의 미 당국자들은 지적했다.

 AI가 분석관들에게 더 빠른 생산·배포 압박을 가해 실수의 여지를 확대하고 있다는 지적도 나온다. 특히 젊은 세대의 분석관들이 이 도구를 비판 없이 신뢰하는 경향이 있다는 우려도 제기된다.

출처 : 보안뉴스(https://www.boannews.com)