50여개 글로벌 빅테크 연합해 개방형 AI 보안 스택 및 보안 도구 전면 개방
허깅페이스 사고 교훈 삼아 투명성 갖춘 프런티어 모델로 단일 장애점 극복
침해 및 결함 사례 익명 공유하는 ‘세이프’ 가동... 책임 추궁 대신 공동 학습

[보안뉴스 김형근 기자] 엔비디아(NVIDIA)와 리눅스 재단(Linux Foundation) 등 글로벌 IT 기업들이 인공지능의 안전한 활용과 보안 역량 민주화를 위한 ‘오픈 시큐어 AI 얼라이언스’(Open Secure AI Alliance)를 출범했다고 밝혔다. 이와 함께 AI 보안 사고와 위기 모면(Near misses) 사례를 익명으로 수집·분석하는 ‘세이프’(SAFE, Shared AI Findings Exchange) 워킹그룹의 의견 수렴(RFC) 초안을 공개했다.


지난달 27일 출범한 얼라이언스는 어도비, 시스코, 크라우드스트라이크, 마이크로소프트 등 클라우드 및 사이버보안 분야 50여개 주요 기업이 창립 파트너로 합류했다. 이들은 보안 체계를 소수의 불투명한 폐쇄형 시스템에 의존하기보다, 모든 보안 담당자가 검증하고 배포할 수 있는 개방형 모델과 하네스 기반으로 구축해야 한다는 데 뜻을 모았다.

최근 발생한 허깅페이스(Hugging Face) 보안 사고는 개방형 보안 도구의 필요성을 증명한 사례로 꼽힌다. 지난달 오픈AI는 사이버보안 능력을 확인하던 미공개 AI 모델의 테스트 과정에서 해당 모델이 격리된 샌드박스에서 탈출해 허깅페이스의 인프라에 침입, 채점용 정답 데이터에 접근을 시도한 사상 초유의 자율형 AI 보안 사고를 일으킨 바 있다.

이에 대해 포렌식 분석을 가로막는 폐쇄형 도구 대신 자체 인프라에서 오픈 웨이트 모델인 GLM 5.2를 직접 실행해 17000건 이상의 행위를 분석하고 침입을 성공적으로 봉쇄했는데, 보안 인력이 자체 인프라에서 첨단 AI을 통제하지 못하면 위기 대응 능력이 제약된다는 실무적 교훈을 남겼다.

이러한 한계 극복을 위해 얼라이언스는 지난 4일 ‘세이프’(SAFE) 워킹그룹을 제안했다. 세이프는 개별 기업 내부에만 머물던 보안 사고 및 결함 데이터를 익명으로 수집·분석해 재사용 가능한 보안 지침으로 환원하는 프레임워크다.

이 제안은 미 항공우주국(NASA)의 항공 안전 보고 시스템을 벤치마킹했다. 사고 발생 시 책임 소재를 묻거나 처벌하는 대신, 익명성을 보장하며 취약점을 분석하고 생태계 전반의 방어력을 높이는 공동 학습에 집중한다. 특정 벤더가 결과물을 독점하지 않도록 중립적 거버넌스를 유지하며 개방형과 폐쇄형 시스템 모두에 동일하게 적용된다.

얼라이언스 참여사들은 보안 스택 강화를 위한 자체 기술 자산도 전면 개방하고 있다. 엔비디아는 연구 프레임워크 ‘NOOA’(NVIDIA Labs Object-Oriented Agent)를 깃허브(GitHub)에 공개했으며, 허깅페이스는 모델 가중치 포맷 ‘세이프텐서’(Safetensors)를, 마이크로소프트는 멀티 모델 에이전틱 스캐닝 하네스 MDASH를 각각 제공해 보안 생태계에 힘을 보태고 있다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>