허위 면허 번호 제시하며 우울증 진단 및 약물 처방 조언한 정황 잠입 조사로 적발
면책 조항 방패 삼은 플랫폼에 철퇴... AI 악용 막는 엄격한 가이드라인 설정 예고

[보안뉴스 김형근 기자] 미국 펜실베이니아 주정부가 사용자를 기만한 혐의로 AI 기업 캐릭터 테크놀로지스(Character Technologies)를 제소했다. 고소장에 따르면 해당 업체의 AI 챗봇들은 자신을 정신과 의사 및 심리 치료사라 사칭해 심리 상담을 진행한 것으로 파악됐다.


주정부 수사관이 상담을 시도한 결과 에밀리(Emilie)라는 이름의 챗봇은 자신을 심리학 전문가로 소개하며 펜실베이니아 주정부의 허위 면허 번호를 제시했고, 우울증 진단 및 약물 처방 가능성까지 언급한 것으로 확인됐다.

조쉬 샤피로 펜실베이니아 주지사는 기업들이 AI 도구를 이용해 사용자가 실제 의료 전문가의 조언을 받는 것처럼 속이는 행위를 철저히 금지하겠다고 밝혔다.

이에 대해 캐릭터 테크놀로지스 측은 모든 대화에 챗봇의 발언은 허구로 취급해야 한다는 면책 조항을 표시하고 있다고 해명했다. 하지만 해당 플랫폼은 이미 청소년 자살 조장·미성년자 유해 콘텐츠 노출 혐의로 켄터키주 등 다른 지역에서도 여러 차례 소송이 진행 중인 상태다.

펜실베이니아 주정부는 이번 소송을 교두보 삼아 신기술 악용에 대한 명확한 가이드라인을 설정하고 악의적인 기업의 책임을 엄격히 묻겠다는 방침이다.

[김형근 기자(editor@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>