규정 기반 통제에서 ‘리스크 기반 통제’로의 패러다임 전환 필요
AI 위협 대비하는 리스크 관리자이자 안전한 활용 이끄는 데이터 전략가
합성데이터·규제 샌드박스 등 제도와 기술의 유연한 활용 능력 필수

[보안뉴스= 이제원 기술사/차세대수치예보모델개발사업단] 바야흐로 AI 기술이 기업의 생존을 결정짓는 핵심 경쟁력으로 부상한 지금, 개인정보의 안전한 관리를 책임지는 개인정보보호 담당자들은 거대한 딜레마 앞에 서 있다. 기업은 AI 성능 향상과 신규 서비스 개발을 위해 다양한 개인정보를 자유롭게 활용하기를 원하지만, 동시에 프라이버시 침해에 대한 사회적 우려와 규제의 장벽은 그 어느 때보다 높아지고 있기 때문이다.


과거 개인정보보호 담당자의 역할은 명확했다. 개인정보라는 성벽을 높이 쌓고 외부의 침입을 차단하며, 기술적·관리적·물리적 보호조치라는 정해진 답을 체크하는 ‘시험’과도 같았다. 그러나 생성형 AI와 거대언어모델(LLM)이 등장한 이후 상황은 완전히 달라졌다.

이제 보호해야 할 대상은 정형 데이터를 넘어 텍스트, 음성, 영상, 이미지 등 비정형 데이터로 확장되었고, 이 데이터들은 거대언어모델의 수십억 개 파라미터 속에 확률적으로 학습된다. 학습된 개인정보를 “어디까지 삭제해야 파기한 것으로 볼 수 있는가”에 대한 정의조차 내리기 힘든 상황이 된 것이다.

따라서 과거의 “법을 위반했는가?”라는 ‘규정 기반(Rule-Based) 통제’에서, 이제는 “이 AI 활용이 우리 사회와 조직이 감당할 수 있는 수준인가?”라는 ‘리스크 기반(Risk-based) 통제’로 관점을 전환해야 할 시점이다. 그리고 이 리스크 기반 통제를 실제 조직 안으로 설계하고 적용하는 최전선에 서 있는 사람이 바로 개인정보보호 담당자다.

AI 시대의 개인정보보호 담당자에게 요구되는 역할은 더 이상 단순히 규정을 내세워 “안 된다”고 말하는 통제자가 아니다. 보호와 활용의 균형을 설계하는 ‘리스크 관리자’(Risk Manager)이자 개인정보를 안전하게 비즈니스 자산으로 전환하는 ‘데이터 전략가’(Data Strategist)로서 역할을 함께 수행해야 한다.

먼저 리스크 관리자 역할부터 살펴보면, 과거 보안이 방화벽 침입 여부나 계정 탈취 같은 이분법적 통제였다면, AI 시대의 보안은 확률과의 싸움이다. 아무리 정교하게 설계된 AI 모델이라도 적법하지 않게 개인정보가 수집·이용되거나, 학습 데이터 내 개인정보가 노출될 가능성을 완전히 제거할 수 없다.

공격자가 반복적인 질문을 통해 원본 데이터를 역추출하는 ‘전도 공격’(Model Inversion, Data Inversion)과 특정인의 데이터 포함 여부를 알아내 민감정보를 유추하는 ‘멤버십 추론 공격’(Membership Inference) 등이 대표적이다. 또, AI가 학습된 개인정보를 의도치 않게 그대로 답변하는 ‘학습 데이터 암기’(Memorization) 현상이나, 악의적인 프롬프트로 보안을 무력화하는 ‘프롬프트 인젝션’(Prompt Injection) 공격은 실무자가 반드시 대비해야 할 새로운 위협이다.

개인정보보호 담당자는 이러한 기술적 특성을 이해하고, 개발 초기 단계부터 ‘개인정보보호 중심 설계’(PbD·Privacy by Design)를 적용해 사고 발생 확률을 낮추는 선제적 리스크 관리를 수행해야 한다.

그렇다면 리스크를 관리하면서도 어떻게 데이터를 안전하게 활용할 것인가? 여기서 필요한 것이 ‘데이터 전략가’로서의 역할이다. 무조건적인 사용 금지가 아니라, 제도의 유연성과 기술적 대안을 양손에 쥐고 구체적인 해법을 제시해야 한다.

제도적 측면에서는 △사전적정성 검토제 △개인정보 이노베이션존 △규제 샌드박스를 적극 활용할 필요가 있다. 사전적정성 검토제는 신기술·신규 서비스에 대해 사업자와 개인정보보호위원회가 적정 처리 기준을 사전 설계하는 장치이며, 개인정보 이노베이션존은 안전한 환경에서 가명정보를 유연하게 활용하도록 돕는 인프라다. 규제 샌드박스는 기존 규제로 시도가 어려운 서비스를 한시적으로 허용해 실증 기회를 부여한다.

이 세 가지는 상호 보완적으로 작용한다. 예를 들어 의료 상담 AI 서비스를 만든다면, 기획 단계에서 사전적정성 검토제로 법적 불확실성을 줄이고, 학습 단계에서는 이노베이션존에서 가명처리를 수행하며, 운영 단계에서는 규제 샌드박스로 실증하는 식의 단계적 적용이 가능하다.

기술적 측면에서는 ‘프라이버시 강화 기술’(PETs: Privacy Enhancing Technologies)이 데이터 활용의 핵심 열쇠다. 그중 ‘합성데이터’(Synthetic Data)는 실제 데이터의 통계적 특성은 유지하되 가상의 정보를 생성함으로써, 유출 위험을 감소하면서도 AI 성능을 보장하는 가장 현실적인 대안으로 주목받고 있다.

가트너(Gartner)가 향후 AI 프로젝트의 상당 부분이 합성데이터를 사용할 것으로 예측한 만큼, 개인정보보호 담당자는 현업 부서에 “실데이터 대신 합성데이터를 활용하자”고 먼저 제안할 수 있는 기술적 안목을 갖춰야 한다. 이 외에도 ‘차분 프라이버시’(Differential Privacy), ‘연합학습’(Federated Learning), ‘신뢰 실행 환경’(TEE) 등의 기술도 유용하게 활용할 수 있다.

AI 운영 단계에서는 입·출력 필터링 기술을 통해 프롬프트 내 개인정보 패턴을 차단하고, AI 프라이버시 레드팀을 운영해 취약점을 지속적으로 식별해야 한다. 결국 데이터 전략가의 핵심은 “개인정보를 활용하지 마라”가 아니라 “이러한 제도와 기술을 조합하면 안전하게 사용 가능하다”는 대안을 제시하는 능력이다.

정리하자면, AI 시대의 개인정보보호 담당자는 더 이상 규정집 속에 갇힌 감시자가 되어서는 안 된다. ‘AI 프라이버시 리스크 관리 모델’이나 ‘NIST AI RMF’ 같은 프레임워크를 적용해 리스크 기반 거버넌스를 구축해야 한다.

AI라는 거대한 시대적 흐름 앞에서 기존 방식에 갇혀 있을 것인가, 아니면 변화의 파도를 타고 미지의 영역을 개척하는 능동적인 혁신자가 될 것인가. 스스로 변화를 선택하고 새로운 역할을 정립하는 자만이 AI 시대가 요구하는 진정한 개인정보 전문가로 인정받을 것이다.

[글_ 이제원 기술사/차세대수치예보모델개발사업단]

필자 소개_
-차세대수치예보모델개발사업단
-한국정보공학기술사회 미래융합기술원 보안분과
-과학기술정보통신부 부가통신사업자 재난점검위원
-과학기술정보통신부 ICT 멘토
-한국정보보호산업협회 정보보안 및 개인정보보호 전문위원
-한국방송통신전파진흥원 국가기술자격 제도발전위원
-한국정보통신기술협회 중소기업 정보화 자문위원

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>