AI 시대의 제로트러스트, 맥락 단위의 접근 제어와 의미 단위의 통제
판단 결과의 실시간 검증과 맥락 생성 과정의 추적 가능성 포함하는 구조로 확장돼야

[보안뉴스= 조재원 기술사/OpenText 솔루션 컨설턴트] 2025년, 생성형 AI는 더 이상 새로운 기술이 아니다. 많은 기업이 이미 AI를 도입했고, 이제는 Agentic AI를 통해 실제 업무를 자동화하는 단계로 접어들고 있다. 문제는 이 과정에서 의도하지 않게 더 많은 정보와 권한이 AI에게 위임되고 있다는 점이다. 업무 효율과 정확도를 높이기 위해 허용한 접근이 어느 순간부터는 조직 스스로도 통제하기 어려운 상태로 확장된다. 이때 발생하는 보안 문제는 해킹이나 외부 침입이 아니다. 정상적으로 동작한 AI가 정상적인 업무 요청을 처리하는 과정에서 만들어낸 결과다. 이는 기술의 문제가 아니라, AI가 기존 보안 모델의 전제를 무너뜨리기 때문에 발생한다.

기존 보안은 한 가지 가정 위에 설계되어 있다. ‘데이터는 사람이 직접 접근한다.’

그러나 AI는 이 전제를 무력화시킨다. AI는 사용자를 대신해 데이터를 읽고, 연결하고, 요약한다. 또한, A2A(Agent-to-Agent)를 통해서 AI끼리 해당 데이터를 공유하기도 한다. 그 결과 사용자는 직접 접근하지 않았음에도, 접근한 것과 동일한 결과를 얻게 된다. 이 순간부터 보안의 기준은 흔들리기 시작한다.


문제는 AI가 아니라, 데이터가 결합되는 방식이다
많은 조직이 AI 도입의 위험을 기술 문제로 인식하지만, 실제 위험은 데이터가 결합되고 활용되는 방식에서 발생한다. 아래 그림은 AI 활용이 확장되는 과정(시스템 보조 → RAG(Retrieval-Augmented Generation) 기반 문서 탐색 → 맥락(Context) 기반 활용 → AI Agent의 대리 수행 → 외부 API 연계)에서, 보안 위험이 어떻게 구조적으로 변화하는지를 단계별로 보여준다.


초기에는 AI가 시스템 내부에서 보조적인 역할을 수행하며, 기존 권한 체계 안에서 통제가 가능하다. 그러나 RAG 기반 문서 탐색이 도입되고, 시맨틱 레이어(Semantic Layer) 등을 통해 업무 맥락이 해석되기 시작하면 상황은 달라진다. 이때 데이터는 단순 조회 대상이 아니라 판단을 위한 재료가 되며, AI의 역할은 점차 확대된다. 이에 따라 AI가 업무 맥락을 해석하고 대리 수행하기 시작하면, 보안의 기준은 더 이상 접근 여부로 설명되지 않는다. 즉, ‘보안은 누가 접근했는가’가 아니라, ‘어떤 맥락에서 어떤 판단이 이뤄졌는가’를 통제해야 하는 문제로 전환된다.

이러한 변화는 단순한 기술 진화에 따른 기존 보안 방식의 대응이 아니라, AI 활용을 전제로 한 보안 아키텍처의 재설계를 요구하는 신호로 볼 수 있다.

AI 보안 사고는 침입이 아니라 정상 동작에서 발생한다
AI 환경에서의 보안 문제는 대부분 공격으로 시작되지 않는다. 오히려 정상적인 업무 흐름 속에서 조용히 발생한다. 예를 들어, 사용자는 접근 권한이 없는 문서를 직접 열지 않았으나 AI 응답에는 해당 문서의 내용이 포함되어 생성된다. 로그상으로는 정상 요청이며, 보안 시스템은 이를 위협으로 인식하지 않는다. 문제는 여기서 끝나지 않는다. 이 순간부터 조직은 누가 무엇을 봤는지를 더 이상 설명할 수 없게 된다. 보안 사고가 발생했음에도, 사고의 주체와 경로를 특정할 수 없기 때문이다.

RAG 구조는 이 문제를 더욱 증폭시킨다. 문서가 조각 단위로 분해되고 재조합되면서 접근 통제의 기준이었던 문서 단위 보안은 더 이상 작동하지 않는다.

여기에 시맨틱 레이어와 지식 그래프(Knowledge graph) 구조가 더해지면 상황은 더욱 심각해진다. 고객360, 계약위험, 매출분석 같은 업무 맥락을 만들기 위해 정형, 비정형 데이터를 연결하다 보면, 보안은 구조적으로 무너지며 데이터는 더 이상 조회 대상이 아니라 추론의 재료가 된다. 이 순간 보안은 통제가 아니라 해석의 문제로 바뀐다.

아래는 AI 환경에서 정확도를 높이기 위해 업무 맥락을 더하는 경우 발생 가능한 3가지 문제를 표로 정리한 것이다.


이러한 문제점 때문에 AI가 활용해야 할 맥락이나 데이터 연결을 포기할 수 있을까? 결국 AI 시대 선도 기업으로 나아가기 위해서는 맥락을 유지하면서 보안을 구현할 수 있는 새로운 보안 아키텍처 도입이 필수이다.

AI 보안은 정상 동작을 어떻게 통제하느냐의 문제다
앞서 살펴본 것처럼, AI 환경에서의 보안 위협은 외부 침입이 아닌 정상 동작 내부에서 발생한다. 따라서 대응 전략 역시 기존의 침입 탐지 중심 사고에서 벗어나 AI가 활용하고 생성하는 맥락을 어떻게 통제할 것인가로 전환되어야 한다.

아래는 위에서 설명한 반복적으로 발생하는 세 가지 문제에 대한 실질적인 대응 방안이다.

1. 추론 공격에 대한 대응– 보지 않았지만 알게 되는 상황을 차단하라
AI는 문서를 직접 노출하지 않더라도, 응답을 통해 민감한 정보를 추론하게 만든다. 따라서 보안 통제는 문서 접근이 아니라 응답 생성 단계까지 확장되어야 한다. ‘Retrieval 단계 필터링’을 통해 검색 시점에서 사용자 권한에 맞는 데이터 조각만 반환하고 ‘Answer-level Guardrail’을 적용, 생성 결과에 대해 민감 정보, 추론 위험 여부를 재검증한다. 마지막으로 ‘출처 기반 응답 강제(Provenance Requirement)’를 통해 근거가 명확하지 않은 답변은 제한하거나 축약해 출력할 수 있다. 이 대응 방안은 문서를 볼 수 있는가가 아니라 이 답변을 말해도 되는가를 판단하는 구조로 보안을 전환한다.

2. 권한 불일치에 대한 대응– 사람의 권한이 아니라 AI의 권한이 문제다
AI는 여러 시스템의 데이터를 결합하여 사용한다. ERP, ECM, CRM이 서로 다른 권한 체계를 가지고 있을 경우, AI는 가장 느슨한 기준을 따라 결과를 만들어내기 쉽다. 따라서 ‘중앙 정책 기반 권한 결정(PDP/PEP-Policy Enforcement Point/ Policy Enforcement Point)’를 통해 개별 시스템이 아닌 중앙 정책 엔진에서 접근 여부 판단하고 ‘권한 기준의 단일화(Authoritative Source 정의)’를 활용, 어디의 권한이 최종 기준인가를 명시한다. ‘결합 단계 재검증’을 이용해 여러 데이터가 조합될 때 다시 권한 검증을 수행할 수 있다. 이렇게 해야만, AI는 권한이 없지만 결과는 알고 있는 상태를 방지할 수 있다.

3. 공격 표면 확대에 대한 대응- AI가 무엇을 할 수 있는가를 통제하라
Agentic AI 환경에서는 데이터 접근보다 행동 권한이 더 위험하다. 하나의 프롬프트가 여러 시스템을 동시에 호출할 수 있기 때문이다. 이는 ‘Tool Allowlist+최소 권한 원칙’을 통해 AI가 사용할 수 있는 도구를 명시적으로 제한 및 통제할 수 있으며, ‘고위험 작업에 대한 승인 기반 실행’을 활용해 결제, 변경, 외부 전송은 필수로 사람 승인 후 수행하게 할 수 있다. 또한 ‘행위 단위 감사(Agent Traceability)’를 통해 어떤 판단을 거쳐 어떤 행동이 발생했는지 추적 가능해야 함으로써 단순 로그 수집이 아닌 AI의 의사결정 경로 기록을 해야 한다.

결론은 제로 트러스트로의 확장
AI 환경에서 보안은 더 이상 누가 접근했는지만으로 설명되지 않는다. 이제 중요한 것은 어떤 맥락에서 정보가 조합되고, 어떤 결론이 생성되었는가이다. 기존 보안 모델은 사람의 접근을 통제하는 데 최적화되어 있었다. 하지만 AI는 사람을 대신해 판단하고 행동하며, 그 과정에서 새로운 의미와 관계를 만들어낸다. 따라서, AI 또한 사람처럼 관리 및 통제를 적용해야 하며 새로운 의미와 관계 생성의 주체로써의 검증이 필요하다.

이에 따라 이제 보안의 단위는 접근이 아니라 맥락이다.

따라서 AI 시대의 Zero Trust는 단순한 접근 차단이 아니라, 맥락 단위의 접근 제어, 의미 단위의 통제, 판단 결과의 실시간 검증, 맥락 생성 과정의 추적 가능성을 포함하는 구조로 확장되어야 한다.

이 구조를 설계하지 못한 조직에게 AI는 생산성을 높이는 도구가 아니라, 가장 조용하고 빠르게 통제를 무너뜨리는 내부 리스크가 될 것이다.

[글_ 조재원 기술사/OpenText 솔루션 컨설턴트]

필자 소개_
-OpenText 솔루션 컨설턴트(엔터프라이즈 데이터·AI 아키텍트)
-한국정보공학기술사회 미래융합기술원 연구위원
-국가직무능력표준(NCS) 학습모듈 클라우드 분야 집필 및 검토
-창업진흥원, 정보통신산업진흥원, 정보통신기획평가원 평가위원

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>