Securing the future of AI agents

AI 에이전트 시대의 새로운 보안 패러다임

AI 에이전트는 사이버 보안부터 과학적 발견, 제품 개발에 이르기까지 복잡한 작업을 자율적으로 수행하며 생산성의 혁신을 이끌고 있습니다. 실제로 미국에서만 2030년까지 최대 2조 9,000억 달러(약 4,000조 원)에 달하는 경제적 가치를 창출할 것으로 기대됩니다.

하지만 AI 에이전트의 능력이 정교해질수록, 이를 통제할 안전장치 역시 고도화되어야 합니다. 이에 구글 딥마인드는 내부 시스템을 보호하기 위한 체계적인 보안 프레임워크인 'AI 컨트롤 로드맵(AI Control Roadmap)'을 개발했습니다. 이 방식은 기존의 모델 정렬(Alignment) 기술을 넘어, 정렬이 완벽하지 않은 상태에서도 시스템 수준에서 안전을 보장하는 다층 방어(Defense-in-depth) 방식을 취하고 있습니다.

AI 컨트롤(AI Control)의 이해

구글 딥마인드의 보안 접근법은 샌드박싱, 엔드포인트 보안, 프롬프트 인젝션 방어와 같은 전통적인 보안 기술을 기초로 합니다. 그 위에 AI 모델을 본질적으로 안전하게 훈련시키는 '모델 정렬'을 1차 방어선으로 삼습니다.

여기에 추가되는 AI 컨트롤 레이어는 내부 에이전트가 언제든 정렬 상태를 벗어날 수 있다고 가정(잠재적 미정렬)하고 작동합니다.

운전강사 비유: 이는 조수석에 보조 브레이크(이중 제어 장치)를 탑재한 운전강사와 유사합니다. 강사는 학생을 신뢰하지만, 학생이 실수할 경우 언제든 운전대를 빼앗거나 브레이크를 밟을 준비를 하고 있습니다. 이처럼 AI 컨트롤 시스템은 검증된 행동을 바탕으로 AI 에이전트에게 점진적으로 권한을 부여합니다.

AI 컨트롤 로드맵은 아주 강력한 AI 에이전트가 우리의 목표와 다르게 행동할 수 있다는 신중한 가정을 바탕으로 다음 세 가지 핵심 영역에 집중합니다.

1. AI 위협 모델링: 사이버 보안 업계의 모범 사례를 따라 AI 에이전트를 일종의 '내부자 위협(Insider Threat)'으로 취급합니다. 업계 표준인 MITRE ATT&CK 프레임워크를 기반으로 잠재적 공격 시나리오를 세부 전술로 세분화하여, 피해가 발생하기 전에 이상 행동을 포착하고 대비 훈련을 안전하게 수행합니다.
2. AI 컨트롤 완화 조치 배포:

• 탐지(Detection): 모니터링의 핵심으로, 신뢰할 수 있는 다른 AI 시스템을 '감독자(Supervisor)'로 두어 실무 에이전트의 사고 과정, 행동, 계획을 지속적으로 모니터링합니다.
• 예방 및 대응(Prevention and Response): 감독자 AI가 위험한 행동을 감지하면 즉시 해당 작업을 차단하여 실물 피해를 방지합니다.

1. 지속적인 성능 측정: 시스템이 정상 작동하는지 확인하기 위해 커버리지(모니터링되는 트래픽 비율), 재현율(이상 행동을 잡아낸 비율), 대응 시간이라는 세 가지 핵심 지표를 지속해서 측정합니다.

AI 발달에 따른 보안 확장 (Scaling Security)

AI 모델이 똑똑해질수록 보안 방어선도 함께 진화해야 합니다. AI 컨트롤 로드맵은 에이전트의 능력 성장에 맞춰 보안 프로토콜을 단계별로 확장합니다.

100만 개의 에이전트 실행 데이터 분석 결과

구글 딥마인드 팀은 코딩 에이전트의 실행 궤적(Trajectory)을 모니터링하고 이상 징후를 인간 검토자에게 전달하는 비동기식 모니터링 프로토콜을 구축했습니다. 이를 통해 무려 100만 건의 코딩 에이전트 작업 데이터를 분석했습니다.

그 결과, 단순히 특정 키워드를 필터링하는 수준을 넘어 높은 신뢰도의 행동 패턴을 포착해 낼 수 있게 되었습니다. 이러한 연구는 제미나이 스파크(Gemini Spark) 에이전트의 실시간 모니터링 시스템을 구축하는 데 핵심적인 기여를 했으며, 의도치 않은 데이터 삭제와 같은 돌발 상황에 실시간으로 대응하는 밑거름이 되었습니다.

흥미로운 점은, 감지된 경고 사건의 대부분이 악의적인 의도에서 비롯된 것이 아니었다는 사실입니다. 대부분은 에이전트의 오해나 사용자의 목표를 과도하게 달성하려는 적극성 때문에 발생했습니다. 이러한 미묘한 특성을 이해하는 것이 안전 프로토콜 정교화의 핵심입니다.

공동의 책임이 필요한 AI 생태계

AI 컨트롤 로드맵은 보안 인프라 전체를 아우르는 다층적 접근 방식의 필수 구성 요소입니다. 구글 딥마인드는 업계, 정책 입안자, 학계가 함께 협력할 수 있도록 돕기 위해 정책 제안서인 '에이전트 보안의 3대 레이어(Three Layers of Agent Security)' 보고서도 함께 발표했습니다.

이 보고서는 개별 에이전트 보안 수준 향상, 다중 에이전트 시스템(Multi-agent) 관리, 그리고 사이버 방어자 역량 강화를 통한 광범위한 생태계 회복 탄력성 구축방안을 다루고 있습니다. 안전한 미래 AI 생태계를 위해 지금 바로 단단한 기반을 다져야 할 때입니다.