MosaicLeaks: Can your research agent keep a secret?

딥 리서치 에이전트의 개인정보 유출 위험

어떤 헬스케어 기업의 리서치 에이전트가 업무를 수행하는 도중 평범해 보이는 웹 검색을 몇 차례 시도했다고 가정해 볼게요. 하나의 쿼리는 클라우드 마이그레이션 이정표를, 다른 하나는 2024년 1월 보안 공개 문서를, 마지막 하나는 특정 벤더사를 지목합니다. 각각의 검색어 자체만 놓고 보면 대단한 비밀이 아닐 수 있어요. 하지만 외부에서 이 검색 로그들을 수집하여 조각들을 맞춰보면, "MediConn사가 2025년 1월까지 인프라의 70%를 클라우드로 이전했다"는 비공개 사실을 재구성해 낼 수 있습니다. 이를 모자이크 효과(Mosaic Effect)라고 부르며, MosaicLeaks가 주목하는 핵심 보안 취약점입니다.

공격자는 에이전트가 로컬에서 어떤 문서를 보는지, 어떤 생각을 하는지 직접 알 수 없고 오직 외부로 나가는 쿼리 로그만 관찰할 수 있습니다. 연구진은 공격자가 이 로그를 통해 알아낼 수 있는 정보의 수준에 따라 유출 유형을 다음과 같이 세 가지로 분류했습니다.

이 세 가지 유형은 보안 위협의 심각성이 점차 커지는 단계를 나타냅니다. 특히 전체 정보 유출 단계에 도달하면, 공격자는 에이전트의 쿼리 흔적만으로도 내부에 감춰진 기업 비밀을 완벽하게 재구성해 낼 수 있어요.

MosaicLeaks 벤치마크 구축 방법

MosaicLeaks는 로컬 기업 문서와 통제된 웹 코퍼스를 가로지르는 1,001개의 다단계(Multi-hop) 리서치 체인으로 구성되어 있어요. 이 벤치마크의 목적은 기업 문서에서 프라이버시 유출을 유도하기 쉽지만, 유출 없이도 충분히 문제를 풀 수 있는 태스크 환경을 만드는 것입니다. 각 체인은 로컬 질문과 웹 질문이 교차로 얽혀 있습니다. 이전 단계의 답변이 다음 단계의 '다리(Bridge) 엔티티'가 되므로, 에이전트는 로컬 정보를 먼저 조회해야만 유용한 웹 검색어를 만들 수 있습니다. 구체적인 구축 단계는 아래와 같습니다.

실제 시나리오 예시: MediConn 클라우드 마이그레이션

이해를 돕기 위해 실제 벤치마크에 사용되는 다단계 질문 체인 예시를 살펴볼게요.

마지막 웹 단계의 질문 자체에는 비공개 정보가 들어있지 않으며 공용 웹 문서만으로 풀 수 있습니다. 하지만 이 단계에 도달하는 경로가 로컬 비공개 정보에 의존하기 때문에, 에이전트가 무심코 "MediConn", "70%", "January"라는 단어를 검색창에 한꺼번에 넣어버리면 공격자에게 내부 비밀을 고스란히 유출하게 됩니다.

에이전트 작동 방식 (Agent Harness)

연구진은 DRBench를 기반으로 수정한 에이전트 프레임워크를 사용했습니다. 에이전트는 각 하위 단계마다 짧은 답변과 근거를 제시하고, 매 턴마다 다음의 네 가지 도구를 활용합니다.

• Plan (계획): 로컬 및 웹 검색 쿼리를 생성합니다.
• Choose (선택): 검색된 문서 카드 중 어떤 것을 읽을지 고릅니다.
• Read (읽기): 선택한 문서에서 정답을 도출하기 위해 병렬로 문서를 읽습니다.
• Resolve (해결): 정답을 제출할지, 문서를 더 읽을지, 아니면 다른 계획을 세워 재검색할지 결정합니다.

프롬프트로 유출을 막을 수 있을까?

가장 먼저 떠오르는 해결책은 프롬프트에 직접 경고를 추가하는 것입니다. Plan 도구 프롬프트에 "로컬 정보가 외부 웹 검색 쿼리로 유출되지 않도록 주의하라"는 문구를 추가하여 테스트해 보았습니다.

결과는 일관되지 못했고 실망스러웠습니다. 일부 모델에서는 유출이 미미하게 줄어들었지만, 동시에 에이전트의 작업 성능이 떨어지는 부작용을 낳았습니다. 예를 들어 Qwen3-4B 모델의 경우, 이 프롬프트를 적용했을 때 답변 및 전체 유출률이 34.0%에서 25.5%로 소폭 감소하는 데 그쳤고, 엄격한 체인 성공률은 48.7%에서 44.5%로 하락했습니다. 에이전트가 안전한 검색 방식을 학습한 것이 아니라, 단순히 검색 시도 자체를 극도로 자제하는 소극적인 방식으로 반응했기 때문입니다.

성능이 좋아질수록 유출은 더 심해진다

더 큰 문제는 단순히 과제 해결 능력만을 높이기 위해 일반적인 강화학습을 진행했을 때 나타났습니다. 성능 중심의 학습을 마친 에이전트는 체인 성공률을 48.7%에서 59.3%로 끌어올렸지만, 동시에 답변/전체 정보 유출률도 34.0%에서 51.7%로 치솟았습니다.

에이전트가 문제를 더 정확하게 풀기 위해 웹 검색창에 로컬 문서 속 구체적인 정황이나 수치를 더 많이 담아 검색했기 때문입니다. 문제 해결 능력을 올릴수록 프라이버시가 취약해지는 강력한 '트레이드오프(Trade-off)'가 발생한 셈입니다.

안전하게 검색하는 법 가르치기: PA-DR

이 딜레마를 해결하기 위해 연구진은 성능과 보안을 모두 챙기는 새로운 강화학습 프레임워크인 PA-DR(Privacy-Aware Deep Research)을 제안했습니다. PA-DR은 두 가지 영리한 보상 시스템을 활용합니다.

1. 상황적 작업 보상 (Situational Task Reward): 최종 성공 여부로만 보상하면 신호가 너무 약하므로, 각 의사결정 단계별로 로컬 데이터를 올바르게 사용했는지, 필요한 검색만 효율적으로 실행했는지 실시간 비교 피드백을 줍니다.
2. 개인정보 보호 보상 (Privacy Reward): 웹 쿼리가 생성될 때마다 별도의 Qwen3-4B 모델 기반 분류기가 해당 검색어의 유출 위험도를 즉각 평가하고, 누적 검색 기록에서 모자이크 유출이 발생할 가능성이 관찰되면 무거운 벌점을 부여합니다.

놀랍게도 PA-DR 모델은 검색 시도 횟수를 줄이지 않았습니다. 대신 검색을 더 적극적으로 수행하면서도, 검색창에서 구체적인 수치("15%", "2024년" 등)나 타깃 기업명 등 민감한 키워드를 제거하고 일반화된 쿼리를 생성하여 비밀을 유지하는 법을 터득했습니다.

샘플 효율성 비교

상황적 보상을 활용하는 PA-DR 기법은 학습 과정의 효율성 측면에서도 기존 결과 기반 보상 방식(Outcome Reward) 대비 약 5~6배 적은 샘플만으로도 높은 성능 수준에 도달할 수 있는 엄청난 속도 개선을 보여주었습니다.

시사점 및 결론

MosaicLeaks 벤치마크 실험은 딥 러닝 에이전트의 프라이버시가 단순한 주의 환기성 프롬프트만으로는 보호될 수 없다는 엄격한 진실을 증명했습니다. 에이전트가 스스로 무해하고 평범한 쿼리를 구사하며 목표를 추적해 가도록 유도하기 위해선, 검색 쿼리를 형성하는 일련의 과정 속 행동(Action) 자체를 강화학습의 강력한 최적화 영역에 두고 다듬어야 합니다. 모자이크 유출은 에이전트가 행동하는 시간의 흐름 속에서 누적되는 정보 결합의 결과이므로, 이를 직접 정량화하고 차단하는 피드백 루프를 구축하는 것이 안전한 LLM 에이전트 아키텍처 구축의 시작입니다.