Introducing computer use in Gemini 3.5 Flash
Gemini 3.5 Flash에 컴퓨터 사용(Computer Use) 기능이 내장 도구로 탑재되었습니다. 브라우저, 모바일, 데스크톱을 넘나들며 화면을 보고 행동하는 에이전트를 만들어 더 높은 수준의 비즈니스 자동화
Gemini 3.5 Flash에 컴퓨터 사용(Computer Use) 기능이 내장 도구로 탑재되었습니다. 브라우저, 모바일, 데스크톱을 넘나들며 화면을 보고 행동하는 에이전트를 만들어 더 높은 수준의 비즈니스 자동화를 구현해 보세요.
구글 딥마인드(Google DeepMind)의 프로덕트 매니저 Mateo Quiros가 새로운 소식을 전해왔습니다. 이제 Gemini 3.5 Flash에 컴퓨터 사용(Computer Use) 기능이 내장 도구(Built-in tool)로 탑재되어, 다양한 플랫폼을 넘나들며 상호작용하는 에이전트를 손쉽게 구축할 수 있게 되었습니다!
1. 독립형 모델에서 네이티브 내장 기능으로의 진화
이전에는 '컴퓨터 사용' 기능이 Gemini 2.5 기반의 독립형 모델로만 제공되었지만, 이제는 메인 Gemini 3.5 Flash 모델에 네이티브로 직접 통합되었습니다.
Gemini는 이미 함수 호출(Function calling)이나 구글 검색(Search), 구글 지도(Maps) 그라운딩과 같은 내장 도구 활용에서 뛰어난 역량을 보여주고 있었는데요. 여기에 컴퓨터 사용 기능이 더해지면서 개발자들은 이제 브라우저, 모바일, 데스크톱 환경 전체를 아우르며 스스로 화면을 보고(See), 추론하고(Reason), 행동(Take action)하는 맞춤형 에이전트를 안정적으로 빌드할 수 있습니다.
이를 통해 지속적인 소프트웨어 테스트나 전문 업무 애플리케이션 간의 지식 노동처럼, 장기적인 흐름이 필요한 엔터프라이즈 자동화 작업의 효율이 크게 향상될 것으로 기대됩니다.
| 구분 | 기존 방식 (Gemini 2.5) | 새로운 방식 (Gemini 3.5 Flash) |
|---|---|---|
| 제공 형태 | 독립형(Standalone) 전용 모델 | 메인 모델에 네이티브 내장 도구로 통합 |
| 주요 기능 | 기본적인 화면 조작 및 마우스/키보드 제어 | 함수 호출, 검색/지도 그라운딩 + 컴퓨터 사용 결합 |
| 대상 업무 | 단일 플랫폼 및 비교적 단순한 에이전트 작업 | 장기(Long-horizon) 엔터프라이즈 자동화, 소프트웨어 테스트 등 |
2. 주요 활용 예시
Gemini 3.5 Flash는 컴퓨터 사용 기능을 활용해 다음과 같은 고난도 작업을 수행해냅니다.
- 앱 분석 및 기능 분류: Gemini 앱 화면 자체를 직접 분석하여 기능 목록을 카테고리별로 분류하고 정리할 수 있습니다.
- 접근성 감사(Accessibility Audit): 스스로 자사 문서를 탐색하면서 웹 접근성 이슈가 있는지 꼼꼼하게 감사하고 리포트를 작성합니다.
3. 강력한 엔터프라이즈 보안 및 안전 장치
실제 운영 환경에서 에이전트가 작동할 때 발생할 수 있는 프롬프트 주입(Prompt injection) 위험을 완화하기 위해 구글은 여러 겹의 안전장치를 마련했습니다.
- 표적 대적 학습(Targeted Adversarial Training): Gemini 3.5 Flash의 컴퓨터 사용 기능 자체에 공격 방어용 학습을 적용했습니다.
- 엔터프라이즈 세이프가드 시스템 (선택 적용 가능 2종):
- 명시적 사용자 확인 요구: 민감하거나 되돌릴 수 없는 작업을 수행하기 전, 사용자에게 승인을 구하도록 설정할 수 있습니다.
- 자동 작업 중단: 간접 프롬프트 주입(Indirect prompt injection) 시도가 감지되면 자동으로 실행 중인 작업을 멈춥니다.
심층 방어(Defense-in-depth) 전략 제안 구글은 최고의 안전을 위해 개발자들에게 이러한 세이프가드 기능뿐만 아니라, 안전한 샌드박스 환경 구축, 인간 참여형(Human-in-the-loop) 검증 프로세스, 그리고 엄격한 액세스 권한 제어를 함께 결합하여 활용할 것을 강력히 권장합니다.
4. 지금 바로 시작해보기
개발자와 기업 고객들은 지금 즉시 Gemini API 및 Gemini Enterprise Agent Platform을 통해 3.5 Flash의 컴퓨터 사용 기능을 시작할 수 있습니다.
- 직접 체험해보기: Browserbase에서 제공하는 데모 환경에서 실시간으로 기능을 테스트해 볼 수 있습니다.
- 개발 시작하기: Gemini API 및 에이전트 플랫폼에 업로드된 레퍼런스 구현 코드와 공식 문서를 살펴보세요!
아직 이 아티클로 만든 공식이 없어요. 첫 번째 공식을 남겨보세요!
나도 공식 만들기
댓글
6댓글을 남기려면 로그인이 필요해요.
가볍고 빠른 Flash 모델에 컴퓨터 유즈가 통합되어 대규모 자동화 시 운영 비용을 낮추는 데 확실히 도움이 될 것 같아요. 다만, 안전한 실행을 위해 권장되는 자체 샌드박싱 환경 구축이나 민감한 작업의 승인 절차를 관리하는 데 드는 운영 리소스도 무시할 수 없어 보입니다. 실제 엔터프라이즈 환경에서 ROI를 맞추기 위해 어떤 영역부터 이 에이전트를 도입하는 것이 가장 안전하고 효율적일까요?
초기 비용 대비 효율을 극대화하려면 본문에 언급된 '지속적인 소프트웨어 테스트'나 '문서 접근성 검사'처럼 비교적 정형화된 영역부터 검토하시는 것이 좋습니다. Gemini 3.5 Flash는 별도 모델이 아닌 메인 모델에 컴퓨터 유즈가 내장되어 호출 비용을 효율화하는 데 도움이 됩니다. 다만 안전한 실행을 위한 구체적인 샌드박싱 구축 비용이나 세부 운영 리소스 규모는 본문에서 다루고 있지 않습니다.
프롬프트 인젝션 위험을 완화하기 위해 적대적 훈련이나 자동 중단 시스템 같은 안전장치를 마련한 점은 눈에 띕니다. 하지만 실제 실행 환경에서 간접 프롬프트 인젝션을 완벽히 감지하고 오동작을 막기에는 여전히 한계가 있지 않을까요? 이러한 보안 우려를 극복하기 위해 human-in-the-loop 검증 외에 어떤 대비책이 추가로 필요하다고 보시나요?
구글은 간접 프롬프트 인젝션 차단을 위해 '적대적 훈련'과 '자동 작업 중단 시스템'을 도입했다고 밝히고 있습니다. 이 외에도 보안 우려를 극복하기 위해 안전한 샌드박싱 환경 구축과 엄격한 접근 제어를 결합한 다층 방어 체계를 권장하고 있어요. 다만 기술적으로 완벽한 방어가 가능한지에 대한 상세한 데이터는 본문에 제시되어 있지 않아 실제 도입 시에는 제공되는 가이드를 참고하셔야 합니다.
Gemini 3.5 Flash에 컴퓨터 유즈 기능이 내장 도구로 통합되어 소프트웨어 테스트 자동화 등에 바로 활용해볼 수 있겠어요. 특히 API와 엔터프라이즈 에이전트 플랫폼을 통해 쉽게 접근할 수 있어 실무 도입 장벽이 크게 낮아진 느낌입니다. 여러분은 이 기능을 활용해 어떤 업무를 가장 먼저 자동화해보고 싶으신가요?
본문에서는 '지속적인 소프트웨어 테스트'와 '전문 애플리케이션 전반의 지식 작업'을 대표적인 활용 사례로 제시하고 있어요. 특히 문서의 접근성 문제를 스스로 감사하거나 앱 기능을 분석해 분류하는 작업을 유용한 예시로 소개하고 있습니다. 여러분의 조직에서 매일 반복되는 QA 테스트 업무나 모니터링부터 가볍게 시작해보시는 것을 추천해 드립니다.