Gemini AI가 사용자를 대신해 실제로 작업을 수행할 수 있는 최초의 진정한 AI 비서로 등장했다. Google Gemini AI는 이제 우버 예약, 도어대시·그럽허브를 통한 음식 주문을 자동으로 처리할 수 있다. 특히 이 기능은 3월 11일 출시되는 갤럭시 S26 스마트폰을 시작으로 미국과 한국에서 먼저 제공된다. 현재 얼리 프리뷰 단계로 갤럭시 S26 시리즈와 픽셀 10에 독점 출시되며, 사용자가 요청하면 AI가 앱을 실행하고 메뉴를 탐색하며 주문을 준비하는 전 과정을 자율적으로 수행한다. 우리는 이 글에서 Gemini AI의 작동 방식, 실제 사용 사례, 그리고 독점 출시가 갖는 의미를 자세히 살펴볼 것이다.

제미나이 AI가 앱을 직접 조작하는 방식

제미나이가 앱을 조작하는 핵심 메커니즘은 샌드박스 가상 창을 통한 백그라운드 실행이다. 사용자가 음성이나 텍스트로 요청을 입력하면, AI는 해당 앱을 격리된 가상 환경에서 실행하며 화면 스크롤, 항목 탭, 텍스트 입력 등 모든 단계를 자동으로 처리한다. 예를 들어, “샌프란시스코공항으로 가려고 해. 우버를 불러줄래?”라고 요청하면 제미나이는 우버 앱을 실행하고 목적지 입력란을 찾아 자동으로 주소를 입력한다.

이 과정에서 제미나이는 사용자 입력을 기계가 이해할 수 있는 벡터 형태로 변환하고, 트랜스포머 신경망을 통해 분석한다. AI는 단어와 이미지 사이의 관계를 파악하며 이전 대화와 배경 정보를 고려해 맥락을 이해한다. 또한 제미나이는 연결된 앱 및 Google 어시스턴트와 협력하여 작업을 수행하며, 원격 브라우저를 사용할 때는 웹사이트 인증 정보가 포함된 쿠키와 화면 캡처를 수집한다.

사용자는 실시간 알림을 통해 AI의 진행 상황을 추적할 수 있으며, 필요시 언제든 개입하여 수정할 수 있다. 이를 통해 AI가 자율적으로 작업하면서도 사용자가 최종 통제권을 유지하는 구조가 확립된다.

우버와 도어대시에서 실제로 작동하는 방법

우버 호출 과정은 음성 명령 하나로 시작된다. “샌프란시스코공항으로 가려고 해. 우버를 불러줄래?”라고 요청하면 제미나이는 우버 앱을 실행하고 목적지 입력란에 자동으로 ‘샌프란시스코공항’을 입력한다. 이후 우버X, 우버XL 같은 차량 옵션이 화면에 표시되며, 사용자는 현재 위치를 확인한 후 결제 버튼만 누르면 된다. 앱을 열고 목적지를 입력하는 과정 대부분을 AI가 처리하는 방식이다.

도어대시를 통한 음식 주문도 동일한 방식으로 진행된다. “배달의민족에서 족발 찾아줘. 매운 걸로”라고 말하면 제미나이는 배달 앱을 실행해 주문 가능한 식당을 찾고 결제 직전 단계까지 자동으로 진행한다. 특히 도어대시는 음식점이 주문 전화의 최대 50%에 응답할 수 없다는 점을 고려해 AI 음성 주문 시스템을 구축했으며, 대기 시간이 거의 없이 주문 전화에 응답하는 기능을 제공한다.

현재 우버, 리프트, 도어대시, 배달의민족, 카카오T 등이 연동되며, AI는 결제 직전 단계까지만 진행한 후 사용자에게 최종 확인을 요청한다.

픽셀 10과 갤럭시 S26 독점 출시의 의미

이번 자동화 기능은 현재 베타 단계로 픽셀 10, 픽셀 10 프로, 삼성 갤럭시 S26 시리즈에서만 사용할 수 있으며 미국과 한국에서 먼저 도입된다. 초기에는 차량 공유, 음식 배달, 식료품 등 특정 주요 앱 5개에 한정되어 있으나 향후 안드로이드 17 업데이트 시 추가 앱 지원이 확대될 예정이다. 미국과 한국의 1,800만 명 이상 안드로이드 사용자 기반을 활용하여 초기 확산될 것으로 전망된다.

한국 시장에서는 갤럭시 S26 사전 판매 기간(2월 27일~3월 5일) 직후부터 해당 기능을 사용할 수 있으며, 픽셀 10 시리즈는 3월 중순부터 한국과 미국에서 서비스된다. 구글은 사용자 명시적인 명령 없이 자동화가 실행되지 않도록 보안을 강화했으며, AI가 오류를 범할 경우 즉시 중단할 수 있는 기능도 제공한다.

특히 한국 시장에서 앱 개발자들의 협력이 관건이 될 전망이다. 글로벌 앱들이 이미 지원되더라도 한국 내 주요 배달 앱, 차량 호출 앱 등이 제미나이 AI의 자동화 기능을 허용할지 여부가 실제 사용자 경험을 결정짓는 중요한 요소가 될 것이다.

결론

결국 제미나이 AI는 단순한 음성 비서를 넘어 실제로 우리를 대신해 작업을 수행하는 자율 에이전트로 진화했다. 샌드박스 환경에서의 안전한 자동화, 사용자 최종 통제권 보장, 그리고 주요 앱들과의 연동은 AI 비서의 새로운 기준을 제시한다. 특히 한국 시장에서의 성공은 로컬 앱 개발자들의 협력에 달려 있으며, 이는 곧 우리 일상에서 AI 자동화가 얼마나 깊숙이 자리잡을지를 결정할 것이다.