Разработчики «Доубао» объяснили, как их ассистент работает с защищёнными экранами

В сети появились опасения пользователей о работе мобильного ассистента «Доубао» (Doubao). Некоторые предположили, что приложение, используя системные разрешения READ_FRAME_BUFFER и CAPTURE_SECURE_VIDEO_OUTPUT, может получать доступ к защищённым интерфейсам, например, к клавиатурам банковских приложений.

Официальные представители «Доубао» выступили с опровержением, назвав эти утверждения ошибочной интерпретацией технологии. По их словам, ассистент использует стандартный интерфейс создания скриншотов и строго соблюдает системный маркер Secure, который приложения устанавливают для защиты своего контента. Это означает, что «Доубао» технически не может сделать скриншот защищённой страницы, такой как банковская клавиатура.

Разработчики предложили любому пользователю, у которого есть техническая предварительная версия ассистента, самостоятельно проверить это, создав тестовое приложение с защищённой страницей. При попытке попросить ИИ описать содержимое такой страницы, он не сможет его «увидеть».

Объясняя необходимость использования упомянутых разрешений, в компании заявили, что разрешение READ_FRAME_BUFFER требуется для работы ассистента в фоновом режиме. «Доубао» запускает сторонние приложения в виртуальном пространстве экрана, и это разрешение нужно для захвата изображения с этого виртуального дисплея (метод WindowManagerService.captureDisplay) с целью последующего анализа моделью ИИ. Однако этот метод не позволяет считывать контент, помеченный приложениями как Secure.

Разрешение CAPTURE_SECURE_VIDEO_OUTPUT, в свою очередь, используется для корректного отображения защищённых страниц пользователю. Без него такие страницы в проекции виртуального экрана (например, во всплывающем окне) отображались бы чёрным квадратом, делая взаимодействие невозможным. Данное разрешение позволяет показать контент пользователю для работы с ним, но даже в этом случае страница остаётся помеченной как Secure и не может быть снята на скриншот.

Принцип работы ассистента заключается в цикле: пользователь даёт команду → делается скриншот и отправляется в облако для анализа моделью ИИ → модель возвращает инструкции по действиям → телефон выполняет их. Этот процесс повторяется до завершения задачи, с интервалом около 3 секунд между шагами.

Из-за большого размера параметров модели, необходимых для анализа интерфейса, обработка пока не может выполняться непосредственно на устройстве и требует отправки скриншотов в облако. В компании отметили, что аналогичный принцип работы и использование схожих системных разрешений характерно для многих других мобильных ассистентов с функциями ИИ от различных производителей смартфонов.

«Доубао» подчеркнул, что процесс создания скриншотов запускается только по прямой команде пользователя, защищённые страницы сторонних приложений захватить невозможно, а отправленные в облако изображения используются исключительно для анализа и не сохраняются после выполнения задачи.