Google DeepMind внедряет перевод языка жестов в текст на смартфонах Pixel 11

Google DeepMind объявила о внедрении новой модели искусственного интеллекта под названием SL2T, которая в реальном времени преобразует язык жестов в письменный текст.

Функция напрямую интегрирована в системную клавиатуру Gboard и приложение Live Transcribe. Первоначально она появится на новейших смартфонах Pixel 11. Это решение позволяет свободно «диктовать» текст везде, где раньше приходилось вводить его вручную — от поисковика и текстовых редакторов до мессенджеров и взаимодействия с ассистентом Gemini. Пользование функцией бесплатно.

Одним из важнейших аспектов новинки является вопрос конфиденциальности. Процессор в смартфоне использует технологию MediaPipe Holistic, которая работает полностью локально на устройстве. Это означает, что записываемое изображение никогда не покидает телефон и не попадает на серверы производителя. Система анализирует положение рук, плеч, головы и мимику лица, преобразуя их в чистые математические координаты (так называемые точки на теле). Только эти анонимизированные данные отправляются в облако для выполнения самой трансляции в текст, а сырая видеозапись немедленно удаляется из памяти.

Модель SL2T отказалась от прежних исследовательских подходов, которые основывались на упрощенной записи отдельных знаков (так называемых глосс). Такой метод упускал ключевые особенности языка жестов, такие как выражение лица или использование пространства вокруг говорящего. Новую систему обучали на основе более 100 тысяч часов записей, внося соответствующие исправления, касающиеся, в частности, задержек при переводе, поддержки левшей и ситуаций, когда одна рука занята удержанием телефона. В разработке участвовали глухие специалисты и специальный наблюдательный совет AISLAC.

Новая услуга находится еще на относительно раннем этапе внедрения и имеет определенные ограничения. На старте функция поддерживает только американский язык жестов (ASL), переводя его на английский язык. Google анонсирует добавление других регионов и предоставление технологии на иных устройствах, однако никаких временных рамок не называется.

Компания также признает, что качество самих переводов не безупречно. Среди известных недостатков упоминаются ошибочная интерпретация слов при быстром пальцевом произнесении по буквам (например, путаница слов «prey» и «grey»), потеря контекста при некоторых временных формах и пропуск более богатых образных описаний. На данный момент новинкой смогут воспользоваться только владельцы моделей серии Pixel 11. Более старые устройства, такие как прошлогодний Pixel 10 Pro, пока не получат соответствующего обновления.