Сенсор SonicBoom определяет урожай по вибрациям — новая технология для сельскохозяйственных роботов

Автор: Университет Карнеги-Меллон

Фермеры вскоре смогут получить помощь в уходе за урожаем благодаря новой технологии от Института робототехники Университета Карнеги-Меллон. Исследователи разработали инструмент под названием SonicBoom, который способен находить фрукты, например яблоки, по издаваемым ими звукам. Эта инновационная технология, находящаяся на ранней стадии разработки, в будущем может быть использована сельскохозяйственными роботами для таких задач, как обрезка лоз или поиск спелых яблок, скрытых среди листвы.

«Даже без камеры эта технология может определять 3D-форму объектов просто через прикосновение», — пояснил Мунён (Марк) Ли, аспирант пятого года обучения в области робототехники.

Статья, описывающая технологию, опубликована в журнале IEEE Robotics and Automation Letters.

Устройство может решить проблему манипуляции, которая долгое время ставила в тупик исследователей сельскохозяйственной робототехники. В отличие от людей, которые могут интуитивно находить плоды среди листьев, роботы полагаются исключительно на камеры для управления своими манипуляторами.

«Одна из причин сложности манипуляций в сельском хозяйстве — это обилие помех: листья повсюду, и они блокируют визуальные сигналы», — отметил Ли. «В саду плод может быть частично скрыт, а путь, по которому должна двигаться рука робота, — сильно загорожен».

Более прочная и дешёвая технология

SonicBoom решает проблему хрупких и громоздких сенсоров, с которыми сталкиваются современные сельскохозяйственные роботы. Миниатюрные тактильные датчики на основе камер, заключённые в защитный гель, быстро изнашиваются при частом контакте с растениями. Датчики давления, другой распространённый вариант, требуют установки на большие участки роботизированной руки, что делает их использование непрактично дорогим.

В отличие от них, SonicBoom использует контактные микрофоны, которые улавливают вибрации при соприкосновении с объектом, а не через воздух, как обычные микрофоны.

«Контактные микрофоны не первое, что приходит на ум исследователям в робототехнике, — сказал Ли, — но мой научный руководитель, доцент Оливер Кромер, использовал их для классификации материалов».

Как это работает

Исследовательская группа разместила шесть контактных микрофонов внутри трубы из ПВХ. При соприкосновении трубы с объектом, например веткой дерева, микрофоны фиксируют вибрацию. Анализируя различия в звуковых волнах, учёные смогли определить точку контакта с точностью от 0,43 до 2,2 см.

Труба из ПВХ защищает микрофоны от повреждений, а её форма напоминает микрофонную стойку, что вдохновило название SonicBoom. В перспективе микрофоны могут быть встроены в роботизированную руку.

Для обработки сигналов использовался модуль машинного обучения, обученный на 18 000 контактах датчика с деревянным стержнем. SonicBoom определяет местоположение твёрдых объектов, но изменение конфигурации позволит ему также обнаруживать мягкие плоды и овощи.

Хотя SonicBoom разрабатывался для сельского хозяйства, Ли видит потенциал и в других областях: безопасность при работе роботов рядом с людьми, взаимодействие с человеком или применение в тёмных помещениях.

В исследовательскую группу также вошли аспирант Уксан Ю и профессора Джин О, Джеффри Ичновски и Джордж Кантор.

Дополнительная информация: Moonyoung Lee et al, SonicBoom: Contact Localization Using Array of Microphones, IEEE Robotics and Automation Letters (2025). DOI: 10.1109/LRA.2025.3576067
Ryan Spears et al, Audio-Visual Contact Classification for Tree Structures in Agriculture, arXiv (2025). DOI: 10.48550/arxiv.2505.12665

Источник: Университет Карнеги-Меллон