Навигация робота к произвольным объектам

Захар

Навигация робота
к произвольным объектам

Проблема

Большая часть современных робототехнических решений не умеют воспринимать незнакомые объекты
и не понимают естественный язык

Где моя мама?..

Большинство роботов с автономной навигацией привязаны к определённому домену, из-за особенности моделей
их невозможно адаптировать
под неизвестные им объекты и сценарии.

Даже ровер-доставщик от Яндекса
в потенциально опасных ситуациях переключается на ручное управление оператором.

Поэтому мы решили сделать...

Робота с IQ выше среднего

Создали колёсного робота
на базе ROS 2 с модулем навигации NAV2, который способен по голосовой
или текстовой команде пользователя найти в помещении произвольно указанный объект и подъехать к нему

Этапы реализации

1-й спринт

Написали серверную часть — LLM,
CLIP-like-модели

Выбрали технологии

Поняли, что нужно делать :)

1-Й СПРИНТ

2-Й СПРИНТ

3-Й СПРИНТ

2-й спринт

Собрали робота

3-Й СПРИНТ

2-Й СПРИНТ

Разработали hardware node, control proxy, URDF, object detection node

Изучили функционал железа

1-Й СПРИНТ

3-й спринт

Доработали навигацию

«Подружили»
робота с сервером

3-Й СПРИНТ

Протестировали решение

2-Й СПРИНТ

1-Й СПРИНТ

Итоговый результат

Плата ESP32 управляет моторами

Умный робот, напичканный нейросетями

Умеет разговаривать

Понимает речь

Понимает, что перед ним
за предметы

Строит маршруты
к предметам

А ещё умеет искать предметы,
которых не было в обучающей выборке

Найди мне рыжего кота

Едет :)

Знает своё положение
в пространстве

Благодаря технологии
Zero-shot detection способен определять объекты, которых не видел раньше, на основе семантического сходства между текстовыми запросами и визуальными признаками.