Управление подвижной платформой (роботом)
С помощью средств технического зрения
Проблематика проекта
Решениe - управление жестами
Высокая ответственность
принятия решения в условиях
ЧС пока не позволяет
использовать полностью автономные системы,
а привычные способы управления не всегда удобны. Обычные средства управления занимают руки и не удобны
для пременения в спец одежде.
принятия решения в условиях
ЧС пока не позволяет
использовать полностью автономные системы,
а привычные способы управления не всегда удобны. Обычные средства управления занимают руки и не удобны
для пременения в спец одежде.
Мобильность
Интуитивно-понятность
Легкость освоения
Физическая доступность
Интуитивно-понятность
Легкость освоения
Физическая доступность
Разработка алгоритмов
Создание алгоритмов распознования поз
на основе геометрических параметров
и машинного обучения
на основе геометрических параметров
и машинного обучения
Симуляция
Тестирование в симуляциях разного уровня: двумерная среда Pygame и трехмерная среда симуляции в Unity
Анализ использования жестового управления
в различных областях
в различных областях
Обзор аналогов
Разработка контура управления
для мобильного робота
для мобильного робота
Разработка ПО
Проверка разработаных алгоритмов
и ПО на реальном роботе.
и ПО на реальном роботе.
Реальный робот
Карта проекта
Обзор аналогов
В сравнении с аналогами
мы заметили, что метод управления жестами
уже часто применяется: и в игровой индустрии,
и в дополненнной реальности, и в мобильной робототехнике и т.д. Это направление является инновационным и перспективным и активно развивается во всем мире.
мы заметили, что метод управления жестами
уже часто применяется: и в игровой индустрии,
и в дополненнной реальности, и в мобильной робототехнике и т.д. Это направление является инновационным и перспективным и активно развивается во всем мире.
Методы управления жестами
Мы разработали четыре метода:
- 1 методУправление с помощью отслеживания положения руки в области обзора камеры как в координатной плоскости
- 2 методУправление руками как двумя рычагами на поворот и скорость
- 3 методУправление одной рукой на поворот вперед-назад и вправо-влево
- 4 методУправление двумя руками как слайдерами мощьности каждого мотора
Разработка ПО
Контур управления роботом состоит из трех основных частей: распознавателя основных точек позы (MediaPipe), алгоритмов определения поз при помощи двух методов (линейный пороговый классификатор и многослойный персептрон)
и интерпретатора поз, который превращает позу
в команду управления роботом (скорость робота, включение/выключение фар, включение/выключение огнетушителя). Управление роботом реализовано при помощи ROS2.
и интерпретатора поз, который превращает позу
в команду управления роботом (скорость робота, включение/выключение фар, включение/выключение огнетушителя). Управление роботом реализовано при помощи ROS2.
Проблематика проекта
Проверка теорий: Unity
Модель робота Unity
Зона ЧС в Unity
Данная модель была создана для проведения тестов
в симуляции, разработаной
на движке Unity. У этого робота есть функции передвижения, включение света, тушения и переворота при его падении. Роботом можно управлять как жестами, так и при помощи джойстика.
в симуляции, разработаной
на движке Unity. У этого робота есть функции передвижения, включение света, тушения и переворота при его падении. Роботом можно управлять как жестами, так и при помощи джойстика.
Для тестирования алгоритмов была доработана зона ЧС, приближенная к реальности.
В данной симуляции воссоздан пожар, который распространяеться
с течением времени
на соседнюю свободную поверхность. Испытуемому
за отведенное время необходимо потушить
как можно больше очагов возгорания. Количество количество зарядов тушения ограничено.
В данной симуляции воссоздан пожар, который распространяеться
с течением времени
на соседнюю свободную поверхность. Испытуемому
за отведенное время необходимо потушить
как можно больше очагов возгорания. Количество количество зарядов тушения ограничено.
Реализация теорий на практике
Прототип робота
Полигон для тестирования
Разработанные алгоритмы также были протестированы
на реальном роботе. Робот представляет собой четырехколесную базу Wave Rover 4WD ESP32
с надстройкой, на которой расположена Raspberry Pi 5
с кулером. Кулер выполняет функцию огнетушителя.
на реальном роботе. Робот представляет собой четырехколесную базу Wave Rover 4WD ESP32
с надстройкой, на которой расположена Raspberry Pi 5
с кулером. Кулер выполняет функцию огнетушителя.
Также был создан полигон
3 х 3 метра, на котором расположены объекты, символизирующие инфраструктуру Сириуса
и НИЦ КИ. На полигоне расположены свечи, которые играют роль очагов возгорания пожара. Оператор должен пройти
от начала и до конца, избавившийсь от всех попавшихся на пути возгораний. На полигоне есть два очевидных варианта прохождения: короткий путь с одним огнем с проездом через арку
и длинный путь с двумя огнями с проездом через мост.
3 х 3 метра, на котором расположены объекты, символизирующие инфраструктуру Сириуса
и НИЦ КИ. На полигоне расположены свечи, которые играют роль очагов возгорания пожара. Оператор должен пройти
от начала и до конца, избавившийсь от всех попавшихся на пути возгораний. На полигоне есть два очевидных варианта прохождения: короткий путь с одним огнем с проездом через арку
и длинный путь с двумя огнями с проездом через мост.
Результаты проекта
Разработка алгоритмов распознования жестов
- Разработаны четыре различных набора жестов, позволяющих управлять мобильным роботом. Все они реализованы в рамках единого приложения с возможностью прямого и зеркального управления.
- Реализован механизм добавления новых жестов с помощью подключения метода машинного обучения.
Работа с разными симуляциями
- Для тестирования алгоритмов использованы симуляции PyGame и Unity, которые описывают сценарии тушения огня в индустриальном окружении и позволяют управлять роботом-пожарным как джойстиком, так и жестами.
- Доработана среда Unity: обновлена модель робота и добавлена функция распространения огня
Сбор аналитических данных
- Для оценки разработанных алгоритмов собраны экспертные мнения по их качеству и показатели эффективности при работе с разными условиями
Разработка полигона
- Создан тестовый полигон со сконструированным окружением, позволяющий маломобильному роботу с жестовым управлением тушить свечи, имитирующие очаги возгорания
Васильева Доминика Александровна
Шубко Елисей Вячеславович
Шестаков Дмитрий Анатольевич
Разработчик, тестировщик
Проектировщик
Кокорев Александр Сергеевич
Программист-аналитик
Программист, разработчик ПО
Виноградова Олеся Игоревна
Сорокоумов Пётр
Сергеевич
Сергеевич
Стажёр-учитель
Программист, дизайнер
Ассистент руководителя
Руководитель
Ассистент руководителя
Князев Владимир Владимирович
Московский Антон Дмитриевич
Московская Елизавета Дмитриевна
Наша команда
Леушина Влада Вячеславовна
Знакомьтесь: авторы идей, разработчики, дизайнеры и организаторы, стоящие за этим проектом
Ассистент руководителя