Визуальный ассистент пилота-поисковика для поиска и спасения людей в природной среде на базе нейросети

«Беспилотный транспорт и логистические системы»

Проблематика и актуальность

Насколько бы далеко технологии не ушли, люди всё равно могут заблудиться. Как правило, зона поиска достаточно большая, из-за чего не всегда удаётся оказать своевременную помощь человеку. Для решения этой актуальной проблемы люди организовали добровольческие поисково-спасательные отряды, среди первых числится LizaAlert.

Основным инструментом для поиска у этих небезразличных людей являются дроны с камерами высокого разрешения. Для того, чтобы увеличить шанс заметить человека на экране в природных условиях под палящим солнцем, была поставлена задача разработать приложение, которое бы в режиме реального времени получало видеосигнал с дрона, обнаруживало человека с помощью нейросети, заливало его контуры выделяющимся цветом и показывало изображение на втором экране для команды, управляющей БПЛА.
План работы
01.07.22
01.07.22
Начало смены
01.07.22 - 12.07.22
01.07.22 - 12.07.22
Подготовительный этап
  1. Анализ существующих нейросетей
  2. Сбор датасетов
  3. Разметка датасетов
  4. Подготовка к обучению нейросети
  5. Анализ существующих решений для создания графического интерфейса пользователя
12.07.22 - 18.07.22
12.07.22 - 18.07.22
Основной этап
  1. Обучение нейросети
  2. Определение признаков человека и подсвечивание цветом
  3. Разработка графического интерфейса пользователя
  4. Сегментация
18.07.22 - 23.07.22
18.07.22 - 23.07.22
Заключительный этап
  1. Тестирование, выявление ошибок и их исправление
  2. Подготовка к защите проекта
23.07.22 - 24.07.22
23.07.22 - 24.07.22
Защита и закрытие смены

Как мы это делали


В самом начале смены мы изучили существующие нейросети и сравнили их. Из трёх кандидатов — Yolo v5, Unet и DeepLab v3 plus — мы выбрали DeepLab v3 plus, так как с её помощью можно сделать сегментацию. Работа с нейросетью происходит с помощью фреймворка PyTorch.

Следующим шагом стал сбор датасетов и их разметка, с чем нам очень помогли видео материалы, снятые участниками незадолго до смены.

Выезд на кордон Лаура для сборки датасетов и проверки нейросети.

Поиск инструментов для работы с фронтэндом. На рассмотрении были PySimpleGUI и PyQt5. Второй вариант показался нам более удобным в работе, поэтому мы остановились именно на нём.



Во время основного этапа параллельно создавался графический интерфейс в соответствии с разработанным дизайном и требуемым функционалом, обучалась нейронная сеть на выделенном для проекта кластере и разрабатывался алгоритм семантической сегментации.




После завершения разработки приложения мы приступили к процессу тестирования, в ходе которого были исправлены ошибки в работе приложения, а также было протестировано распознавание людей в условиях, приближенных к реальным.



Видео с тестовым полётом

Результаты работы

Результатом нашей проектной деятельности стало приложение для поиска людей в видеопотоке в режиме реального времени, обладающее оригинальным дизайном, возможностью корректировать настройки визуального, звукового оповещения и цвета маски. Также у приложения есть возможность обработки заранее сохраненных видео и сохранения полученного результата в выбранную папку.
Планы развития и дальнейшая судьба проекта

После окончания работы над проектом, оттачивания системы распознавания людей, мы планируем предоставить исходный код приложения не только добровольческому поисково-спасательному отряду LizaAlert, но и общественности, чтобы любой желающий смог использовать наш продукт в своих благих целях.

Партнеры
  • ГК Геоскан - российская группа компаний, занимающаяся разработкой и производством беспилотных летательных аппаратов (БПЛА), а также разработкой программного обеспечения для фотограмметрической обработки данных и трехмерной визуализации.
  • Добровольческий поисковый отряд «ЛизаАлерт» — некоммерческое объединение, ставящее своей основной задачей оперативное реагирование и гражданское содействие в поиске пропавших людей всех категорий.
Руководители

  • Даниленко Илья

    Руководитель проекта

  • Миронов Павел

    Ассистент руководителя проекта

    Позывной «Инженер»

  • Никитина Елена

    Идейный вдохновитель

    Позывной «Шёрстка»

Разработчики

  • Васильев Михаил
    программист нейронных сетей
    Позывной «Заря»

  • Сулим Михаил
    Подготовка данных, backend
    Позывной «Союз»
  • Лемешев Владимир
    GUI программист, тестировщик
    Позывной «Салют»

  • Толстых Александр

    GUI программист

    Позывной «PrizRuck»

  • Волков Георгий

    компьютерное зрение
    Позывной «Мир»
Эксперты

  • Лукашин Александр

    Координатор. Оперативный дежурный БПЛА, старший направления БПЛА ЛА Краснодарский край

    Позывной «Сахалин»

  • Лодянов Евгений
    Пилот ЛА Краснодарский край
    Позывной «Адлер»
  • Федорина Анастасия

    Член группы просмотра и анализа снимков

    Позывной «Федуня»


© All Rights Reserved.