Визуальный ассистент пилота-поисковика для поиска и спасения людей в природной среде на базе нейросети

«Беспилотный транспорт и логистические системы»

Проблематика и актуальность

Насколько бы далеко технологии не ушли, люди всё равно могут заблудиться. Как правило, зона поиска достаточно большая, из-за чего не всегда удаётся оказать своевременную помощь человеку. Для решения этой актуальной проблемы люди организовали добровольческие поисково-спасательные отряды, среди первых числится LizaAlert.

Основным инструментом для поиска у этих небезразличных людей являются дроны с камерами высокого разрешения. Для того, чтобы увеличить шанс заметить человека на экране в природных условиях под палящим солнцем, была поставлена задача разработать приложение, которое бы в режиме реального времени получало видеосигнал с дрона, обнаруживало человека с помощью нейросети, заливало его контуры выделяющимся цветом и показывало изображение на втором экране для команды, управляющей БПЛА.
План работы
01.07.22
01.07.22
Начало смены
01.07.22 - 12.07.22
01.07.22 - 12.07.22
Подготовительный этап
  1. Анализ существующих нейросетей
  2. Сбор датасетов
  3. Разметка датасетов
  4. Подготовка к обучению нейросети
  5. Анализ существующих решений для создания графического интерфейса пользователя
12.07.22 - 18.07.22
12.07.22 - 18.07.22
Основной этап
  1. Обучение нейросети
  2. Определение признаков человека и подсвечивание цветом
  3. Разработка графического интерфейса пользователя
  4. Сегментация
18.07.22 - 23.07.22
18.07.22 - 23.07.22
Заключительный этап
  1. Тестирование, выявление ошибок и их исправление
  2. Подготовка к защите проекта
23.07.22 - 24.07.22
23.07.22 - 24.07.22
Защита и закрытие смены

Как мы это делали


В самом начале смены мы изучили существующие нейросети и сравнили их. Из трёх кандидатов — Yolo v5, Unet и DeepLab v3 plus — мы выбрали DeepLab v3 plus, так как с её помощью можно сделать сегментацию. Работа с нейросетью происходит с помощью фреймворка PyTorch.

Следующим шагом стал сбор датасетов и их разметка, с чем нам очень помогли видео материалы, снятые участниками незадолго до смены.

Выезд на кордон Лаура для сборки датасетов и проверки нейросети.

Поиск инструментов для работы с фронтэндом. На рассмотрении были PySimpleGUI и PyQt5. Второй вариант показался нам более удобным в работе, поэтому мы остановились именно на нём.



Во время основного этапа параллельно создавался графический интерфейс в соответствии с разработанным дизайном и требуемым функционалом, обучалась нейронная сеть на выделенном для проекта кластере и разрабатывался алгоритм семантической сегментации.




После завершения разработки приложения мы приступили к процессу тестирования, в ходе которого были исправлены ошибки в работе приложения, а также было протестировано распознавание людей в условиях, приближенных к реальным.



Видео с тестовым полётом

Результаты работы

Результатом нашей проектной деятельности стало приложение для поиска людей в видеопотоке в режиме реального времени, обладающее оригинальным дизайном, возможностью корректировать настройки визуального, звукового оповещения и цвета маски. Также у приложения есть возможность обработки заранее сохраненных видео и сохранения полученного результата в выбранную папку.
Планы развития и дальнейшая судьба проекта

После окончания работы над проектом, оттачивания системы распознавания людей, мы планируем предоставить исходный код приложения не только добровольческому поисково-спасательному отряду LizaAlert, но и общественности, чтобы любой желающий смог использовать наш продукт в своих благих целях.

Партнеры
ГК Геоскан - российская группа компаний, занимающаяся разработкой и производством беспилотных летательных аппаратов (БПЛА), а также разработкой программного обеспечения для фотограмметрической обработки данных и трехмерной визуализации.
Добровольческий поисковый отряд «ЛизаАлерт» — некоммерческое объединение, ставящее своей основной задачей оперативное реагирование и гражданское содействие в поиске пропавших людей всех категорий.
Руководители

Даниленко Илья

Руководитель проекта

Миронов Павел

Ассистент руководителя проекта

Позывной «Инженер»

Никитина Елена

Идейный вдохновитель

Позывной «Шёрстка»

Разработчики

Васильев Михаил
программист нейронных сетей
Позывной «Заря»

Сулим Михаил
Подготовка данных, backend
Позывной «Союз»
Лемешев Владимир
GUI программист, тестировщик
Позывной «Салют»

Толстых Александр

GUI программист

Позывной «PrizRuck»

Волков Георгий

компьютерное зрение
Позывной «Мир»
Эксперты

Лукашин Александр

Координатор. Оперативный дежурный БПЛА, старший направления БПЛА ЛА Краснодарский край

Позывной «Сахалин»

Лодянов Евгений
Пилот ЛА Краснодарский край
Позывной «Адлер»
Федорина Анастасия

Член группы просмотра и анализа снимков

Позывной «Федуня»


© All Rights Reserved.