`Большие вызовы`
1-24/07/2026
Разработка прототипа интеллектуальной системы для автономного облета зданий и сооружений с последующим построением мультиспектральных цифровых 3D-моделей
М. О. П. С.
Мониторинг и
Обследование
Поверхностей
Сооружений
Чем совершеннее система, тем меньше она нуждается во внешнем управлении. Автономность — закон всякой зрелой цивилизации.
О проекте
Проект посвящён созданию автоматизированной системы диагностики фасадов зданий на базе учебного дрона. Пользователь задаёт задачу текстом или голосом, а LLM через MCP-сервер автоматически запускает весь процесс: дрон выполняет полётное задание и собирает RGB- и тепловые снимки. На их основе строится 3D-модель здания с наложенной тепловой картой. Алгоритмы компьютерного зрения выявляют трещины и другие дефекты, определяют их расположение и формируют итоговый отчёт. Новизна проекта заключается в интеграции LLM и MCP, позволяющей запускать весь конвейер одной командой вместо множества ручных операций.
Проблема
Обследование фасадов зданий остаётся трудоёмким и дорогостоящим процессом. Для получения данных требуется использование специализированной техники или привлечение промышленных альпинистов, а обработка результатов включает множество разрозненных этапов: планирование полёта, сбор данных, построение 3D-модели, анализ изображений и подготовку отчёта. Отсутствие единой автоматизированной системы увеличивает время обследования, вероятность ошибок и требования к квалификации специалистов.
Актуальность проекта обусловлена необходимостью повышения эффективности технического обследования зданий за счёт комплексной автоматизации процессов сбора и анализа данных. Современное развитие технологий беспилотной съёмки, компьютерного зрения и больших языковых моделей создаёт предпосылки для построения интеллектуальных систем, способных выполнять полный цикл диагностики без постоянного участия оператора.
Актуальность
Наше решение
Оператор задаёт задачу одной командой на естественном языке, после чего LLM через MCP-сервер координирует выполнение полётной миссии, сбор RGB- и тепловых данных, построение цифровой 3D-модели фасада, анализ изображений алгоритмами компьютерного зрения, локализацию выявленных дефектов и автоматическое формирование отчёта. Интеграция LLM и MCP обеспечивает интеллектуальное управление всеми компонентами системы и значительно сокращает трудозатраты на проведение обследования.
Объем рынка
VLM
Vision Language Model (VLM) используется для интеллектуального анализа визуальных данных и взаимодействия с пользователем. Модель способна интерпретировать изображения фасада совместно с текстовыми запросами по управлению дроном, понимать контекст обследования и предоставлять понятные описания результатов диагностики. Благодаря этому пользователь может получать информацию о состоянии объекта в естественной языковой форме.
MCP
Model Context Protocol (MCP) — открытый протокол, обеспечивающий стандартизированное взаимодействие между большой языковой моделью (LLM) и внешними инструментами. В разработанной системе MCP-сервер предоставляет LLM доступ к функциям управления дроном, планирования полётной миссии. LLM выступает в роли интеллектуального оркестратора, который через MCP выбирает и последовательно вызывает необходимые инструменты для выполнения полного цикла обследования фасада. Такой подход повышает масштабируемость, упрощает интеграцию новых модулей и обеспечивает единый механизм управления всеми компонентами системы.
Архитектура
Результаты
Разработана система автоматизированной диагностики фасадов зданий на базе учебного дрона.

Реализовано управление полным циклом обследования с помощью LLM через MCP по текстовой или голосовой команде.

Реализовано построение 3D-модели здания.

Реализованы алгоритмы автоматического обнаружения дефектов фасада.
Видео
Перспективы развития
Разработанная система является основой для создания полноценного программно-аппаратного комплекса автоматизированной диагностики зданий. Представленный прототип реализован на базе учебного дрона Геоскан Пионер Мини 2 и предназначен для демонстрации концепции интеллектуального управления обследованием с использованием LLM и MCP.

После завершения проекта планируется его дальнейшая разработка совместно с профессиональными специалистами компании Геоскан. Следующим этапом станет перенос системы на профессиональную автономную беспилотную платформу Геоскан Пульсар, оснащённую лидаром, системой автономного облёта препятствий, высокоточной навигацией и более совершенными сенсорами. Это позволит повысить автономность выполнения полётных миссий, точность построения 3D-моделей и качество выявления дефектов.

В дальнейшем также планируется расширение функциональности программной части, внедрение более совершенных алгоритмов компьютерного зрения и искусственного интеллекта, а также адаптация системы для применения в реальных задачах технического обследования зданий и сооружений. Данный проект является первым этапом создания интеллектуальной системы диагностики, которая будет последовательно развиваться до уровня промышленного решения.
Наша команда
  • Зюзя Николай
    Преподаватель
  • Сафаров Давид
    Преподаватель
  • Тарасов Демьян
    Fullstack-разработчик
  • Захаров Вадим
    Проектировщик
  • Кондауров Матвей
    LLM-инженер
  • Бахытжан Маржан
    Инженер данных
  • Кузьмина Светлана
    Бизнес-аналитик
GitHub
website icon
Геоскан Пионер Мини 2
website icon
Геоскан Пульсар
Email