Цифровой тифлокомментатор
Tiflo
ПРЕДСТАВЛЯЕМ
i
i
Тифлокомментарии – аудиоописание того, что происходит на видео.
Тифлокомментаторы – люди, которые пишут и озвучивают тифлокомментарии.
Проблемы
Недоступность
Большинство видеоконтента не адаптировано под восприятие слепых людей, из-за чего они ограничены в медиапространстве
Процесс создания тифлокомментариев включает в себя ручное разбиение видео на сцены, написание текстов и их озвучка
Трудоемкость
Время
Весь процесс создание тифлокомментариев занимает огромное количество времени
Наше решение
Разработать VKMiniApp для помощи тифлокомментаторам в работе, который будет автоматизировать большинство задач: расставление меток, составление текста, его озвучку и монтаж.
Автоматическое разделение на сцены, генерация описания кадров видео, их суммаризация и озвучка
Цель:
Редактирование созданных комментариев и временных меток
Вставка тифлокомментариев в оригинальную аудиодорожку и монтирование финального видео.
Преимущества
  • Скорость
    Искусственный интеллект сам составит комментарии и озвучит их.
  • Гибкость
    Имеется возможность отредактировать предложенные комментарии
  • Автоматизация
    Вам даже не нужно уметь монтировать!
    Система сделает все за вас.
Пользовательский путь
1
2
3
4
Загрузка
Пользователь загружает видео по ссылке или файлу
Пользователь расставляет метки, где нужны тифлокомментарии или программа делает это автоматически
Пользователь получает сгенерированные комментарии и редактирует их
Комментарии вставляются в видео, пользователь получает результат
Метки
Готовое видео :)
Комментарии
Монтаж
Как мы работали
1 спринт
  • Провели анализ области
  • Распределились по ролям
  • Создали базовые модули, прототип фронтенда
  • Протестировали предобученные модели
2 спринт
  • Написали API, модуль монтажа видео
  • Начали интеграцию с ML пайплайном
  • Доработали фронтенд
  • Дообучили модели и доработали ML пайплайн
3 спринт
  • Окончательно доделали фронтенд
  • Оптимизировали модуль монтажа
  • Отладили ML пайплайн
  • Объединили все модули воедино
Результаты
Создан VK MiniApp с удобным интерфейсом
Реализован ML Pipeline со всеми необходимыми функциями
Разработана backend часть проекта, спроектирована БД
А главное - автоматизирован огромный пласт работы тифлокомментаторов!
Роман Иванов
ML, Backend-разработчик
ML
Дарья Ретинская
Григорий Стексов
Никита Прохоров
Степанов Максим
Backend-разработчик
Frontend-разработчик
Backend-разработчик
Команда
Руководитель команды разработки направления монетизации в Почте и Облаке Mail
Дмитрий Зайцев
Владимир Чичкин
Старший разработчик AI VK
Наставники
ML репозиторий
Цифровой Тифлокомментатор «VK Tiflo»
БВ 2025
Разработка