Мультимодальный и персонажный Джуниор-ассистент
О проекте
Джуниор-ассистент — первый в России виртуальный ИИ-помощник для детей-держателей карт Junior. Миссия Джуниор-ассистента — помочь сделать погружение ребенка в мир финансов мягче и интереснее. Например, если ребенок начинает интересоваться деньгами, то ИИ-помощник объяснит, как научиться копить, как работают банки, что такое инфляция

Что может рассказать
Джуниор-ассистент детям:

  • Как накопить на покупку мечты
  • Что такое импульсивные покупки и как их избежать
  • Что такое карманные деньги
  • Как начать зарабатывать
  • Как правильно вести бюджет
  • Что можно почитать или посмотреть, чтобы быстрее разобраться в финансах
Задача проекта
Команда Джуниор-Ассистента из Т-Банка провела большое продуктовое исследование, чтобы выявить, как пользователи относятся к текущим фичам виртуального ассистента в мобильном приложении. В результате выяснили, что именно заставляет пользователей продолжать пользоваться ассистентом, и почему у части пользователей интерес к ассистенту со временем спадает

Проектная задача:

Выявить ряд незакрытых потребностей пользователей и создать на их основе технические решения:

Цель проекта:

Создать рабочий прототип Джуниор-ассистента с учетом требуемых фичей, которые закрывают потребности пользователей. Решение интегрировано в Mini App в телеграме и представляет собой чат-бота с реализованными фичами
Как это работает
01
Диалог начинается с приветствия. Пользователь дает ассистенту информацию о себе, и он ее запоминает. Например: «пользователя зовут Женя, учится в 7-м классе, любит по динозавров». Ассистент понимает, что пользователь хочет сгенерировать картинку из контекста диалога, вызывает тул генерации и рисует изображение по промпту
02
В момент создания картинки сообщает о старте генерации. Создание изображение работает асинхронно для удобства пользователя — он может продолжить общение в чате текстом еще до окончания генерации, не дожидаясь ее окончания. В результате ассистент отправляет пользователю готовую картинку
03
Пользователь может отправить фото в чат с ассистентом, ассистент распознает лицо на фото и из контекста сообщений понимает, что лицо принадлежит пользователю. Далее запоминает лицо, чтобы использовать эту информацию в будущем для более персонализированного опыта. Ассистент понимает содержание картинки и возвращает ее описание сообщением, продолжая диалог
04
Safet-фильтр в LLM проводит оценку поступающих от пользователя сообщений на наличие возрастных ограничений, расценивает контекст как небезопасный, но не обрывает обращение. Вместо этого переводит тему на более безопасную, чтобы не оставлять пользователя без ответа посреди диалога. Также ассистента принимает на вход аудиосообщения от пользователя, переводит их в текст, анализирует и использует дальше в контексте диалога
Прототип сервиса
Открыть прототип

Что сделали

  • Гипотезы
    Основываясь на запросе бизнеса, выявили ряд гипотез, которые было необходимо протестировать. Предположили, что на рост метрик DAU, MAU, retention в Джуниор-ассистенте внутри мобильного приложения влияет наличие мультимодальных фичей
  • Фичи
    Выявили ряд фичей, которые хотим реализовывать, определили, что реализуем: общение фото- и аудиосообщениями, создадим конструктор кастомных персонажей для Джуниор-ассистента, реализуем долгосрочную память и таким образом персонализируем опыт пользователя.
  • Реализация
    Реализовали фичи и замерили конкретными техническими и продуктовыми метриками, произвели разметку для оценки качества диалогов нашего ассистента
  • MVP
    Обернули все в нативный Mini App и сделали доступным для пользователей в формате MVP
  • Презентовали свое решение заказчикам
Команда
  • Галагоза Евгений
    PM, designer
  • Мокеев Степан
    ML-инженер
  • Бауэр Никита
    ML-инженер, frontend-разработчик
  • Григорьев Никита
    backend-разработчик
  • Шапошников Никита
    ML-инженер
Преподаватели
  • Ховричев Михаил
  • Весельев Александр
  • Липилин Матвей
  • Ванданов Сергей
  • Чернышков Максим
  • Цаголова Мария