Голосовой ассистент, который понимает и
реагирует на эмоции

Работает на базе Телеграм-бота и веб-сайта

Определение эмоционального состояния пользователя способно помочь улучшить рекомендации и предложения, которые делает голосовой ассистент

Бот умеет выступать в качестве саппортера для школьников и студентов, испытывающих беспокойство в период экзаменов и интенсивной учебы

Беспокойство влияет на самооценку и уверенность в  знаниях. Это напрямую связано с академической мотивацией и адаптацией. Голосовой помощник поддерживает пользователя в стиле узнаваемых и близких персонажей и делится мотивирующими цитатами

Актуальность

План работы

1 неделя

2 неделя

3 неделя

Освоить лекции по DL, STT (speech to text), TTS (text to speech), NLP, познакомиться с аудио- и текстовыми классификаторами, протестировать открытые модели STT, построить план работы

Протестировать модели TTS. Обучить ассистента определять эмоции пользователя по голосу и тексту. Обучить бота давать осмысленный ответ с учетом эмоции собеседника.

Интегрировать результат по выполненным задачам в интерфейс Телеграм-бота и веб-сайта: обернуть все модели в серверы, поднять необходимую инфраструктуру для стабильной работы серверов и написать сервис, обращающийся во все модели. Протестировать готовый продукт.

Почему сделали голосового помощника эмпатийным?

Советовать фильмы и книги, делиться знаниями, поддерживать диалог и собеседника. А еще — рассказывать шутки и говорить разными голосами

Распознавать речь собеседника, оценивать эмоции пользователя и отправлять сгенерированный логичный голосовой ответ

Подстраивать сценарий ответа и рекомендации под эмоциональный фон пользователя

Что умеет наш бот