Градиентный клиппинг
и его приложения в обучении
~
В последние несколько лет для различных методов обучения нейронных сетей была обнаружена проблема heavy tail gradients(распределение градиента с тяжёлым хвостом), что приводит к ухудшению качества моделей машинного обучения. В связи с этим, становится выгодной разработка алгоритмов градиентого клиппинга.
✅
❌
~
Наши методы клиппирования:
Предлагаем ознакомиться с разработанными методами клиппирования нашей команды:
Адаптивное отсечение градиента для сетей разделения источников
06
Линейное стохастическое адаптивное отсечение градиента для сетей разделения источников
07
Квадратичное стохастическое адаптивное отсечение градиента для сетей разделения источников
08
Результаты исследования
Speech regoznition
NLP
NLP
Кайков Дима
Голованов Евгений
Ильтяков Никита
Встречайте нашу команду
Люди, которые исследовали, творили и побеждали в течении большого количества времени
Гарифуллин Тимур
Speech recognition
Computer vision
NLP
Computer vision
Бондарчук Глеб
Щур Виктория
Савинов Даниил
Tilda Publishing
Это специальный алгоритм, который приближает распределение плотности норм градиентов к субгауссовскому
Наш проект предназначен в первую очередь для прикладных проектов, где используется присутствует обучение нейронных сетей.
Исходя из результатов, полученных нашей командой, мы выяснили, что Quadratic random autoclip является самым эффективным методом клиппирования.
