Градиентный клиппинг
и его приложения в обучении
~
В последние несколько лет для различных методов обучения нейронных сетей была обнаружена проблема heavy tail gradients(распределение градиента с тяжёлым хвостом), что приводит к ухудшению качества моделей машинного обучения. В связи с этим, становится выгодной разработка алгоритмов градиентого клиппинга.
✅
❌
~
Наши методы клиппирования:
Предлагаем ознакомиться с разработанными методами клиппирования нашей команды:
-
-
-
-
-
- Адаптивное отсечение градиента для сетей разделения источников06
- Линейное стохастическое адаптивное отсечение градиента для сетей разделения источников07
- Квадратичное стохастическое адаптивное отсечение градиента для сетей разделения источников08
Результаты исследования
Speech regoznition
NLP
NLP
Кайков Дима
Голованов Евгений
Ильтяков Никита
Встречайте нашу команду
Люди, которые исследовали, творили и побеждали в течении большого количества времени
Гарифуллин Тимур
Speech recognition
Computer vision
NLP
Computer vision
Бондарчук Глеб
Щур Виктория
Савинов Даниил
Tilda Publishing
Это специальный алгоритм, который приближает распределение плотности норм градиентов к субгауссовскому
Наш проект предназначен в первую очередь для прикладных проектов, где используется присутствует обучение нейронных сетей.
Исходя из результатов, полученных нашей командой, мы выяснили, что Quadratic random autoclip является самым эффективным методом клиппирования.
