БОЛЬШИЕ ДАННЫЕ, ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ФИНАНСОВЫЕ ТЕХНОЛОГИИ И МАШИННОЕ ОБУЧЕНИЕ

Методы онлайн-обучения в задаче восстановления модели цифрового предыскажателя сигнала базовой станции
Проблема
На сегодняшний день все беспроводные коммуникации: от сотовых сетей до 5G, работают на базовых станциях, а по простому - на вышках радиосвязи. И на каждой такой вышке для увеличения радиуса действия используются усилители сигнала. Однако, работают они не идеально: при усилении в сигнале появляются паразитные гармоники, ухудшающие его итоговое качество.
Решение
Для решения данной проблемы на базовых станциях применяют предыскажатели — устройства, которые искажают сигнал так, чтобы после усиления получить результат, наиболее близкий к желаемому. Наша задача - обучить модель такого предыскажателя при помощи различных стохастических оптимизаторов с применением множества модификаций, а также смоделировать его поведение в режиме онлайн.
Эксперименты
1
Разные оптимизаторы
При проведении полного обучения при помощи разных оптимизаторов было выявлено, что лучше всего себя показывает метод Shampoo, притом вне зависимости от того, применяется оболочка Lookahead или нет.
2
Размер батча
Проведя обучение с разными размерами батча, мы выявили, что наилучшая глубина сходимости была получена при размере батча = 200, однако, относительно стандартного батча = 1000, время обучения значительно выросло. Также мы попробовали использовать динамически увеличивающийся размер батча, что дало положительный результат: глубина сходимости немного снизилась, но время, требуемое на обучение снизилось в три раза.
3
Регуляризация
Регуляризация часто является эффективным методом оптимизации, но в первом эксперименте, где была использована встроенная l2 регуляризация, качество большинства моделей снизилось. Использование же отдельно написанной регуляризации практически не давало эффекта. Однако, применив регуляризацию не от первой точки до данной, а от прошлой до данной удалось улучшить результат работы модели примерно на 3%
Эксперименты
1
Альтернированная оптимизация
Для улучшения работы модели мы попробовали обучать не всю модель сразу, а послойно, с заморозкой других. В результате нам удалось улучшить глубину сходимости решения.
2
AccMbSGD
В ходе работы, помимо обычных оптимизаторов, мы попробовали использовать достаточно свежее решение: accelerated minibatch SGD. Однако, он не оправдал наши ожидания, выдав результат хуже, чем Adam.
3
SWA
В качестве эксперимента мы также попробовали использовать SWA. Оно работает так: после спуска к какому-то минимуму с постепенным снижением lr, lr резко повышается. Это позволяет найти несколько хороших минимумов, при нахождении среднего от которого теоретически можно получить отличный минимум. Однако, наша задача оказалась не совсем подходящей для данного метода, т.к. она имеет немного другой вид. Тем не менее, применение принципа циклически меняющегося lr помогло нам улучшить результат.
Онлайн-обучение
До этого момента мы использовали неправильную постановку задачи: в реальности наша модель будет обучаться на небольшом отрезке данных, а тестироваться на следующем, после чего обучаться на нем, после чего цикл замыкается. В такой постановке лучше всех себя показывает AdaMax, несмотря на то, что в обычной постановке он работает хуже всех. Тем не менее, все методы ускорения и углубления обучения применимы и в такой постановке.
Команда
Спонсоры