При проведении полного обучения при помощи разных оптимизаторов было выявлено, что лучше всего себя показывает метод Shampoo, притом вне зависимости от того, применяется оболочка Lookahead или нет.

Проведя обучение с разными размерами батча, мы выявили, что наилучшая глубина сходимости была получена при размере батча = 200, однако, относительно стандартного батча = 1000, время обучения значительно выросло. Также мы попробовали использовать динамически увеличивающийся размер батча, что дало положительный результат: глубина сходимости немного снизилась, но время, требуемое на обучение снизилось в три раза.

Регуляризация часто является эффективным методом оптимизации, но в первом эксперименте, где была использована встроенная l2 регуляризация, качество большинства моделей снизилось. Использование же отдельно написанной регуляризации практически не давало эффекта. Однако, применив регуляризацию не от первой точки до данной, а от прошлой до данной удалось улучшить результат работы модели примерно на 3%

Для улучшения работы модели мы попробовали обучать не всю модель сразу, а послойно, с заморозкой других. В результате нам удалось улучшить глубину сходимости решения.

В ходе работы, помимо обычных оптимизаторов, мы попробовали использовать достаточно свежее решение: accelerated minibatch SGD. Однако, он не оправдал наши ожидания, выдав результат хуже, чем Adam.

В качестве эксперимента мы также попробовали использовать SWA. Оно работает так: после спуска к какому-то минимуму с постепенным снижением lr, lr резко повышается. Это позволяет найти несколько хороших минимумов, при нахождении среднего от которого теоретически можно получить отличный минимум. Однако, наша задача оказалась не совсем подходящей для данного метода, т.к. она имеет немного другой вид. Тем не менее, применение принципа циклически меняющегося lr помогло нам улучшить результат.