| Название исследуемой задачи | Неспектральные матричные нормы для обучения нейронных сетей |
| Тип научной работы | ВКР |
| Автор | Кравацкий Алексей Юрьевич |
| Научный руководитель | д.ф.-м.н., профессор РАН Оселедец Иван Валерьевич |
В настоящей работе исследуется применение различных матричных норм для оптимизации функций матриц весов, что является ключевой задачей при обучении глубоких нейросетей.
При помощи оракула линейной минимизации (Linear Minimization Oracle, LMO) и двойственных норм к нормам Ки Фана, вводятся семейство алгоритмов Fanions, тесно связанных с алгоритмами Muon, ν-SAM и Dion, а также семейства алгоритмов F-Fanions и S-Fanions, обновления которых представляют собой выпуклые комбинации обновлений алгоритмов Fanions и Normalized SGD или SignSGD соответственно. Благодаря использованию LMO при конструировании семейств, теоремы сходимости для LMO-алгоритмов применимы и для Fanions, F-Fanions, и S-Fanions. Наиболее перспективными алгоритмами в данных семействах являются Muon, F-Muon и S-Muon. По результатам обширного эмпирического исследования всех трёх семейств алгоритмов показывается, что F-Muon и S-Muon стабильно не уступают Muon на задачах глубокого обучения и превосходят его на синтетической гладкой выпуклой задаче.
Код со всеми проведенными вычислительными экспериментами здесь.