Використання методів теорії управління при вивченні нейронних мереж на прикладі рукописного тексту

Анотація

У статті чисельно досліджується модифікація стохастичного градієнтного спуску, яка була отримана через уявлення
градієнтного спуску як дискретної динамічної системи. Наслідком цього подання є зв'язок між екстремальними точками, до
яких прагнуть ітерації градієнтного спуску, і стаціонарними точками дискретної динамічної системи, які відповідають йому.
Застосована далі стабілізуюча схема з предикативним контролем, для якої був розроблений теоретичний апарат за
допомогою геометричного комплексного аналізу разом з рішенням оптимізаційних завдань у безлічі поліномів з дійсними
коефіцієнтами, змогла набагато швидше навчити багаторівневий персептрон розпізнавати рукописні цифри. Програмна
реалізація нового алгоритму використовувала бібліотеку PyTorch, створену для досліджень в області нейронних мереж. Всі
експерименти запускалися на графічному прискорювачі компанії NVidia для перевірки споживання ресурсів прискорювача.
Чисельні експерименти не виявили жодних відхилень за часом навчання. Було відзначено невелике збільшення
використовуваної відео-пам’яті, як і очікувалося, оскільки новий алгоритм зберігає одну додаткову копію внутрішніх
параметрів персептрону. Важливість отриманого результату пов'язана з ростом застосування технологій глибоких
нейронних мереж, яке збільшилося у триста тисяч разів з 2012 по 2018 роки, та пов'язаного з цим збільшенням споживання
ресурсів. Ця ситуація змушує індустрію розглядати питання оптимізації навчання на рівні з його точністю. Отже, будь-яке
прискорення навчального процесу, яке скорочує час або зменшує ресурси кластерів, є бажаним і важливим результатом,
якого і було досягнуто у цій статті. Отримані результати відкривають нову область теоретичних та практичних досліджень,
оскільки використана стабілізація є лише одним з методів стабілізації та пошуку циклів в теорії управління. Такі хороші
практичні результати підтверджують необхідність додавання запізнілого контролю і додаткових експериментів як з
предикативними, так і з запізнілими елементами контролю