Градиентный спуск
Градиентный спуск — особо мощный матан, специфический алгоритм оптимизации в дифференциальном исчислении.
Описание[править]
Идея градиентного спуска была впервые предложена французским математиком Огюстеном-Луи Коши в 1847 году для умощнения численных методов решения систем уравнений. Только спустя сотню лет он стал использоваться на практике для оптимизации. Особенно значимым он стал для алгоритма обратного распространения ошибки в ИИ.
По сути предназначен для решения хитрой задачи, когда имеется дифференцируемая функция потерь, которая применена ко множеству, и надо найти такие элементы множества, которые минимизируют потери, то бишь значение функции. Градиентный спуск постепенно обновляет параметры по правилу, что позволяет отыскать эти значения аргумента.
Обычно на практике алгоритм применяется последовательно и многократно, пока не достигнут один из критериев годности — максимальное число итераций, малое изменение f с новым проходом, норма градиента ниже порога. Также есть немало оптимизаций и доработок алгоритма.
Для выпуклых гладких функций с липшицевым градиентом градиентный спуск гарантированно сходится линейно при подходящем параметре. В не-выпуклых случаях, в частности типичных для нейросетей, гарантируется сходимость к стационарной точке, но не обязательно к глобальному минимуму.
Нынче такой спуск часто применяется в машинном обучении.
