Обратное распространение ошибки
Обратное распространение ошибки (Backpropagation) — мощный алогоритм вычисления градиентов, который применяется во время обучения ИИ.
Описание[править]
Основой послужило цепное правило, сформулированное царственным господарём-математиком Готфридом Лейбницем ещё в 1676 году, однако понятно, что тогда ещё не было практического применения.
Изначальный перцептрон не позволял использования техники, хотя про то, что она может сильно помочь, говорили многие. Однако в 1967 году стохастический градиентный спуск был применён к многослойному перцептрону и оказалось, что он работает весьма качественно. Его начали применять, но использовался он для обучения сравнительно простых моделей, которые могли выполнять распознавание и т. д. NETtalk обучался произношению текстов, ALVINN управлял автомобилем, LeNet распознавал почтовые индексы, также робота обучили и потужно играть в нарды.
Реально технология стала использоваться после появления современных искусственных нейронных сетей.
Применяется во время обучения, когда выясняется, что определённая активация была несколько неверной. Для скрытых слоёв ошибка распространяется назад, что позволяет обновлять веса по правилу градиентного спуска. В некоторых вариантах имеется сглаживание распространения.
Таким образом можно за один проход откорректировать веса так, чтобы ошибка уменьшилась.
