Глоссарий

Величина коррекции весов нейронной сети на каждой итерации их подстройки. Большинство алгоритмов обучения предусматривает возможность ее управления. Скорость может быть постоянной и не меняться в процессе обучения, а может изменяться по определенному закону.

Правильное управление скоростью обучения позволяет уменьшить ошибку модели на обучающем множестве и потенциально повысить ее точность. Действительно, на начальных шагах или эпохах обучения веса нейронов далеки от оптимальных, поэтому их можно изменять на большую величину. По мере приближения к некоторому оптимуму шаг коррекции весов желательно уменьшать, чтобы обнаружить состояние модели, наиболее близкое к оптимальному.

В различных типах нейронных сетей и алгоритмах обучения управление скоростью производится по-разному. Например, в алгоритме обратного распространения ошибки, который использует метод градиентного спуска, эта величина постоянна на всех эпохах, а при обучении карт Кохонена она является переменной величиной и линейно убывает в процессе обучения.