Разные средства решают разные проблемы
Если norm(g) велик, norm clipping ограничивает длину, сохраняя направление ненулевого gradient:
Приg=[3,4],norm5,c2 получаем[1.2,1.6],norm2. Приg=0 множитель принимаем1без деления. Покоординатное обрезание до[−c,c] является другой операцией и может изменить направление. Clipping не доказывает уменьшения loss: даже ограниченный шаг может быть неподходящим.
Weight decay в простом отдельном updateθ←(1−ηλ)θ уменьшает параметры приλ>0. Дляθ2,η.1,λ.5 получаем1.9. L2-регуляризация добавляет .5λ||θ||² к objective, градиент становится g+λθ. С обычным GD оба представления согласуются; с адаптивным optimizer включение λθ внутрь нормируемого gradient и отдельный decay обычно неэквивалентны. Это мотивация decoupled decay, не обещание одной настройки для всех библиотек.
Расписание ηₖ меняет шаг со временем, напримерη₀/(1+γk). Это настройка процедуры, не новый параметр самой модели. Слишком быстрое уменьшение может остановить полезный прогресс; слишком медленное оставить колебания. Гипотезу нужно проверять по корректной validation-задаче, не только красивому training plot.
Итоговый эксперимент. На квадратике выберите большойη, наблюдайте рост и остановку по безопасному пределу, затем уменьшитеη. В отдельном инструменте сравните norm clipping и decay: назовите, какой объект меняется, gradient или parameters. Не приписывайте изменение графика race флагу, которого в её модели нет.
Мы связали представления, преобразования, чувствительность, вероятностный критерий и обновление. Следующий блок применит их к классическому ML. Эта глава ещё в программе; математический фундамент и его самопроверки уже доступны.