Локальное обоснование и точная граница
По первому порядку Taylor при малом δ: L(θ+δ)≈L(θ)+gᵀδ. Подставим δ=−ηg,η>0: изменение≈−η||g||²≤0. При ненулевом g достаточно малый шаг уменьшает гладкую функцию. Но остаток Taylor запрещает переносить этот вывод на любой η. M05.
На диагональной квадратике каждая координата обновляется отдельно: x_new=(1−2aη)x,y_new=(1−2bη)y. Для сходимости по обоим направлениям из произвольного старта нужно |1−2aη|<1 и |1−2bη|<1, то есть0<η<1/max(a,b). Для a=1,b=3 этоη<1/3.
Приθ=[2,1],η=.1 получаем g=[4,6],θ_new=[1.6,.4],L_new=3.04. Приη=.5θ_new=[0,−2],L_new=12: ошибка растёт. Приη=0 движения нет; на границеη=1/3 второе направление меняет знак без уменьшения амплитуды.
Исследовать. Сначала предскажите поведение трёх η=.1,1/3,.5, потом двигайте курсор. Все координаты одного шага используют один старый g. Нельзя обновить x, пересчитать gradient и только затем обновлять y, продолжая называть процедуру тем же GD.
Остановка по малому norm(g), числу итераций или росту величин является решением алгоритма. Предел безопасности лаборатории1e6для абсолютных координат останавливает дальнейшее вычисление с подписью «предел», не объявляет сходимость.