03.3 Собираем чувствительности в вектор

Частные производные образуют линейный функционал

Для дифференцируемой скалярной функции $f:\mathbb R^n\to\mathbb R$ градиент в столбцовом соглашении равен

\nabla f(x)= \begin{bmatrix} \partial f/\partial x_1\\ \vdots\\ \partial f/\partial x_n \end{bmatrix} \in\mathbb R^{n\times1}.

Он кодирует первый порядок для любого малого $\delta$ :

f(x+\delta)\approx f(x)+\nabla f(x)^T\delta.

У $f(x,y)=x^2+3y^2$ в точке $(2,1)$ :

g=\nabla f(2,1)=[4,6]^T, \qquad \|g\|_2=\sqrt{52}.

Gradient имеет shape входа, а не shape $[n,n]$ . Для loss с $P$ параметрами это $P$ чувствительностей, по одной на координату текущего parameter state.

Направленная производная сравнивает единичные движения

Для направления $u$ единичной евклидовой длины

D_uf(x)=\nabla f(x)^Tu, \qquad \|u\|_2=1.

Вдоль осей получаем 4 и 6. Но вдоль $u=g/\|g\|_2$ :

D_uf=g^T\frac g{\|g\|_2}=\|g\|_2=\sqrt{52}\approx7.2111.

Неравенство Коши–Буняковского

g^Tu\le\|g\|_2\|u\|_2=\|g\|_2

доказывает максимальность этого локального роста при ограничении $\|u\|_2=1$ . Слово «наискорейший» зависит от выбранной нормы: при другом ограничении множество допустимых направлений будет другим.

Антиградиент задаёт направление, но не безопасную длину

Шаг gradient descent имеет вид

x_{\mathrm{new}}=x-\eta\nabla f(x).

При $\eta=0.1$ :

[2,1]^T-0.1[4,6]^T=[1.6,0.4]^T,

f(1.6,0.4)=2.56+0.48=3.04<7.

Но при $\eta=0.5$ тот же gradient даёт

[2,1]^T-0.5[4,6]^T=[0,-2]^T, \qquad f(0,-2)=12>7.

Направление $-g$ гарантирует убывание только для достаточно малого шага в гладкой локальной области. Оно не выдаёт подходящий learning rate автоматически.

В точке $(0,0)$ gradient этой положительной квадратичной функции равен нулю, и точка является глобальным минимумом. Для произвольной функции $\nabla f=0$ означает лишь стационарность: далее нужны сведения о кривизне или поведении функции.

Перебор конечных разностей по всем $P$ параметрам требует порядка $P$ дополнительных forward evaluations. Reverse-mode automatic differentiation для скалярного loss повторно использует вычислительный граф и получает все компоненты gradient в одном backward traversal. Это не делает вычисление бесплатным: нужно хранить или восстанавливать промежуточные значения.

В лаборатории сравните $\eta=0.1$ и $0.5$ при одном старте. Новый эксперимент должен восстанавливать исходную точку: нельзя выдавать последовательность разных настроек за одну trajectory.