03.5 Как меняется сам наклон

Производная градиента является матрицей

Для скалярной дважды дифференцируемой функции Hessian содержит вторые частные производные:

H_f(x)= \begin{bmatrix} \partial^2f/\partial x_1^2&\cdots&\partial^2f/\partial x_1\partial x_n\\ \vdots&\ddots&\vdots\\ \partial^2f/\partial x_n\partial x_1&\cdots&\partial^2f/\partial x_n^2 \end{bmatrix}.

Если смешанные вторые производные непрерывны, Hessian симметричен. Локальная модель второго порядка имеет вид

f(z+\delta)\approx f(z)+\nabla f(z)^T\delta+\frac{1}{2}\delta^TH_f(z)\delta.

Для $f=x^2+3y^2$ :

H=\begin{bmatrix}2&0\\0&6\end{bmatrix}.

При $z=[2,1]^T$ , $\delta=[0.01,0.02]^T$ второй порядок равен

\frac12\delta^TH\delta =\frac12\left(2\cdot0.01^2+6\cdot0.02^2\right) =0.0013.

Именно столько не хватало линейному предсказанию. Поскольку функция квадратична, членов третьего и более высокого порядка нет, поэтому модель второго порядка здесь точна.

Eigenvalues Hessian классифицируют невырожденную стационарную точку

В стационарной точке $\nabla f=0$ знак квадратичной формы $\delta^TH\delta$ определяет локальную картину:

положительно определённый $H$ даёт строгий локальный минимум;
отрицательно определённый $H$ даёт строгий локальный максимум;
eigenvalues разных знаков дают седло.

У $x^2+3y^2$ eigenvalues 2 и 6 положительны. У $x^2-y^2$

H=\operatorname{diag}(2,-2),

поэтому в одном направлении функция растёт, а в другом убывает: начало является седлом, хотя gradient там нулевой.

Полуопределённость не завершает анализ

Функции $x^4$ и $-x^4$ в нуле имеют одинаковые

f'(0)=0,\qquad f''(0)=0,

но первая имеет минимум, а вторая максимум. Нулевой Hessian не видит первый ненулевой член четвёртого порядка. Поэтому тест второго порядка при нулевых eigenvalues может быть неразрешающим.

Отношение наибольшей и наименьшей положительных eigenvalues квадратики описывает conditioning. Для $H=\operatorname{diag}(2,6)$ оно равно 3. Более крутое направление ограничивает стабильный общий шаг gradient descent, а более плоское может сходиться медленнее.

Newton step использует локальную квадратичную модель

Минимизируя модель второго порядка по $\delta$ , получаем условие

\nabla f+H\delta=0, \qquad H\delta=-\nabla f.

В точке $(2,1)$ :

\begin{bmatrix}2&0\\0&6\end{bmatrix} \delta=-\begin{bmatrix}4\\6\end{bmatrix}, \qquad \delta=[-2,-1]^T.

Один шаг приводит точно в начало, потому что исследуемая функция сама является положительно определённой квадратикой. Для общего nonconvex loss Hessian может быть indefinite, плохо обусловленным или меняться вдоль шага; одного точного перехода никто не гарантирует.

Плотный Hessian для $P$ параметров содержит $P^2$ элементов. При $P=10^6$ это $10^{12}$ float32, то есть около 4 TB payload без overhead. Поэтому крупные модели используют Hessian-vector products, диагональные или структурные приближения, а не хранят полный массив.

В лаборатории увеличьте отношение $b/a$ . Эллипсы станут уже, а один общий gradient step будет сильнее ограничен крутой осью. Отрицательные коэффициенты лаборатория намеренно не принимает: седло показано отдельно, без ложной демонстрации «сходимости».