02.4 Направление, которое не поворачивается

Некоторые направления матрица не поворачивает

Ненулевой $v$ называется eigenvector квадратной матрицы $A$ , если

Av=\lambda v.

Матрица может растянуть, сжать или обратить этот вектор, но результат остаётся на той же прямой. Нулевой вектор исключается: равенство $A0=\lambda0$ истинно для любого $\lambda$ и не выделяет направление.

Перенос слагаемых даёт

(A-\lambda I)v=0.

Ненулевое решение существует только когда $A-\lambda I$ вырождена:

\det(A-\lambda I)=0.

Для $2\times2$ характеристический polynomial равен

\lambda^2-\operatorname{tr}(A)\lambda+\det(A)=0.

Два направления треугольной матрицы

Для

A=\begin{bmatrix}2&1\\0&1\end{bmatrix}

eigenvalues равны диагональным значениям 2 и 1. При $\lambda=2$ подходит $v_1=[1,0]^T$ :

Av_1=[2,0]^T=2v_1.

При $\lambda=1$ подходит $v_2=[1,-1]^T$ :

Av_2=[1,-1]^T=v_2.

Произвольный $x=[1,2]^T$ переходит в $[4,2]^T$ и не остаётся коллинеарным с исходным направлением. Наличие eigenvectors не превращает каждый вход в eigenvector.

Реальных собственных направлений может не быть

Поворот на 90 градусов имеет

R=\begin{bmatrix}0&-1\\1&0\end{bmatrix}, \qquad \lambda^2+1=0.

Его eigenvalues равны $\pm i$ , поэтому на вещественной плоскости нет ненулевого направления, которое осталось бы на своей прямой. При этом преобразование полностью обратимо и сохраняет длины. Отсутствие real eigenvector не означает rank loss.

Повторяющееся eigenvalue тоже не гарантирует полный собственный базис. Shear

S=\begin{bmatrix}1&1\\0&1\end{bmatrix}

имеет eigenvalue 1 кратности 2, но условие $(S-I)v=0$ требует $v_2=0$ . Независимое eigen-направление только одно, поэтому матрица не диагонализуется над $\mathbb R$ двумя eigenvectors.

Для симметричной матрицы ситуация лучше. У

H=\begin{bmatrix}2&1\\1&2\end{bmatrix}

направления $[1,1]^T$ и $[1,-1]^T$ ортогональны, а eigenvalues равны 3 и 1. Реальная симметричная матрица допускает ортонормированный собственный базис.

Hessian при стандартных условиях симметричен; его eigenvalues описывают локальную кривизну вдоль eigen-направлений. Это помогает анализировать conditioning оптимизации. Eigenvalues произвольной weight matrix сами по себе не являются оценкой качества модели.