02.5 Повернуть, растянуть, повернуть

Два пространства требуют двух наборов направлений

Eigendecomposition сравнивает входное направление с его образом в том же пространстве и не существует в удобной вещественной форме для любой матрицы. Singular value decomposition существует и для прямоугольной вещественной матрицы:

A=U\Sigma V^T,

где для полной формы

A\in\mathbb R^{m\times n}, \quad U\in\mathbb R^{m\times m}, \quad \Sigma\in\mathbb R^{m\times n}, \quad V\in\mathbb R^{n\times n}.

Столбцы $V$ задают ортонормированные входные направления, столбцы $U$ — ортонормированные выходные направления, а $\sigma_i\ge0$ на диагонали $\Sigma$ являются масштабами.

Правые singular vectors удовлетворяют

A^TAv_i=\sigma_i^2v_i.

Если $\sigma_i>0$ , то

u_i=\frac{Av_i}{\sigma_i}.

Число положительных singular values равно точному rank.

Последовательность трёх действий

Для входа $x$

Ax=U\bigl(\Sigma(V^Tx)\bigr).

Сначала $V^T$ выражает вход в правом ортонормированном базисе. Затем $\Sigma$ независимо масштабирует координаты. Наконец, $U$ собирает результат в выходном пространстве. Ортогональные матрицы могут включать отражение, поэтому каждую из них неточно называть только поворотом.

Возьмём

A=\operatorname{diag}(3,1), \qquad U=V=I, \qquad \Sigma=\operatorname{diag}(3,1).

Для $x=[1,2]^T$ trace равен

[1,2]^T\xrightarrow{V^T}[1,2]^T \xrightarrow{\Sigma}[3,2]^T \xrightarrow{U}[3,2]^T.

Усечение даёт оптимальный low-rank объект в выбранной норме

Если оставить только $\sigma_1=3$ , получим

A_1=\begin{bmatrix}3&0\\0&0\end{bmatrix}.

Второе входное направление удаляется. Для матрицы ошибка Фробениуса равна отброшенному singular value:

\|A-A_1\|_F=1, \qquad \frac{\|A-A_1\|_F}{\|A\|_F}=\frac1{\sqrt{10}}\approx0.316228.

Для конкретного $x=[1,2]^T$ полный выход $[3,2]^T$ , а rank-one выход $[3,0]^T$ ; ошибка этого вектора равна 2. Нельзя смешивать ошибку матрицы и ошибку одного output.

У поворота на 90 градусов оба singular values равны 1. Выбор одного rank-one направления тогда не уникален: нет единственной «самой большой» оси. Разные корректные SVD могут отличаться знаками пар $u_i,v_i$ или базисом внутри равного singular-подпространства, сохраняя $U\Sigma V^T=A$ .

Браузерная лаборатория аналитически решает только $2\times2$ случай через $A^TA$ . Промышленные библиотеки используют более устойчивые алгоритмы, поскольку явное построение $A^TA$ возводит condition number в квадрат. Проверяйте реконструкцию, ортогональность и ошибку, а не конкретный знак каждого singular vector.