02.6 Исправление через узкое промежуточное пространство

Узкие факторы ограничивают пространство обновлений

Пусть базовая матрица

W\in\mathbb R^{m\times n}

остаётся фиксированной. Зададим обновление двумя факторами

C\in\mathbb R^{m\times r}, \qquad D\in\mathbb R^{r\times n}, \qquad \Delta W=CD.

Каждый столбец $CD$ является линейной комбинацией $r$ столбцов $C$ , поэтому

\operatorname{rank}(\Delta W)\le r.

Это ограничение относится к обновлению, а не обязательно к rank исходной $W$ .

Forward можно выполнить без материализации полной матрицы

Для входа $x$

y=(W+CD)x=Wx+C(Dx).

Скобки справа показывают вычислительный маршрут: сначала $D$ сжимает $n$ -мерный вход в $r$ координат, затем $C$ возвращает поправку в $m$ -мерное пространство.

Возьмём

C=\begin{bmatrix}1\\2\end{bmatrix}, \qquad D=\begin{bmatrix}3&4\end{bmatrix}.

Тогда

CD=\begin{bmatrix}3&4\\6&8\end{bmatrix},

и вторая строка вдвое больше первой, поэтому rank равен 1. Для $x=[1,-1]^T$ :

Dx=[-1], \qquad C(Dx)=[-1,-2]^T.

Явное умножение $(CD)x$ даёт тот же результат.

Когда факторизация действительно экономит параметры

Полное обновление содержит $mn$ скаляров. Факторы содержат

mr+rn=r(m+n).

Экономия есть только при

r(m+n)<mn.

Для $m=n=4$ : при $r=1$ нужно 8 вместо 16 скаляров; при $r=2$ нужно 16, и экономия исчезает. Для $m=n=4096,r=8$ факторы содержат 65 536 значений против 16 777 216 у полной $\Delta W$ , то есть в 256 раз меньше именно для выбранного обновления.

Базовая $W$ при этом остаётся в памяти и участвует в каждом forward. Отдельно существуют activations, gradients факторов и optimizer state. Поэтому «в 256 раз меньше trainable values этой матрицы» нельзя сокращать до «вся модель занимает в 256 раз меньше памяти».

SVD-компрессия готовой матрицы выбирает факторы из уже существующих singular directions. LoRA обучает низкоранговое обновление рядом с замороженной pretrained matrix; это другая процедура. Малый $r$ ограничивает доступные изменения и не гарантирует качество задачи.

В нижнем калькуляторе меняйте $m,n,r$ , отдельно называя payload $W$ , факторов и trainable state. Следующий вопрос — как вычислить направление изменения $C,D$ по ошибке; для этого нужны производные и градиенты.