03.4 Много входов и много выходов

Одна строка чувствительности на каждый выход

Если $F:\mathbb R^n\to\mathbb R^m$ , результат имеет несколько компонент, поэтому одного gradient-вектора недостаточно. В курсе используется соглашение

J_F(x)\in\mathbb R^{m\times n}, \qquad (J_F)_{ij}=\frac{\partial F_i}{\partial x_j}.

Строка относится к одному выходу, столбец — к одному входу. Некоторые источники используют транспонированный layout; формулы корректны только после явного объявления соглашения.

Для

F(x,y)= \begin{bmatrix} x^2\\xy \end{bmatrix}

получаем

J_F(x,y)= \begin{bmatrix} 2x&0\\y&x \end{bmatrix}.

В точке $z=[2,1]^T$ :

F(z)=[4,2]^T, \qquad J_F(z)= \begin{bmatrix}4&0\\1&2\end{bmatrix}.

Первый столбец $[4,1]^T$ описывает изменение обоих выходов при движении входа по $x$ ; второй $[0,2]^T$ — при движении по $y$ .

Jacobian является локальной матрицей преобразования

Для малого $\delta$

F(z+\delta)\approx F(z)+J_F(z)\delta.

При $\delta=[0.1,-0.2]^T$ :

J\delta= \begin{bmatrix}4&0\\1&2\end{bmatrix} \begin{bmatrix}0.1\\-0.2\end{bmatrix} =\begin{bmatrix}0.4\\-0.3\end{bmatrix}.

Линейное предсказание равно $[4.4,1.7]^T$ , а точный выход

F(2.1,0.8)=[4.41,1.68]^T.

Ошибка $[0.01,-0.02]^T$ состоит из членов второго порядка: $\delta_x^2$ и $\delta_x\delta_y$ .

Forward и backward используют разные произведения

Произведение $J\delta$ переносит малое изменение входа вперёд и имеет shape $[m,1]$ . Теперь пусть скалярный loss зависит от $F$ , а upstream gradient равен

g_F=\nabla_F L\in\mathbb R^{m\times1}.

Chain rule даёт gradient по входу:

g_z=J^Tg_F, \qquad [n,m][m,1]=[n,1].

Например, при $g_F=[1,-2]^T$ :

J^Tg_F= \begin{bmatrix}4&1\\0&2\end{bmatrix} \begin{bmatrix}1\\-2\end{bmatrix} =\begin{bmatrix}2\\-4\end{bmatrix}.

Это сумма вкладов всех выходных путей к каждому входу. Транспонирование появляется из согласования shapes и скалярного дифференциала:

dL=g_F^T\,dF=g_F^TJ\,dz=(J^Tg_F)^Tdz.

В больших системах полный Jacobian часто не материализуют. Forward-mode вычисляет Jacobian-vector product $Jv$ , reverse-mode — vector-Jacobian product $u^TJ$ , эквивалентный $J^Tu$ в столбцовой записи. Это разные способы применить ту же производную, а не разные определения.

В лаборатории меняйте $x$ и $y$ отдельно. Нулевой элемент $J_{01}=0$ означает, что первый выход локально не зависит от $y$ , но не отменяет существование второго выхода.