03.6 Изменение проходит через цепочку

Локальные производные соединяются по структуре вычисления

Пусть

u=g(x),\qquad z=h(u).

Малое изменение сначала проходит через $g$ , затем через $h$ :

du\approx g'(x)dx, \qquad dz\approx h'(u)du.

Подстановка даёт chain rule:

\frac{dz}{dx}=\frac{dz}{du}\frac{du}{dx}.

Для $u=2x+1$ , $z=u^2$ при $x=2$ :

u=5,\qquad z=25, \qquad \frac{du}{dx}=2, \qquad \frac{dz}{du}=2u=10,

\frac{dz}{dx}=10\cdot2=20.

Второй локальный множитель равен $2u$ , не $2x$ : derivative каждого узла вычисляется в его собственном входном состоянии.

Reverse-mode переносит одну upstream-чувствительность назад

Начинаем со скалярного выхода, поэтому $\bar z=\partial z/\partial z=1$ . Затем

\bar u=\bar z\frac{\partial z}{\partial u}=10, \qquad \bar x=\bar u\frac{\partial u}{\partial x}=20.

Forward pass хранит $x,u,z$ ; backward применяет локальные правила в обратном топологическом порядке. Backprop вычисляет производные в текущем графе. Он не изменяет параметры: update выполняет отдельный optimizer.

Вдоль пути множители, между путями сумма

У $z=x^2+x$ вход влияет на результат двумя маршрутами. Вклад квадратной ветви равен $2x$ , прямой ветви — 1:

\frac{dz}{dx}=2x+1.

Эти вклады складываются, потому что дифференциал суммы равен сумме дифференциалов. Перемножение $2x\cdot1$ ошибочно соединяло бы параллельные пути как последовательные.

Если $u=x^2$ , а $z=u+u$ , один промежуточный узел используется дважды. При $x=3$ :

\bar u=1+1=2, \qquad \bar x=\bar u\cdot2x=12.

Autograd должен накапливать gradient общего узла. Перезапись второго вклада первым или наоборот теряет часть графа.

Численная проверка проверяет точку, а не вывод

Для $z(x)=(2x+1)^2$ центральная разность при $x=2$ , $h=10^{-5}$ равна примерно 20:

\frac{z(x+h)-z(x-h)}{2h}\approx20.

Совпадение полезно как regression check локального backward. Оно не доказывает символическую формулу для всех $x$ , может пропустить компенсирующие ошибки и требует разумного допуска floating-point.

Для векторных узлов те же правила записываются через Jacobian products. Reverse-mode не строит обязательно полный Jacobian каждого слоя: он передаёт upstream vector через локальный vector-Jacobian product. Поэтому стоимость зависит от графа и операций, а не от буквального хранения всех попарных производных.