Учить поправку и сохранять прямой путь
Residual блок вычисляет y=x+F(x). Shapes слагаемых должны совпадать; иначе требуется явная проекция, а не случайный broadcast. При F=0 получается identity. Это свойство конструкции, не утверждение, что начальная F обязательно мала. N07.
Пусть F(x)=g·ReLU(x), x=[−1,2], g=.5. Тогда F=[0,1], y=[−1,3], Jacobian diag(1,1.5). Без skip выход[0,1], Jacobian diag(0,.5): отрицательная координата потеряла прямую зависимость.
Эксперимент. Отключите skip при прежней F. Затем поставьте g=−1: на положительной координате 1+F′=0. Значит, residual не гарантирует ненулевой gradient при любых weights — вклады могут компенсироваться. «Единичный путь» не означает, что общая производная всегда≥1.
Identity skip не добавляет весов. Addition стоит одну операцию на компоненту, а сохранение activations важно для training memory. Следующая глава раскрывает алгоритм, который суммирует вклады обеих ветвей: backpropagation и mini-autograd.