09 Checkpoint: Backpropagation и autograd

Восемь проверок механизма

Порог: 7 из 8. Без таймера. Баллы начисляются за ответы, не за посещение. Это локальная самопроверка; решения будут показаны после отправки.

1. Родители узла задают…Зависимости операцииПорядок слов в ответеГотовое значение gradient

2. Правильный forward доказывает правильность backward?ДаНетТолько для больших графов

3. Для c=a*b производная по a равна…ab1

4. Начальная производная dL/dL равна…01Значению L

5. L=(xw+b)² при x2,w3,b1?Ваш численный ответ

6. ∂L/∂w в том же примере?Ваш численный ответ

7. ∂L/∂x в том же примере?Ваш численный ответ

8. d(u+u)/dx при u=x²,x2?Ваш численный ответ

Результат появится после отправки всех ответов.

Исследовать и объяснить

Соберите JSON DAG с общим узлом и repeated operands. Пройдите forward и reverse по шагам, объясните contributions до/после каждого узла. Проверьте один gradient центральной разностью и назовите ограничение ReLU в0.

Сначала сформулируйте гипотезу, затем измените один параметр. Сопоставьте числа с формулой; назовите крайний случай и границу применимости. Свободный вывод не оценивается фиктивным автоматическим баллом.