03.1 Чувствительность к малому изменению

От среднего наклона к локальному

Пусть скалярный вход меняется с $x$ до $x+h$ . Отношение

q_h(x)=\frac{f(x+h)-f(x)}{h},\qquad h\ne0,

показывает среднее изменение выхода на единицу входа на конечном промежутке. Производная отделяет свойство функции в самой точке от произвольно выбранной длины промежутка:

f'(x)=\lim_{h\to0}q_h(x),

если левый и правый пределы существуют и совпадают. Для $f:\mathbb R\to\mathbb R$ результат является одним числом. Он имеет единицы «единицы выхода на единицу входа», поэтому производная цены по количеству и производная loss по весу описывают разные физические величины, даже если численно равны.

Для $f(x)=x^2$ предел можно вычислить без таблицы приближений:

q_h(x)=\frac{(x+h)^2-x^2}{h} =\frac{2xh+h^2}{h}=2x+h.

При $h\to0$ остаётся $f'(x)=2x$ . В точке $x=2$ :

f(2)=4,\qquad f'(2)=4, \qquad q_{0.1}(2)=4.1.

Значение функции, касательный наклон и наклон конкретной секущей являются тремя разными числами. Касательная записывается в новой координате $t$ :

\ell(t)=f(2)+f'(2)(t-2)=4+4(t-2).

Она обязана проходить через $(2,4)$ , но не обязана проходить через начало координат.

Производная задаёт первый порядок изменения

Определение предела эквивалентно локальной записи

f(x+h)=f(x)+f'(x)h+r(h), \qquad \frac{r(h)}{h}\to0.

Главный линейный вклад равен $f'(x)h$ , а остаток убывает быстрее $h$ . Для квадрата в точке 2 формула точна с явным остатком:

(2+h)^2=4+4h+h^2.

При $h=0.1$ линейная модель предсказывает $4.4$ , точное значение равно $4.41$ , ошибка $0.01=h^2$ . Если уменьшить $h$ в десять раз, квадратичный остаток уменьшится в сто раз.

Знак наклона не является знаком функции

Для $x=-2$ значение $x^2=4$ положительно, а производная $-4$ отрицательна. Это означает локальное убывание при движении вправо, а не отрицательное значение функции. В точке $x=0$ производная квадрата равна нулю и там действительно находится минимум. Однако условие $f'(x)=0$ само по себе недостаточно: у $f(x)=x^3$ производная в нуле тоже равна нулю, но функция продолжает возрастать через эту точку.

Производная может не существовать

Для $f(x)=|x|$ в нуле односторонние отношения дают

\lim_{h\to0^+}\frac{|h|-0}{h}=1, \qquad \lim_{h\to0^-}\frac{|h|-0}{h}=-1.

Единого предела нет, значит классическая производная не определена. ReLU $\max(0,x)$ имеет ту же проблему в нуле: слева наклон 0, справа 1. Autograd-библиотека выбирает там практическое соглашение, например 0; это определение программного правила backward, а не доказательство гладкости.

Конечные разности полезны для проверки реализации, но не являются способом, которым automatic differentiation обычно получает gradient. Слишком большой $h$ даёт ошибку усечения, а слишком маленький приводит к вычитанию почти равных floating-point чисел. Центральная разность

\frac{f(x+h)-f(x-h)}{2h}

для гладкой функции часто точнее односторонней при одинаковом $h$ , но всё равно остаётся численной проверкой в одной точке.