Разные отрицательные ветви
ReLU(z)=max(0,z). Производная равна 0 при z<0 и 1 при z>0. В нуле классической производной нет; runtime выбирает 0 как явное соглашение. Пороговый перцептрон имеет другую производную: 0 вне порога и неопределённость на нём.
SiLU(z)=zσ(z). По правилу произведения:
При z=0 результат 0, производная .5; при z=−1 значение приблизительно −.268941. Небольшие отрицательные выходы допустимы. N09.
Точная GELU равна zΦ(z), где Φ — стандартная Gaussian CDF. В лаборатории используется tanh-аппроксимация, а не точная CDF (N05,N08):
Её производная: .5(1+tanh u)+.5z(1−tanh²u)√(2/π)(1+3·.044715z²). Она соответствует именно выбранной аппроксимации.
Исследовать. Сравните функции при −1,0,1 и объясните различия производных. Форма графика не задаёт универсальный рейтинг: полезность зависит от архитектуры, данных и обучения. Переключение φ меняет семейство функций, а не только оформление линии.