Гладкость не исключает насыщения
Sigmoid переводит z в (0,1), tanh — в (−1,1). Производные выражаются через уже вычисленный результат:
При z=0 значения sigmoid и её производной равны .5 и .25; для tanh это 0 и 1. При большом |z| обе функции насыщаются, а локальная производная стремится к нулю. Много небольших множителей вдоль цепочки может существенно ослабить gradient. Это следствие chain rule, а не «усталость нейронов». N02.
Эксперимент. Сравните активации при одинаковых x,w,b. Увеличьте модуль z через вес: shape не меняется, но sensitivity может резко уменьшиться. На графике отдельно показаны значение функции и её производная.
Для устойчивого sigmoid при z≥0 используем 1/(1+exp(−z)), а при z<0 — exp(z)/(1+exp(z)). Так не требуется экспонента большого положительного числа. При сильном насыщении floating-point всё равно может округлить p до 0 или 1; BCE поэтому лучше вычислять через logit.
Граница. Sigmoid как скрытая активация и связка sigmoid+BCE на выходе имеют разные производные относительно общей ошибки. Уверенно неверный logit не обязан получать почти нулевой gradient объединённой loss. Значения tanh не являются распределением вероятностей.