Градиент начинается с logits
Для одного target y softmax превращает logits z в распределение, а negative log-likelihood штрафует вероятность правильного ID. Устойчивая реализация вычитает максимум до exp. При softmax вместе с cross-entropy производная по каждому logit имеет особенно простую форму. F06.
Положительные компоненты уменьшают неверные logits при gradient descent, отрицательная компонента повышает target logit. Их сумма равна нулю: добавление одной константы ко всем logits не меняет softmax. Для batch/token matrix сначала применяют mask, затем явно выбирают sum или mean по числу валидных targets, а не по размеру padded tensor.
Что показывает модель. Inspector показывает logits, shifted target, probabilities, token loss и dL/dz до прохождения backward через LM head и blocks. Perplexity exp(mean NLL) имеет смысл только при одинаковом tokenizer и одинаковой политике masking; значение нельзя честно сравнивать между произвольными словарями как универсальную шкалу качества.
Граница применимости. Низкая next-token loss не доказывает factuality, безопасность или способность следовать инструкции. Floating-point overflow предотвращается устойчивой формой, но training всё ещё может получить NaN из activations, gradients или optimizer state. Gradient clipping ограничивает norm update-сигнала, а не «исправляет» плохие данные и не гарантирует сходимость.