Удобный масштаб средней log-loss
На фиксированной последовательности длиныN модель оценивает вероятность наблюдённого следующего токена при каждом префиксе. Средняя отрицательная log-probability внатах обозначается CE_token. Perplexity определена как её экспонента:
Это обратная геометрическая средняя вероятностей правильных токенов. Если для двух наблюдений они равны.5и.25, CE=−(ln.5+ln.25)/2=1.039720771 и PP=√8≈2.828427. Если модель равномерна поk исходам, PP=k. Для log₂ вместоln правильно PP=2^CE_bits, не exp(CE_bits).
Лаборатория показывает exp(H(p,q)) для введённого категориального target p: это ожидаемая perplexity относительно этого p. Она становится оценкой корпуса, если p соответствует эмпирическим частотам нужных событий с согласованным контекстным оцениванием. Нельзя выдавать этот трёхкатегориальный опыт за benchmark настоящей LLM.
Легко ошибиться. Сравнение perplexity моделей с разными tokenizer, корпусами или правилом усреднения напрямую некорректно. Низкая PP не означает истинности ответа, безопасного поведения или умения использовать tools. На маленькой обучающей выборке PP может уменьшаться при ухудшении переноса.
Синтез. Мы получили целевую функцию, differentiable по logits: softmax плюс CE для one-hot target имеет производную q−p. Вывод раскрывается через производную logsumexp: ∂logΣexp(z)/∂zⱼ=qⱼ, затем вычитается target-вклад. Теперь известны и ошибка, и её чувствительность. Осталось выбрать процедуру обновления: оптимизация.