Неожиданность под неправильной моделью
Пусть истинное/целевое распределение p, а прогноз модели q на тех же категориях. Средний штраф−ln qᵢ взвешиваем частотами p, а не q:
При фиксированном p минимизация CE по q эквивалентна минимизации KL. Для нормированных дискретных распределений KL≥0, равенство при p=q. Неотрицательность следует из ln t≤t−1; её нельзя «обеспечивать» модулем ошибочного результата. M04,M07.
Для p=[.5,.25,.25],q=[.25,.5,.25]: H(p)=1.039720771,CE=1.213007566,KL=.173286795=ln2/4. Если q=p, CE не обязана быть0: она равна энтропии target. Для one-hot target категорииj энтропия0 и CE=−ln qⱼ.
Граница. Если pᵢ>0,qᵢ=0, CE и KL бесконечны: модель запретила возможный целевой исход. Это содержательный математический результат, не NaN. Если pᵢ=0, вклад0 независимо от qᵢ. При p=q с нулевыми координатами KL остаётся0.
Исследовать. При неизменном p постепенно уменьшайте q одной частой категории до0. Штраф растёт неограниченно. Затем поменяйте p и q местами: KL вообще несимметрична и не является метрикой расстояния. В частности, для[1,0] и[.5,.5] одно направление равно ln2, обратное бесконечно.