Почему именно логарифм?
Для независимых событий вероятности перемножаются. Если информация должна складываться, естественен логарифм. Знак минус делает редкое событие более неожиданным: I(i)=−ln pᵢ. Ожидание этой величины есть Shannon entropy. Источники M04 §3.13 и M07; оригинальная работа Shannon здесь не заявляется прочитанной.
По умолчанию используются натуральные логарифмы, единицы наты. При log₂ получаются биты: H_bits=H_nats/ln2. Для p=[.5,.25,.25] вклады внатах .346574,.346574,.346574; сумма1.039720771. Вбитах это1.5. Нулевая масса даёт нулевой вклад по соглашению lim(t ln t)=0 при t→0+, а не попытку вычислить0×(−∞) обычным умножением.
Для k конечных исходов0≤H≤ln k. Нижняя граница достигается при сосредоточении массы на одном исходе; верхняя при равномерном распределении. Для трёх исходов максимум ln3≈1.098612. Формально верхняя граница следует также из KL(p||uniform)≥0.
Эксперимент. Меняйте p, оставляя q нетронутым. Энтропия p должна зависеть только от p. Затем поменяйте единицы снатов набиты: форма распределения не меняется, число масштабируется.
Легко ошибиться. Энтропия не «количество смысла», не моральная ценность сообщения и не качество классификатора. Уверенно ошибочная модель может иметь низкую энтропию своего q. Чтобы оценить её относительно правильных исходов, нужно сравнить q с target-распределением p.