Вся масса должна быть учтена
Модель следующего токена возвращает распределение по словарю. Для конечного набора взаимоисключающих исходов pᵢ≥0 и сумма pᵢ=1. Вероятность объединения нескольких исходов есть сумма соответствующих масс. PMF не просто произвольный вектор: отрицательные координаты и сумма2 недопустимы. M04 §3.3.
В лаборатории вводятся неотрицательные веса aᵢ, затем выполняется нормирование:
Веса[2,1,1] дают p=[.5,.25,.25]. Умножение всех весов на10 сохраняет распределение. Ввод[0,0,0] не задаёт распределение и должен остановить расчёт, а не подставить равномерный ответ незаметно.
Пусть числовые исходы X равны0,1,2. Ожидание E[X]=Σpᵢxᵢ=.75. Второй момент E[X²]=1.25, дисперсия E[X²]−E[X]²=.6875. Ожидание не обязано быть возможным исходом. Для категорий вроде «кошка/дом» усреднять номера ID как физические величины бессмысленно.
Граница. Плотность непрерывной случайной величины не PMF. Равномерная плотность на[0,.5] равна2, но интеграл равен1. Вероятность отдельной точки при такой плотности0, хотя событие точки не является логически невозможным. В этой лаборатории только дискретные исходы.
Эксперимент. Сконцентрируйте всю массу в одной категории, затем распределите поровну. До переключения предскажите, какое распределение даст большую среднюю неожиданность. Это подготовка к энтропии, не оценка истинности ответа нейросети.