Какая настройка лучше объясняет наблюдение?
В probability-вопросе параметры фиксированы, варьируются исходы. В likelihood-вопросе данные уже наблюдены, а мы сравниваем параметры. Для четырёх независимых Bernoulli-исходов с вероятностью успеха θ и конкретной последовательностью[1,1,1,0]:
Здесь L не loss из других глав, а likelihood; для минимизации берут отрицательный log-likelihood. Нормирования по θ нет. Для posterior p(θ|D) понадобились бы prior по θ и нормирующий интеграл. M04 и вывод из Bernoulli PMF.
При θ=.5 likelihood=.0625; при θ=.75=.10546875. Производная logL равна3/θ−1/(1−θ). Приравняв к0, получаем3(1−θ)=θ, θ=.75. Вторая производная−3/θ²−1/(1−θ)² отрицательна внутри(0,1), значит стационарная точка максимум. Нулевая вероятность любого реально наблюдённого исхода обнуляет likelihood.
Эксперимент. Ведите θ от.01до.99 и наблюдайте кривую. Лучшее объяснение этих четырёх данных не означает, что «истинная вероятность точно.75»: выборка мала. Это оценка в выбранном семействе моделей, не гарантия обобщения.
Debug. Вероятность события «ровно3успеха из4без учёта порядка» включает коэффициент4. Наша последовательность конкретна, поэтому такого множителя нет. Он не меняет положение максимума по θ, но меняет численное значение probability другого события. В больших последовательностях произведение может underflow; сумма логарифмов устойчивее и приводит к log-loss обучения.