Сравниваем ответы относительно reference policy
Preference dataset содержит prompt и пару ответов: chosen/rejected по некоторому процессу разметки. DPO использует разность log-ratios текущей и reference policies и binary logistic loss. Положительный margin означает, что policy усилила chosen относительно rejected сильнее, чем reference. F03, F04.
Log-probability ответа является суммой masked token log-probabilities под одним и тем же prompt/template. Reference frozen. Параметр beta масштабирует предпочтение; он не является «процентом человечности». RLHF с reward model и policy optimization — другой pipeline: сводить весь alignment к одной формуле DPO нельзя.
Что показывает модель. Модель показывает четыре sequence log-probabilities, две внутри-policy разности и итоговый margin. Простая вероятность chosen у policy недостаточна: objective оценивает относительное изменение против reference. Ties, disagreement annotators и position bias должны оставаться наблюдаемыми метаданными.
Граница применимости. Preference не равна истине и может конфликтовать между пользователями. Pairwise dataset плохо покрывает редкие риски, а reward hacking возможен и без явного reward model. Offline improvement по preference loss не заменяет red-team, factual evaluation и мониторинг реального distribution shift.