Prompt задаёт контекст, answer задаёт supervised targets
SFT обучает модель на demonstrations: instruction и дополнительный context подаются слева, ожидаемый answer расположен справа. В распространённом response-only контракте loss prompt-токенов маскируется, но они остаются во входе и участвуют в causal attention при предсказании ответа. Это отличается от удаления prompt. F03.
Chat template, роли, separators и EOS являются частью model contract. Если training использует один template, а serving — другой, IDs и позиции меняются до первого model layer. Packing нескольких dialogues допустим только с явными boundaries и корректной attention/loss mask. Mean нужно делить на число answer targets, иначе длинный padding меняет масштаб gradient.
Что показывает модель. В визуальной модели prompt cells окрашены как context-only, answer cells — как targets. Переключатель all tokens/answer only должен менять только loss mask, а не историю, которую видит ответ. Data collator показывает labels после shift, чтобы последняя prompt-позиция могла предсказывать первый answer token.
Граница применимости. Demonstrations отражают политику составителей и могут содержать ошибки. SFT учит имитировать conditional distribution примеров, но не проверяет факты во внешнем мире. Скрытие prompt loss — инженерный выбор, не универсальный закон; pretraining, continued pretraining и некоторые template objectives используют другие masks.