Можно запомнить точки и плохо предсказывать между ними
Train используется для подбора параметров; validation — для выбора degree, regularization и других решений; test — для финальной оценки после выбора. Многократная настройка по test превращает его в ещё один validation. Предобработка тоже обучается на train: нельзя заранее вычислять нормировку по будущим данным. N01 §5.2.
Полином degreeD имеет D+1 коэффициентов:
Здесь Xᵢⱼ=xᵢʲ. Bias c₀ не штрафуется. С ростом degree семейство функций расширяется, но найденная кривая может начать следовать шуму. При λ>0 большие коэффициенты получают цену; это не магическое удаление всех ошибок.
В лаборатории восемь фиксированных train-точек построены как y=x²+noise·sin(17x). Семь отдельных validation-точек оцениваются относительно x². Degree1,2,7 и шум можно менять. Validation не участвует в решении системы, а её ошибка вычисляется только после fit. Данные специально синтетические, поэтому это демонстрация механизма, не статистическое исследование качества регрессии.
Ручной контрпример. Точки(−1,1),(1,1) точно описываются константой1и квадратомx². Обе модели имеют train error0. На validation-точке(0,0) ошибки квадратов равны1и0. Из нулевого train error нельзя выбрать правильное продолжение без предпосылок.
Исследовать. Зафиксируйте данные и noise, увеличивайтеdegree. Запишите обе ошибки и величины coefficients. Потом уменьшайте noise. Вывод «большая модель всегда хуже» неверен: результат зависит от данных, регуляризации и оптимизации. Маленькая кривая тоже может underfit.
Ограничение. Маленький fit решает нормальные уравнения с pivoting; для больших задач QR/SVD обычно устойчивее. При вырожденной системе показывается ошибка, а не произвольный удачный график.