Обучение начинается с данных и критерия
Пусть наблюдаются пары(x,y). Мы выбираем семейство прогнозов ŷ=wx+b и ищем параметры, уменьшающие среднюю ошибку. x и y — данные; w,b — результат настройки. Ручное движение ползунка тоже меняет функцию, но только алгоритмический fit по dataset является описанной процедурой обучения. N01.
Возьмём x=[−1,0,1], y=[−1,1,3]. При w=1,b=0 predictions[−1,0,1], ошибки[0,−1,−2], MSE=5/3. Для affine regression одного признака можно вывести оптимум из двух уравнений нулевого gradient. Если variance x ненулевая:
В примере средние0и1, numerator4, denominator2, поэтому w=2,b=1, MSE=0. Это точный fit трёх учебных точек, не гарантия правильного закона на любых новых x.
Эксперимент. Сначала настройте линию вручную, затем нажмите «Найти fit». Сравните сумму квадратов до/после. Если все x одинаковы, slope и intercept невозможно однозначно разделить: знаменатель равен0. Для многомерной regression нужны rank/conditioning-проверки, а не слепой inverse.
Под капотом. Для d признаков linear layer содержит d+1 параметров. При batchN дизайн-матрица имеет shape[N,d], weights[d,1], output[N,1]. Полиномиальные признаки могут менять зависимость от x, сохраняя линейность по обучаемым коэффициентам.