Четыре объекта, которые нельзя смешивать
Рассмотрим семейство функций
Здесь архитектура — порядок операций «умножить, затем прибавить». Параметры θ=(w,b) выбирают конкретную функцию семейства. Input x относится к текущему примеру. Activation y возникает во время текущего вычисления. Эти объекты могут быть представлены числами, но их роль различна.
При w=1, b=0, x=2 получаем y=2. Если заменить только x на 3, точка перейдёт с (2,2) на (3,3) вдоль прежней прямой. Если сохранить x=2, но заменить w на 2, получится новая функция y=2x и output 4. В обоих опытах ответ изменён, однако только во втором изменился parameter state.
| Состояние | x | w | b | y | Причина изменения |
|---|---|---|---|---|---|
| Базовое | 2 | 1 | 0 | 2 | Нет |
| Новый пример | 3 | 1 | 0 | 3 | Другой input |
| Новый slope | 2 | 2 | 0 | 4 | Другой parameter w |
| Новый offset | 2 | 1 | 1 | 3 | Другой parameter b |
Геометрия аффинного преобразования
Коэффициент w задаёт изменение выхода на единицу изменения входа:
Bias b=f(0) сдвигает прямую. При b≠0 преобразование строго является аффинным, а не линейным: для линейного отображения требуется f(0)=0. Традиционное название «линейная регрессия» при этом сохраняется.
Влияние параметра зависит от input:
При x=0 изменение w не изменяет текущий output, хотя сам parameter store меняется. Значит, параметру нельзя навсегда приписать одинаковый видимый эффект на любом примере.
От скаляра к векторам и shapes
Если у объекта два признака, используем вектор x=[x₁,x₂] и weights w=[w₁,w₂]:
Например, [1,2]·[3,4]=1·3+2·4=11. Совместимость shapes является частью смысла операции: dot принимает два вектора одинаковой длины и возвращает скаляр. Для batch из n примеров матрица X может иметь shape [n,d], вектор w — [d], а predictions — [n].
Большая нейросеть повторяет матричные и покоординатные операции много раз. Это не превращает каждую внутреннюю координату в человеческое понятие. Число внутри activation может участвовать в полезном распределённом представлении, не имея постоянной подписи «животное» или «грамматика».
Зачем нужна нелинейность
Композиция аффинных преобразований без нелинейности снова аффинна:
Добавление ReLU(r)=max(0,r) между слоями ломает это сворачивание. Для вектора правило применяется покоординатно: ReLU([-2,3])=[0,3]. Нелинейность расширяет класс функций, но сама по себе не обеспечивает обучение, обобщение или истинность ответа.
Dataset, target и prediction
Dataset — набор примеров для обучения или оценки. В supervised learning запись часто содержит пару (x,y*), где y* — известная цель. Prediction f_θ(x) вычисляется моделью. Target не является activation, а dataset не является папкой, которую каждый forward обязан читать заново.
Во время inference те же параметры последовательно обрабатывают разные inputs. Временные activations создаются и удаляются, а weights остаются фиксированными, пока отдельная процедура не выполнит update. Нижняя лаборатория позволяет менять x, w и b раздельно: наблюдайте не только новый y, но и то, изменилась ли прямая целиком.