Глубина сама не создаёт нелинейность
Композиция двух аффинных слоёв без активации сворачивается в один:
XOR на точках (0,0),(0,1),(1,0),(1,1) имеет ответы 0,1,1,0. Две диагональные пары не разделяются одной прямой. Чтобы получить подходящее представление, введём два нелинейных скрытых признака (N02 §6.1):
При s=0,1,2 скрытые пары равны [0,0],[1,0],[2,1], а выходы 0,1,0. Следовательно, все четыре вершины обработаны правильно. Эти веса назначены вручную, не получены текущим обучением.
Эксперимент. Отключите ReLU, сохранив веса: теперь выход 2−s, то есть [2,1,1,0]. Некоторые точки совпали, но функция уже не XOR. Это контрпример к выводу «ничего не изменилось», сделанному по одной удачной точке.
Линейный output полезен после нелинейного представления. Однако ручной пример не доказывает generalization вне четырёх вершин и не гарантирует, что GD найдёт именно эти целочисленные веса. Далее соберём MLP и отдельно реализуем настоящее обучение.