Изменение архитектуры должно менять вычисление
Width — размер скрытого представления, depth — число последовательных преобразований. В лаборатории ширина 2..6, глубина скрытой части 1..3, вход 2, выход 1. Контролы создают реальные матрицы соответствующих shapes. Изменение числа нарисованных кружков при прежней программе не было бы MLP-конструктором.
Для одного hidden layer ширины h число параметров: 2h+h+h+1=4h+1. При h=2 это 9, при h=4 — 17. Второй hidden layer добавляет h²+h; для h=4 и depth2 всего 37. Output layer в этом соглашении считается отдельно от hidden depth.
Эксперимент. Сравните ширины 2 и 4 при одинаковом seed, затем глубины 1 и 2. Размеры матриц различаются, поэтому одинаковый seed не означает одинаковые weights. Сопоставьте count, mean/RMS активаций и predictions до обучения.
N02 описывает композицию обучаемых представлений. Теоремы приближения говорят о существовании подходящих параметров при предпосылках, но не гарантируют, что короткий запуск GD их найдёт. Представительная способность и результат конкретного оптимизатора — разные свойства.
Граница опыта. Все четыре XOR-точки используются для training. Независимого test здесь нет; показанная accuracy называется тренировочной. Она проверяет fit таблицы, не перенос на произвольные данные. Короткий неудачный запуск не доказывает, что выбранная архитектура математически неспособна описать XOR.