Получение источников и содержательное ревью: 2026-09-11. Источники N01–N10 получены через webfetch до реализации. Числа лабораторий — собственные fixtures; никакие результаты обучения из papers не объявляются воспроизведёнными.
Исследовательские вопросы
| Глава | Вопросы | Опора |
|---|---|---|
| 06 | Как обучить affine regression? Чем logistic score отличается от класса? Как разделять train/validation/test? Когда precision не определена? Почему полином переобучается? Как меняются assignments/centroids K-means? Когда кластер пуст? Зачем центрировать PCA? | N01,N04; PCA также M01 §2.12 из математического блока |
| 07 | Что такое perceptron? Как веса задают нормаль? Чем sigmoid отличается от threshold? Где насыщаются sigmoid/tanh? Какая GELU используется? Почему SiLU может быть отрицательной? Почему композиция affine не решает XOR? | N02,N05,N08,N09 |
| 08 | Как вычислять batch layer? Как ширина/глубина меняют actual shapes? Что входит в parameter count? Почему zero init создаёт симметрию? Какой масштаб выбирает seeded init? По каким осям считается norm? Когда residual shapes совместимы? Почему XOR training не проверяет generalization? | N02,N03,N06,N07 |
| 09 | Чем graph node отличается от имени переменной? Как найти topological order? Какие local derivatives у add/mul/tanh? Как seed=1 относится к dL/dL? Почему повторные edges нельзя удалять? Что обнулять перед backward? Как проверить gradient? Почему backward не optimizer step? | N03,N10; собственный вывод chain rule |
Реестр источников
N01. Deep Learning — Machine Learning Basics
Ian Goodfellow, Yoshua Bengio, Aaron Courville, MIT Press, 2016, chapter5. https://www.deeplearningbook.org/contents/ml.html Получен текст; ответ обрезан после видимой части §5.2. Использованы определения learning task/performance/experience, supervised/unsupervised, affine regression/MSE, polynomial capacity/generalization. Более поздние разделы книги этим получением не считаются прочитанными. U-shaped generalization curve не выдаётся за универсальный закон всех современных моделей; утверждение «больше данных никогда не ухудшает качество любого алгоритма» не переносится без предпосылок.
N02. Deep Learning — Deep Feedforward Networks
Те же авторы, 2016, chapter6. https://www.deeplearningbook.org/contents/mlp.html Видимая полученная часть содержит §6.1 с полным XOR ReLU-example, §6.2 logistic/softmax и устойчивую logit loss. Ответ обрезан позднее; раздел backprop этой книги не заявляется прочитанным. Пример XOR использует вручную заданные веса, что честно сохраняется в демонстраторе; отдельный training имеет собственный seed и не обязан получить целочисленные weights.
N03. Dive into Deep Learning — Forward/Backward Propagation
Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, CUP,2023, web1.0.3. https://d2l.ai/_sources/chapter_multilayer-perceptrons/backprop.rst.txt Получен полный видимый RST раздела: forward, reverse chain rule, матричные gradients, память activations и отличие gradient от update. D2L использует столбцовое соглашение; для batch MLP в нашем коде принято X[batch,in]W[in,out]. Поэтому dW=XᵀdZ, а не слепая копия транспонированной формулы источника.
N04. Stanford CS221 — K Means
Chris Piech, на основе handout Andrew Ng, страница курса Fall2012, footer2013. https://stanford.edu/~cpiech/cs221/handouts/kmeans.html Получен текст assignment/update и pseudocode. Расхождения: комментарий «geometric mean» не копируется: squared Euclidean objective минимизирует арифметическое среднее. Связь с EM требует hard-assignment/предельной интерпретации, не тождества произвольному soft EM. Пустой кластер у нас сохраняет прежний centroid с явной подписью; источник предлагает случайную переинициализацию. Это разные инженерные политики.
N05. Gaussian Error Linear Units
Dan Hendrycks, Kevin Gimpel,2016, arXiv:1606.08415, карточкаv5. https://arxiv.org/abs/1606.08415 Abstract-only: подтверждает определение xΦ(x). Наш runtime использует явно подписанную tanh-аппроксимацию N08, а не точную Gaussian CDF. Улучшения на benchmark из abstract не обещаются ученику.
N06. Layer Normalization
Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey Hinton,2016, arXiv:1607.06450. https://arxiv.org/abs/1607.06450 Abstract-only: статистика по скрытым компонентам одного примера, affine gain/bias, одинаковый LN-compute train/test. Это не то же, что BatchNorm. Формулы нормирования и их арифметика заданы явно; универсальный выигрыш скорости не обещается.
N07. Deep Residual Learning for Image Recognition
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun,2015, arXiv:1512.03385. https://arxiv.org/abs/1512.03385 Abstract-only: residual functions относительно layer input. Конкретная ResNet и ImageNet-результаты не воспроизводятся. Наш F(x)=gain·ReLU(x) — прозрачный маленький пример, не обученная ResNet.
N08 / N09. PyTorch GELU и SiLU
PyTorch contributors, официальная reference documentation; проверено2026-09-11.
https://docs.pytorch.org/docs/2.14/generated/torch.nn.GELU.html
https://docs.pytorch.org/docs/2.14/generated/torch.nn.SiLU.html
Сначала /stable/ вернул redirect-страницы, затем указанные reference pages реально получены. Видимы xΦ(x), tanh-approximation c=√(2/π), coefficient.044715, SiLU=xσ(x), same-shape semantics. ВерсияURL записана как полученная, не как требуемая зависимость. PyTorch runtime в браузере не используется.
N10. Automatic Differentiation in Machine Learning: a Survey
Atilim Gunes Baydin, Barak A. Pearlmutter, Alexey Andreyevich Radul, Jeffrey Mark Siskind, JMLR18(153),2018; arXiv:1502.05767v4. https://arxiv.org/abs/1502.05767 Abstract-only: AD как семейство методов точного до floating-point вычисления derivatives программ, отличие от symbolic/numerical differentiation. Конкретный mini-autograd выводится из N03 и chain rule, не приписывается непрочитанному алгоритму paper.
Ограничения и проверка
Это целевой учебный обзор: два учебника (два chapter одного textbook не независимые авторы), Stanford handout, несколько primary abstracts и official API docs. Не заявляются восемь независимых papers на каждую главу или формальная экспертная рецензия. Normal equations допустимы только в маленьком учебном polynomial fit: в industrial regression предпочитают QR/SVD. В mini-autograd поддерживается ограниченный scalar DAG; нет arbitrary eval, higher-order differentiation, tensors или GPU.
Численные примеры проверяются независимым Python до сборки. После реализации обязательны finite differences для каждого параметра маленькой MLP, shared-node accumulation и duplicate-operand тесты, детерминизм training/reset и regressions00–05.