Дата получения и ревью: 2026-09-09. Исследование выполнено до реализации страниц. Учебные примеры собственные; получение источника не означает воспроизведение его экспериментов. Нумерация источников M01–M09 относится ко всему блоку, чтобы не размножать одинаковые библиографические записи.
Вопросы и карта доказательств
| Глава | Исследовательские вопросы | Опора |
|---|---|---|
| 01 | Чем вектор отличается от координат? Что такое пространство? Когда набор является базисом? Какие нормы корректны? Как dot связан с углом? Когда cosine не определён? Почему проекция минимизирует остаток? Что меняется при смене единиц признаков? | M01, M02; вывод проекции через ортогональный остаток |
| 02 | Что определяют столбцы матрицы? Как вывести row-column product? Почему AB не BA? Что измеряет ранг? Когда inverse не существует? Всегда ли есть реальные eigenvectors? Чем SVD отличается от eigendecomposition? Что low-rank экономит и чего не гарантирует? | M01, M02, M08 |
| 03 | Чем производная отличается от секущей? Что фиксируется в partial? Почему gradient даёт максимальный рост? Какая форма Jacobian? Почему транспонирование нужно в backward? Что говорит Hessian и когда тест не решает вопрос? Как складываются пути chain rule? Чем finite difference отличается от autograd? | M03, M05; собственные аналитические выводы |
| 04 | Что нормируется в PMF? Чем плотность отличается от вероятности? Как вывести Bayes? Почему likelihood не posterior? Откуда логарифм энтропии? Когда CE бесконечна? Почему KL не расстояние? Как определить perplexity без путаницы оснований? | M04, M07; определение PP и алгебра геометрического среднего |
| 05 | Почему антиградиент локально уменьшает loss? Как получить предел шага для квадратики? Чем SGD отличается от GD? Как влияет batch? Какие именно моменты хранит optimizer? Зачем bias correction? Где располагается epsilon? Чем clipping отличается от decay? | M05, M06, M09; выводы из выбранных формул |
Источники
M01. Deep Learning, глава 2
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning, MIT Press, 2016. Университетский учебник. URL: https://www.deeplearningbook.org/contents/linear_algebra.html Получен содержательный текст главы: определения, произведения, span/independence, нормы (§2.5), eigendecomposition (§2.7), SVD (§2.8), determinant и вывод проекции в PCA (§2.12). HTML-преобразование местами повреждает знаки, поэтому наши формулы записаны независимо. Полный спектральный теоремный аппарат не доказывается заново. Сингулярные направления могут включать отражения, не только повороты. Для положительной определённости используем симметричные матрицы.
M02. Dive into Deep Learning, Linear Algebra
Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola. Cambridge University Press, 2023, web 1.0.3. URL: https://d2l.ai/_sources/chapter_preliminaries/linear-algebra.rst.txt Получен RST; вывод инструмента обрезан, видимая часть подтверждает скаляры, векторы, shape, transpose и различие Hadamard/matmul. Поздние разделы, не вошедшие в видимый ответ, не считаем прочитанными. Matmul и нормы дополнительно проверены по M01. Код с фреймворками не запускался.
M03. Dive into Deep Learning, Calculus
Те же авторы, 2023, §2.4. URL: https://d2l.ai/_sources/chapter_preliminaries/calculus.rst.txt Получены определение derivative, пределы, partial derivatives, gradient и chain rule с несколькими путями. В источнике используется также transposed layout производной векторной функции; здесь явно принят Jacobian J_ij=∂f_i/∂x_j, shape [выход,вход]. Поэтому backward записывается J^T g, а не копируется формула без проверки shapes.
M04. Deep Learning, Probability and Information Theory
Goodfellow, Bengio, Courville, 2016, глава 3. URL: https://www.deeplearningbook.org/contents/prob.html Получен текст; использованы видимые §3.3–3.8, §3.11 Bayes, §3.13 entropy/KL/CE. Конец вывода обрезан. Это вторичный академический источник, не оригинал Shannon. Чётко разделены density и PMF, корреляция и независимость, likelihood и распределение по параметрам. Единицы здесь nats; continuous differential entropy не подменяется дискретной.
M05. Dive into Deep Learning, Gradient Descent
Zhang et al., 2023, §12.3. URL: https://d2l.ai/_sources/chapter_optimization/gd.rst.txt Получен RST с Taylor motivation, learning rate, многомерным GD, Newton/Hessian. Не переносим ошибочную терминологическую ремарку источника, называющую квадратичную сходимость «linear»: в курсе квадрат ошибки на следующем шаге называется квадратичной оценкой. Не утверждаем, что обычный binary search решает любой line search. Собственные примеры используют положительную диагональную квадратику.
M06. Dive into Deep Learning, Adam
Zhang et al., 2023, §12.10.
URL: https://d2l.ai/_sources/chapter_optimization/adam.rst.txt
Получены уравнения EMA, bias correction, update и примеры реализации. Расхождение: формула и PyTorch-пример располагают epsilon внутри знаменателя после sqrt; в показанном TensorFlow-фрагменте +eps стоит снаружи деления. Этот фрагмент не копируется. Второй момент не называется дисперсией без вычитания квадрата среднего. В наших лабораториях epsilon=1e-8 снаружи sqrt, но внутри знаменателя; это явный выбранный вариант, а не заявление о тождестве всех библиотек.
M07. Dive into Deep Learning, Information Theory
Zhang et al., 2023, математическое приложение.
URL: https://d2l.ai/_sources/chapter_appendix-mathematics-for-deep-learning/information-theory.rst.txt
Получены определения entropy, KL и CE=H+KL. Вывод обрезан в поздней части. Не копируем ошибочные демонстрации: массивы нормальных случайных чисел с отрицательными значениями не являются PMF, а abs(KL) скрывает ошибку. Нужны неотрицательные нормированные p,q; 0log0 обрабатывается по пределу, p>0/q=0 означает математическую бесконечность. Источник использует bits, курс по умолчанию nats; коэффициент перевода указан.
M08. LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, 2021. URL: https://arxiv.org/abs/2106.09685 Первичный preprint; получены только abstract и метаданные v2. Поддерживает факт заморозки pretrained weights и обучения rank-decomposition matrices. Численные выигрыши авторов не обещаются для произвольной сети. Формула BA и собственный счёт параметров выводятся по shapes; полный training recipe LoRA не заявляется изученным.
M09. Adam: A Method for Stochastic Optimization
Diederik P. Kingma, Jimmy Ba, ICLR 2015; preprint 2014, получена карточка v9 (2017). URL: https://arxiv.org/abs/1412.6980 Первичная работа; получены только abstract/метаданные. Поддерживает происхождение алгоритма и использование оценок моментов. Формулы проверяются по содержательному M06 и независимому oracle, не по одному abstract. Универсальная сходимость Adam не утверждается. Для вероятностных определений главы 04 используется M04/M07, не этот paper.
Ограничения
Это целевой обзор основ по двум независимым учебникам и двум первичным abstract, а не по восемь независимых работ на главу. Разделы одной книги не считаются независимыми авторами. Для базовых математических тождеств дополнительно даны выводы и автоматическая численная перепроверка. В актуальных инженерных темах ограничиваемся мостом к будущим главам, без неподтверждённых benchmark-утверждений. Источники доступны на странице академической базы математического блока.