alterna ai
ALTERNA AI / УЧЕБНИК

Академическая база

Источники главы 00, проверяемые утверждения и честные ограничения доступа: учебники, статьи и техническая документация.

Ниже указаны реально полученные материалы и пределы их использования. Статусы retrieval отражают исследовательский этап 8 сентября 2026 года. Самостоятельные численные примеры затем проверены Python oracle и тестами JavaScript; это не воспроизведение обучения больших моделей.

S01. Deep Learning: Introduction

  • Citation: Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016, chapter 1, особенно pp. 1-10 и 13-16.
  • Type: университетский учебник; secondary; ISBN 9780262035613.
  • Stable URL: https://www.deeplearningbook.org/contents/intro.html
  • Retrieval: первый webfetch вернул transport error; повторный с format=text получил текст главы. Ответ инструмента обрезан в поздней части; используемые вводные разделы и фигуры 1.4, 1.5 присутствуют в видимой части. Не заявляется чтение всей книги или проверка изображений по оригиналу.
  • Used for: C01-C03; вложенность DL/ML/AI, representation learning, MLP как композиция функций, отличие от биологически реалистичной модели мозга.
  • Evidence locator: introductory discussion; описание figure 1.4; §1.2.1, замечание о том, что DL не следует понимать как попытку симулировать мозг.
  • Caveats: исторические оценки «today», объёмов данных и возможностей относятся к 2016 году; не использовать как состояние техники 2026 года. Единого порога числа слоёв для «deep» авторы не задают.

S02. D2L: Linear Regression

  • Citation: Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola. Dive into Deep Learning. Cambridge University Press, 2023; web edition 1.0.3, §3.1.
  • Type: академический учебник; secondary.
  • Stable URL: https://d2l.ai/chapter_linear-regression/linear-regression.html
  • Retrieval: HTML-текст раздела получен; вывод инструмента обрезан после части раздела. Видимы определения training set/features/target, §3.1.1.1-3.1.1.3, формулы 3.1.1-3.1.9. Ноутбуки не запускались.
  • Used for: C03-C05; y_hat=w^T x+b, полуквадратичный loss, среднее по dataset. Наш одношаговый пример является собственной специализацией, не цитатой готового результата.
  • Caveats: «linear regression» содержит bias и потому аффинна по входу; минимизация train loss сама по себе не доказывает обобщение. Числа лаборатории проверяются отдельным oracle проекта.

S03. D2L: Language Models

  • Citation: Zhang, Lipton, Li, Smola. Dive into Deep Learning, 2023, web edition 1.0.3, §9.3.
  • Type: академический учебный раздел; secondary; та же книга, что S02, не независимый авторский источник.
  • Stable URL: https://d2l.ai/chapter_recurrent-neural-networks/language-model.html
  • Retrieval: содержательный HTML-текст получен, вывод обрезан позднее; видимы §9.3.1, формулы 9.3.1-9.3.8.
  • Used for: C06, C07; цепное разложение вероятности последовательности, условное распределение следующего токена, отрицательное log-likelihood.
  • Caveats: обсуждение n-грамм не является архитектурой современной LLM; слова о текущих возможностях диалога историчны. Perplexity не используется как мера истинности ответа.

S04. D2L: Attention Scoring Functions

  • Citation: Zhang, Lipton, Li, Smola. Dive into Deep Learning, 2023, web edition 1.0.3, §11.3.
  • Type: академический учебный раздел; secondary; та же книга.
  • Stable URL: https://d2l.ai/chapter_attention-mechanisms-and-transformers/attention-scoring-functions.html
  • Retrieval: получены текст, формулы 11.3.2-11.3.3, объяснение masked softmax и фрагменты кода; поздняя часть вывода обрезана. Код не запускался.
  • Used for: C08; scaled dot product, нормировка по keys, masked positions. Формулу сопоставляем с независимым первичным S07, но это не аудит нашего расчёта.
  • Caveats: padding mask в примерах не тождественна causal mask. Конечное большое отрицательное число в учебном коде не является математическим -infinity. Рассуждение о дисперсии требует независимости, нулевого среднего и единичной дисперсии компонент; эти условия не заявляются для наших фиксированных E.

S05. GPT-3

  • Citation: Tom B. Brown, Benjamin Mann, Nick Ryder et al. Language Models are Few-Shot Learners. 2020.
  • Type: original paper / author preprint; primary.
  • Stable ID: arXiv:2005.14165, полученная карточка v4; https://arxiv.org/abs/2005.14165
  • Retrieval: abstract-only и библиографические метаданные; PDF/HTML полного текста не запрашивались.
  • Used for: C06; в abstract явно сказано, что задачи и few-shot demonstrations задавались текстом без gradient updates или fine-tuning при применении модели. Также назван autoregressive GPT-3 с 175 billion parameters.
  • Caveats: не использовать abstract для деталей tokenizer, layer norm, training recipe, таблиц benchmark или современных продуктов. Число параметров не требуется для расчёта нашей игрушки и не переносится на все GPT.

S06. RAG

  • Citation: Patrick Lewis, Ethan Perez, Aleksandra Piktus et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020; arXiv revision v4, 2021.
  • Type: original paper / author preprint; primary.
  • Stable ID: arXiv:2005.11401; https://arxiv.org/abs/2005.11401
  • Retrieval: abstract-only и метаданные; PDF и полный HTML не читались.
  • Used for: C12; сочетание parametric и non-parametric memory; в работе названы seq2seq generator, dense Wikipedia index и neural retriever.
  • Caveats: это конкретные обучаемые RAG-модели, а не доказательство, что любой pipeline поиска устроен одинаково. Abstract сообщает сравнительные результаты авторов, но не доказывает безошибочность. Наша локальная lexical retrieval simulation не воспроизводит paper.

S07. Attention Is All You Need

  • Citation: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need. 2017; получена arXiv v7 (2023).
  • Type: original paper / author preprint; primary.
  • Stable ID: arXiv:1706.03762; https://arxiv.org/abs/1706.03762
  • Full text fetched: https://arxiv.org/html/1706.03762v7
  • Retrieval: abstract и полный HTML-текст paper получены. Для главы прочитаны прежде всего §§3.1-3.5 и table 1; изображения не воспроизводились, PDF отдельно не читался.
  • Used for: C08-C10; equation (1), mask в §3.2.3, residual и normalization в §3.1, FFN equation (2), выходные embeddings/softmax и tying в §3.4, positional encoding в §3.5.
  • Caveats: original Transformer является encoder-decoder для transduction, а не идентичным GPT decoder-only. В источнике multi-head attention, layer norm, embedding scaling и связанные веса; у игрушки эти детали иные. HTML содержит конверсионные повторы символов, поэтому формулы переписаны в явной row-vector notation. Формулы ещё требуют аудита главного агента.

S08. Foundation Models

  • Citation: Rishi Bommasani, Drew A. Hudson, Ehsan Adeli et al. On the Opportunities and Risks of Foundation Models. Stanford CRFM report, 2021; arXiv v3 (2022).
  • Type: академический обзорный report / author preprint; secondary для обзора, original terminology proposal.
  • Stable ID: arXiv:2108.07258; https://arxiv.org/abs/2108.07258
  • Retrieval: abstract-only и метаданные.
  • Used for: C02; foundation models обучаются на широких данных в масштабе и адаптируются к множеству downstream tasks; термин не означает готовое безошибочное приложение.
  • Caveats: это определение из report, а не универсальный порог размера. Тезисы про emergence не развиваются без чтения полного анализа.

S09. Численная устойчивость softmax

  • Citation: Pierre Blanchard, Desmond J. Higham, Nicholas J. Higham. Accurate Computation of the Log-Sum-Exp and Softmax Functions. 2019 author preprint.
  • Type: original numerical-analysis paper; primary; независимая от D2L группа авторов.
  • Stable ID: arXiv:1909.03469; https://arxiv.org/abs/1909.03469
  • Retrieval: abstract-only. Журнальная версия с немного иным названием и DOI 10.1093/imanum/draa038 указана в S10; отдельно не получалась.
  • Used for: C11; риск overflow/underflow и необходимость различать математическую эквивалентность и floating-point поведение.
  • Caveats: bounds и доказательства paper не прочитаны. Вычитание максимума обосновано алгебраически в лекции и независимо описано S10, но расчёты игрушки не проверены этим paper.

S10. SciPy softmax

  • Citation: The SciPy community. scipy.special.softmax, полученная online reference page v1.18.0, 2026 (дата доступа; отдельный год публикации страницы не указан).
  • Type: официальная инженерная документация; primary для поведения API, не академический paper.
  • Stable URL: https://docs.scipy.org/doc/scipy/reference/generated/scipy.special.softmax.html
  • Retrieval: содержательная reference page получена, включая Notes и examples.
  • Used for: C11; формула softmax, сумма по выбранной оси, shifting для предотвращения overflow; независимая документация для будущей перепроверки.
  • Caveats: SciPy не является зависимостью демонстратора. Его axis=None по умолчанию не соответствует построчной нормировке attention. Ничего не запускалось.

S11. JavaScript Number

  • Citation: MDN contributors. Number, last modified 2026-07-12 согласно странице.
  • Type: техническая reference documentation; secondary относительно ECMAScript.
  • Stable URL: https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Number
  • Retrieval: содержательная страница получена; использован раздел Number encoding.
  • Used for: C14; Number имеет binary64-семантику, числа имеют ограничения точности. Упакованный числовой payload не является замером памяти JS-объектов.
  • Caveats: normative URL https://tc39.es/ecma262/multipage/ecmascript-data-types-and-values.html#sec-ecmascript-language-types-number-type также реально запрошен, но доступный вывод обрезан до заголовка; стандарт не отмечаем как содержательно прочитанный. Размер heap зависит от реализации, тип Number не гарантирует физические 8 B на каждый элемент любого JS-массива.

S12. Subword Units

  • Citation: Rico Sennrich, Barry Haddow, Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. ACL 2016, pp. 1715-1725; preprint 2015.
  • Type: original conference paper; primary.
  • Stable ID: DOI 10.18653/v1/P16-1162; https://aclanthology.org/P16-1162/ ; https://arxiv.org/abs/1508.07909 (v5).
  • Retrieval: ACL landing page дала metadata и позднюю award note, но не тело paper; отдельно получен arXiv abstract-only. PDF не читался.
  • Used for: C07; редкое слово может представляться последовательностью subword units; abstract прямо упоминает segmentation based on byte pair encoding.
  • Caveats: не делаем из abstract учебник BPE и не утверждаем конкретную сегментацию русской строки настоящим tokenizer. Regex демонстратора не является BPE.

Математический блок01–05 → ML и нейронные сети06–09 → Вычисления и сигналы10–11 → Языковой блок12–15 → Жизненный цикл и системы16–20 →