Дата: 2026-09-14. Источники получены через webfetch до реализации. Ниже указаны конкретные прочитанные части и пределы вывода; исследовательские результаты papers не воспроизводились.
Вопросы и evidence map
| Глава | Исследовательские вопросы | Опора |
|---|---|---|
| 12 | Чем различаются UTF-16 units, code points, graphemes и bytes? Как ID связан со словарём? Как обучаются BPE merges? Как разрешать ties и overlap? Почему decode должен восстанавливать строку? Что даёт byte fallback? Чем SentencePiece отличается от алгоритма сегментации? | L01,L02,L03; собственный byte-BPE контракт |
| 13 | Почему one-hot multiplication равен lookup? Какие параметры реально обучает skip-gram? Чем full softmax отличается от negative sampling? Откуда берутся cosine neighbours? Что теряется при PCA? Почему static embedding и contextual state различны? | L04,L05,L06; линейная алгебра предыдущих глав |
| 14 | Зачем смешивать позиции? Как получить Q/K/V? Почему делим на√d_head? По какой оси softmax? Где ставится causal mask? Что происходит с V? Как concat отличается от усреднения heads? | L06 §3.2 |
| 15 | Как устроен pre-norm decoder? Чем он отличается от original encoder-decoder? Как позиции меняют symmetry? Как вывести RoPE relative dot? Какие матрицы нужны SwiGLU? Почему stack не увеличивает vocabulary? Как связаны hidden states, LM head и next-token targets? | L06,L07,L08; собственный явный decoder contract |
Источники
L01. String.length — MDN
MDN contributors, reference page; получена редакция с датой изменения2026-09-02. https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/length Прочитаны определения UTF-16 code units, iterator/code points и Intl.Segmenter/graphemes. Это технический reference, не отдельное чтение полного Unicode Standard. TextEncoder/TextDecoder работают с UTF-8; lone surrogate исключается из обратимого контракта, BOM сохраняется явно.
L02. Neural Machine Translation of Rare Words with Subword Units
Rico Sennrich, Barry Haddow, Alexandra Birch, ACL2016, DOI10.18653/v1/P16-1162. https://aclanthology.org/P16-1162/ https://arxiv.org/html/1508.07909v5 ACL landing дал библиографию; затем получен HTML paper, прочитан §3.2 с algorithm1, training/apply merge rules и vocabulary trade-off. Поздняя часть ответа обрезана в references. В статье character/subword BPE внутри слов, с end-of-word marker. Наша версия отличается: стартует с256 UTF-8 bytes, сохраняет пробелы, допускает merges через них, без linguistic pre-tokenizer. Не выдаётся за tiktoken, SentencePiece или точный tokenizer GPT.
L03. SentencePiece
Taku Kudo, John Richardson, EMNLP2018, arXiv:1808.06226. https://arxiv.org/abs/1808.06226 Получены abstract/metadata: обучение subword-моделей из raw sentences без внешней word pre-tokenization. Полный paper и готовые модели не читались/не загружались. SentencePiece описывается как toolkit, не синоним BPE. Side-by-side опыт сравнивает наш byte-BPE с явно названными byte/codepoint/word-like базовыми разбиениями, не имитирует реальные WordPiece-модели.
L04. Distributed Representations of Words and Phrases and their Compositionality
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey Dean,2013, arXiv:1310.4546. https://arxiv.org/abs/1310.4546 Abstract-only: Skip-gram, negative sampling, context representations и limitations порядка слов. Наша маленькая training-задача использует полный softmax, не negative sampling и не reproducing large-scale Word2Vec. Формула и градиенты выведены и проверяются самостоятельно.
L05. D2L word2vec section
URL https://d2l.ai/_sources/chapter_natural-language-processing-pretraining/word2vec.rst.txt был запрошен, но transport error. Не считается прочитанным источником. В L04 не приписываются подробности этого недоступного текста.
L06. Attention Is All You Need
Ashish Vaswani et al.,2017, arXiv:1706.03762v7(2023). https://arxiv.org/html/1706.03762v7 Получен содержательный HTML. Использованы §3.1–3.5: scaled attention, multi-head shapes, decoder mask, residual, FFN, positions, embedding/head tying. Original paper содержит post-norm encoder-decoder, в нашем учебном decoder — pre-norm, без encoder/cross-attention/dropout. Современная комбинация компонентов не называется точной репликой GPT-2 или original Transformer. Предпосылки variance scaling объявлены, качество по числу heads не гарантируется.
L07. RoFormer
Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, Yunfeng Liu,2021; arXiv:2104.09864v5(2023). https://arxiv.org/html/2104.09864v5 Получены §§3.1–3.4:2D rotation, pairing, geometric frequencies, relative-position dot. Конец ответа обрезан позднее в experiments/references. Не переносим неточности транспонирования HTML-формулы: используем независимо проверенное (R_m q)ᵀ(R_n k)=qᵀR_(n−m)k. Не обещаем монотонного уменьшения каждого score с расстоянием или неограниченной экстраполяции контекста.
L08. GLU Variants Improve Transformer
Noam Shazeer,2020, arXiv:2002.05202v1. https://arxiv.org/html/2002.05202v1 Получен полный видимый HTML, использованы formulas2–6: ReLU-FFN, SiLU/Swish gate, три матрицы SwiGLU, корректировка hidden width при сравнении budgets. Наш режим сравнения сохраняет одинаковый d_ff и поэтому явно показывает разное число параметров. Не утверждается, что SwiGLU при равном d_ff имеет ту же стоимость или всегда лучше.
Содержательные исправления и пределы
В спецификации15.2 attention назван permutation-invariant. Для немаскированного self-attention без position signals корректно permutation-equivariant: переставляются и выходы. Фиксированная causal mask сама задаёт ограничение порядка, поэтому утверждение не переносится на неё буквально.
Byte-BPE действительно обучает merge rules, Skip-gram действительно обновляет E/U. Decoder в этом этапе выполняет настоящий параметризованный forward: byte-BPE→embedding→multi-head causal attention→norm/residual/FFN→LM head. Его seeded weights не обучены языку; training корпуса, checkpoints и качественная генерация относятся к16–17. Даже целая архитектура не становится обученной LLM от наличия правильных формул.
Набор является целевым обзором: primary full texts для BPE/attention/RoPE/GLU, два abstracts и technical Unicode reference. Не заявляется восемь независимых работ на каждую главу. Исходники курса и numeric fixtures написаны самостоятельно, без копирования больших фрагментов papers.