Дата: 2026-09-29. Источники получены до написания лекций. Для статей использованы доступные HTML/abstract-страницы arXiv, для API и форматов — официальная документация. Ни одна опубликованная метрика не объявляется воспроизведённой: все числа в лекциях и verification.py являются маленькими локальными fixtures.
Вопросы и карта доказательств
| Глава | Исследовательские вопросы | Основная опора |
|---|---|---|
| 16 | Как строятся next-token targets и маски? Что именно дифференцирует cross-entropy? Чем AdamW отличается от L2 внутри градиента? Как SFT отделяет prompt от ответа? Что оптимизируют preference objectives? Как LoRA меняет число обучаемых параметров? | F01–F06, F10–F11 |
| 17 | Чем prefill отличается от decode? Что хранит KV-cache? Как temperature, top-k и top-p меняют распределение? Зачем continuous batching? Как квантование вводит ошибку? Какими метриками описывать serving? | F07–F09, F12–F14 |
| 18 | Как документы превращаются в адресуемые chunks? Как retrieval ранжирует кандидатов? Где проходит граница RAG? Как валидировать tools? Чем память приложения отличается от weights? Как ограничить agent loop? | F15–F17; локальные инженерные контракты |
| 19 | Что реально следует из scaling laws? Как data/tensor/pipeline parallelism делят работу? Как MoE маршрутизирует tokens? Как сопоставляются модальности? | F18–F23 |
| 20 | Как сформулировать контракт системы? Как связать train и generation без утечки данных? Как проверять grounding и несколько измерений качества? Что входит в переносимый package? | F24–F25; локальный сквозной контракт |
Источники обучения и alignment
F01. Language Models are Few-Shot Learners
Tom B. Brown et al., 2020, arXiv:2005.14165. https://arxiv.org/html/2005.14165
Использованы autoregressive factorization и различие training objective и prompting/evaluation. Результаты GPT-3 не переносятся на учебную модель и не служат обещанием emergent capabilities.
F02. Decoupled Weight Decay Regularization
Ilya Loshchilov, Frank Hutter, 2017, arXiv:1711.05101. https://arxiv.org/html/1711.05101
Опора для отделения weight decay от adaptive gradient update в AdamW. Учебный scalar step показывает порядок операций, но не воспроизводит benchmark статьи.
F03. Training language models to follow instructions with human feedback
Long Ouyang et al., 2022, arXiv:2203.02155. https://arxiv.org/html/2203.02155
Использована многостадийная схема demonstrations → preference data/reward model → RLHF. Лекция не утверждает, что SFT и RLHF тождественны или что человеческая оценка автоматически делает ответ истинным и безопасным.
F04. Direct Preference Optimization
Rafael Rafailov et al., 2023, arXiv:2305.18290. https://arxiv.org/html/2305.18290
Использована pairwise logistic DPO objective через разность log-ratios policy/reference. Tiny fixture вычисляет только loss одной пары; это не полноценное preference training и не доказательство превосходства DPO над другими методами.
F05. LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu et al., 2021, arXiv:2106.09685. https://arxiv.org/html/2106.09685
Опора для замороженной базовой матрицы и низкорангового обновления BA. Формат scaling alpha/r в лекции объявлен явно. Экономия trainable parameters не означает автоматически меньшую latency после подключения adapter.
F06. PyTorch CrossEntropyLoss и AdamW
PyTorch contributors, официальная reference documentation. https://docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html https://docs.pytorch.org/docs/stable/generated/torch.optim.AdamW.html
Проверены logit/target semantics, reduction и decoupled weight decay. Код курса не зависит от PyTorch и самостоятельно реализует только маленькие stdlib-вычисления.
Источники inference
F07. FlashAttention
Tri Dao et al., 2022, arXiv:2205.14135. https://arxiv.org/html/2205.14135
Использована идея IO-aware tiling точного attention и различие математической операции и способа её выполнения. Опубликованные ускорения аппаратно и конфигурационно зависимы; они не выдаются за универсальный коэффициент.
F08. Efficiently Scaling Transformer Inference
Reiner Pope et al., 2022, arXiv:2211.05102. https://arxiv.org/html/2211.05102
Опора для разделения latency/throughput, partitioning и роли KV-heads. TPU-результаты статьи не переносятся на браузер или произвольный GPU.
F09. Efficient Memory Management for LLM Serving with PagedAttention
Woosuk Kwon et al., 2023, arXiv:2309.06180. https://arxiv.org/html/2309.06180
Использованы динамический рост KV-cache, fragmentation и continuous batching/страничное управление. Учебная очередь не реализует vLLM и не повторяет заявленные throughput improvements.
F10. The Curious Case of Neural Text Degeneration
Ari Holtzman et al., 2019/2020, arXiv:1904.09751. https://arxiv.org/html/1904.09751
Опора для nucleus sampling и тезиса, что decoding policy меняет output при фиксированной модели. Это эмпирическая работа, а не гарантия, что одно значение top-p оптимально для всех задач.
F11. SmoothQuant
Guangxuan Xiao et al., 2022/2024, arXiv:2211.10438. https://arxiv.org/html/2211.10438
Использовано различие weight/activation quantization и роль outliers. В лекции реализовано обычное symmetric scalar quantization, не SmoothQuant и не W8A8 kernel.
Источники внешних систем
F12. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Patrick Lewis et al., 2020, arXiv:2005.11401. https://arxiv.org/html/2005.11401
Опора для различия parametric и non-parametric memory и совместного retriever/generator pipeline. Локальный cosine retriever не воспроизводит DPR, индекс Wikipedia или обучение RAG.
F13. ReAct
Shunyu Yao et al., 2022/2023, arXiv:2210.03629. https://arxiv.org/html/2210.03629
Использован общий цикл reasoning/action/observation. Наш конечный автомат не генерирует скрытые chain-of-thought и не объявляется автономным интеллектуальным агентом.
F14. Toolformer
Timo Schick et al., 2023, arXiv:2302.04761. https://arxiv.org/html/2302.04761
Опора для идеи вызовов внешних tools из языковой модели. Allowlist, JSON validation, timeout, idempotency и audit — локальные production-контракты курса, а не результаты, приписанные Toolformer.
Источники масштабирования и мультимодальности
F15. Training Compute-Optimal Large Language Models
Jordan Hoffmann et al., 2022, arXiv:2203.15556. https://arxiv.org/html/2203.15556
Использовано совместное планирование parameter count и training tokens при ограниченном compute. Коэффициент 6ND в лекции — распространённая грубая оценка dense Transformer training, явно не точный profiler и не закон качества.
F16. Megatron-LM
Mohammad Shoeybi et al., 2019, arXiv:1909.08053. https://arxiv.org/html/1909.08053
Опора для intra-layer tensor model parallelism. Маленькое разбиение матрицы демонстрирует алгебраическую эквивалентность, но не communication kernels или эффективность конкретного кластера.
F17. GPipe
Yanping Huang et al., 2018/2019, arXiv:1811.06965. https://arxiv.org/html/1811.06965
Опора для pipeline stages, micro-batches и bubble. Формула эффективности курса относится к упрощённому синхронному расписанию с равными стадиями.
F18. Switch Transformers
William Fedus, Barret Zoph, Noam Shazeer, 2021, arXiv:2101.03961. https://arxiv.org/html/2101.03961
Опора для sparse expert routing и capacity. Учебный top-1 router не включает auxiliary balancing loss, all-to-all communication или обучаемый gate.
F19. Learning Transferable Visual Models From Natural Language Supervision
Alec Radford et al., 2021, arXiv:2103.00020. https://arxiv.org/html/2103.00020
Использована contrastive image-text alignment. Маленькая similarity matrix не является pretrained CLIP и не доказывает понимание изображений.
F20. Visual Instruction Tuning
Haotian Liu et al., 2023, arXiv:2304.08485. https://arxiv.org/html/2304.08485
Опора для соединения visual encoder и language model через projection/instruction tuning. Лекция не воспроизводит LLaVA dataset, architecture или evaluation.
F21. BERT
Jacob Devlin et al., 2018, arXiv:1810.04805. Дополнительно был проверен URL arXiv:1810.03993 из первичного списка и исключён: он относится к другой работе. https://arxiv.org/abs/1810.04805
Источник фиксирует отличие bidirectional masked-language pretraining от causal decoder objective. BERT не используется как доказательство свойств GPT-подобной генерации.
Источники финальной сборки
F22. ONNX Concepts
ONNX contributors, официальная документация. https://onnx.ai/onnx/intro/concepts.html
Использованы graph, node, tensor, input/output и opset concepts. Наличие корректного ONNX-файла не гарантирует поддержку каждого operator конкретным runtime.
F23. NIST AI Risk Management Framework
National Institute of Standards and Technology. https://www.nist.gov/itl/ai-risk-management-framework
Использована необходимость измерять и управлять рисками по жизненному циклу. Локальный checklist не объявляется сертификацией, юридическим заключением или полной реализацией AI RMF.
F24. Локальный инженерный контракт
Разбиение документов, cosine fixture, схема tool-call, memory TTL, agent step budget, quality gates, manifest и hash verification разработаны для курса. Они не заимствованы как нормативные значения из статей. Их назначение — сделать состояние, ошибки и границы системы наблюдаемыми.
F25. Локальный контракт данных и приватности
Финальная глава использует только синтетические строки и hashes. Production data, персональные данные, внешние AI API, аналитика, аккаунты и облачное хранение не добавляются. Любое будущее подключение таких компонентов требует отдельного data audit, purpose/access/retention документов и privacy review.
Выводы и границы
Пять глав разделяют уровни системы: objective и update; execution inference; внешние знания и действия; распределённое вычисление; сквозной проверяемый artefact. Это разделение не означает независимость: tokenizer и model contract должны совпасть с serving, retrieval требует политики доверия, а package обязан фиксировать версии всех компонентов.
Research gate поддерживает формулы и терминологию, но не заменяет измерения. Latency, throughput, качество, безопасность и стоимость зависят от данных, hardware, runtime и workload. Поэтому в лекциях нет универсальных процентов ускорения, «идеального» sampler, гарантии истинности RAG или заявления, что увеличение параметров автоматически улучшает каждый сценарий.