Дата проверки: 2026-09-12. Источники получены webfetch до реализации. Ссылки ниже — проверенные материалы, а не заявление о чтении всех работ, на которые они ссылаются. Fixtures и допущения лабораторий собственные.
Вопросы и evidence map
| Глава | Вопросы | Источники |
|---|---|---|
| 10 | Как декодировать sign/exponent/fraction? Что происходит при subnormal/overflow? Почему BF16 не равен FP16? Как различать FP8 encodings? Что означает FMA? Почему одинаковая арифметика может округляться различно? Как reuse меняет трафик? Почему roofline не benchmark? Какие объекты занимают VRAM при inference/training? | H01,H02,H03,H04; собственные counts и алгебра |
| 11 | Какие сигналы неразличимы после sampling? Чем convolution отличается от correlation? Как явно задать padding/stride? Что нормируется в DFT? Когда спектральное произведение описывает linear convolution? Как применить 2D kernel? Как суммируются channels? Чем ручной edge filter отличается от learned kernel? | H05,H06,H07,H08; собственные alias/DFT proofs и gradient fixtures |
Источники
H01. Floating Point and IEEE 754 Compliance for NVIDIA GPUs
Nathan Whitehead, Alex Fit-Florea, NVIDIA white paper (исторический текст2011, страница документации обновлена2026). https://docs.nvidia.com/cuda/floating-point/index.html Получен содержательный текст: поля FP32/64, round-to-nearest ties-to-even, FMA, порядок reductions, различия compiler/library. Не переносим историческое «CPU не имеет FMA» на современные CPU. В десятичном примере x=1.0008 есть несогласованные разряды: свой fixture используем двоичный x=1+2^-23, b=−(1+2^-22), exact result2^-46. Это technical primary source, не отдельно прочитанный нормативный IEEE754-2019.
H02. BFloat16: The secret to high performance on Cloud TPUs
Shibo Wang, Pankaj Kanwar, Google Cloud,2019-08-24. https://cloud.google.com/blog/products/ai-machine-learning/bfloat16-the-secret-to-high-performance-on-cloud-tpus Получены описание1/8/7 полей и BF16 multiply с FP32 accumulation на указанных TPU. Адрес research.google дал404; использован реально полученный Cloud URL. Оговорка: источник описывает flush-to-zero subnormals на тех TPU. Наш codec показывает абстрактное BF16 хранение с gradual underflow и не имитирует TPU execution. Равное число exponent bits с FP32 не означает совершенно равные min/max конечные значения из-за разной fraction width.
H03. FP8 Formats for Deep Learning
Paulius Micikevicius et al.,2022, arXiv:2209.05433v2. https://arxiv.org/abs/2209.05433 Получены abstract и metadata. Подтверждены E4M3 и E5M2; E5M2 следует IEEE-like special encodings, E4M3 расширяет range иначе. Лаборатория реализует только FP8 E5M2. Не выдаём простой e4/m3 codec с infinity за E4M3FN. Качество обучения больших моделей из abstract не воспроизводится.
H04. Matrix Multiplication Background User's Guide
NVIDIA, technical guide,2023-02-01. https://docs.nvidia.com/deeplearning/performance/dl-performance-matrix-multiplication/index.html Получена содержательная часть о M×K, K×N,2MKN operations, arithmetic intensity, tiled reuse, dimension/tail effects. Ответ обрезан позднее в navigation/footer. Это практическая опора roofline-оценки, не прочитанный оригинальный Roofline paper. Конкретные V100/A100 benchmark-числа не используются как текущий универсальный предел. Фраза «GEMV всегда memory-bound» ограничена hardware/traffic model; мы сравниваем именно введённые B и peak.
H05. Convolutions for Images
Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola. Dive into Deep Learning, CUP2023, web1.0.3. https://d2l.ai/_sources/chapter_convolutional-neural-networks/conv-layer.rst.txt Получен RST: correlation window, fixture19/25/37/43, convolution flip, feature maps/receptive fields, learning edge kernel. Не копируем индексную оговорку, смешивающую горизонтальное направление с i+1: в курсе i=row,j=column. Ручной filter и обученный kernel — разные состояния. Результаты тренировок из нескольких frameworks не объявляются нашими.
H06. Padding and Stride
Те же авторы, D2L,2023. https://d2l.ai/_sources/chapter_convolutional-neural-networks/padding-and-strides.rst.txt Получены формулы output shape и examples. Источник местами обозначает p как total padding; наш p — на каждой стороне, поэтому формула включает2p. Не обещаем одинаковый output для разных framework examples с разным padding. Zero padding не гарантирует одинаковое число использований каждого реального пикселя.
H07. scipy.signal.convolve
SciPy community, official reference, полученная версия1.18.0. https://docs.scipy.org/doc/scipy/reference/generated/scipy.signal.convolve.html Получены full/valid/same определения, длины и direct/FFT caveats. Наша sliding-window форма с explicit p/stride не называется SciPy same. Для linear convolution выбирается p=K−1, stride1; DFT дополнение доN+K−1 исключает circular aliasing.
H08. scipy.fft.fft
SciPy community, official reference, полученная версия1.18.0. https://docs.scipy.org/doc/scipy/reference/generated/scipy.fft.fft.html Получены forward DFT sum с отрицательным знаком, нормировки, frequency-bin ordering. В лаборатории прямой O(N²) DFT, не FFT library. Magnitude для показа делится наN; для convolution theorem произведение строится из ненормированных transform values.
Ограничения исследования
DSP Guide sampling page был запрошен, но вернул transport error; его не считаем прочитанным. Aliasing выводится для конкретной cosine последовательности алгебраически. Утверждение о восстановлении полосоограниченного сигнала отмечается с условиями, без выдуманной цитаты первоисточника Shannon. Набор состоит из одного академического учебника с двумя разделами, technical documentation и одного primary abstract; это целевая база, не по8независимых papers на главу.
Ни одна hardware-цифра не измерена на компьютере ученика. Presets являются условными параметрами модели. VRAM включает только явно перечисленные объекты; cache, activations, optimizer states и workspace не отождествляются с весами.