Верхняя граница throughput, нижняя оценка времени
ПустьF — FLOPs задачи,Q —байты трафика,B —bandwidth вбайтах/с,P_peak —FLOP/s. Arithmetic intensity I=F/Q. Упрощённая roofline-модель:
Это оптимистичная оценка при выбранных допущениях, не benchmark. Для F=2e9,Q=1e9,B=100e9,P_peak=10e12получаем I=2, memory limit200GFLOP/s и T≥.01с. Compute lower time=.0002с, меньше memory time. Presets в лаборатории условные, а не результаты обнаруженного оборудования.
Weights Pпараметров поb_wбайт занимаютPb_wбез metadata. KV-cache дляdecoder в выбранной модели:
Двойка означаетKиV,Lслоёв,Bbatch,Sтокенов,H_KVчислоKVheads,d_hразмерhead. При32,1,2048,8,128и2байтахполучаем268435456байт=256MiB. Нельзя всегда подставлять числоqueryheads: вGQAоно другое.
В training-оценке этой лаборатории добавляются FP32 gradients, дваFP32Adam moments иFP32master weights; KV-cache не используется. Activations/workspace задаются отдельным бюджетом, а не вычисляются точно по миллиардам параметров. Фрагментация, runtimecontext иquantization metadata не включены. Поэтому «сумма меньше VRAM» означает только прохождение этой оценки, не гарантию запуска.
Теперь понятно, почему локальные операции с повторным использованием данных важны. Следующая глава связывает это с сигналами и свёрткой.