Бюджет нужно распределить, а не только увеличить модель
Training plan связывает число non-embedding parameters N, число training tokens D, architecture, data quality и compute budget. Для dense decoder часто используют грубую оценку C≈6ND операций forward+backward. Она полезна для порядка величины, но не учитывает точные layers, sequence length, sparsity, recomputation, utilization и optimizer overhead.
Compute-optimal исследования показывают, что при фиксированном бюджете параметры и данные следует масштабировать совместно, а не обучать всё более крупную модель на неизменном корпусе. F15. Scaling law описывает эмпирическую тенденцию в исследованном диапазоне, но не доказывает улучшение каждой downstream, safety или factuality метрики.
Что показывает модель. Budget explorer меняет N, D и available FLOPs и показывает только feasibility estimate. Отдельный data ledger учитывает unique/effective tokens, epochs, mixture weights и contamination. Повтор одного и того же текста увеличивает processed tokens, но не эквивалентен такому же объёму новой информации.
Граница применимости. FLOP estimate не равен wall time, энергии или стоимости. Extrapolation за измеренный диапазон рискованна. Parameter count скрывает architecture и active parameters; сравнивать dense и MoE только по total count некорректно.