Layers становятся стадиями, batch — потоком micro-batches
Pipeline parallel размещает последовательные группы layers на разных devices. Micro-batches проходят stages как детали конвейера. Пока pipeline заполняется и опустошается, часть stages простаивает — возникает bubble. GPipe использует micro-batching и activation checkpointing для обучения больших моделей. F17.
Для упрощённого forward-only расписания с p равными stages и m micro-batches требуется m+p-1 ticks, а доля занятости одной стадии:
Увеличение m уменьшает относительный bubble, но хранит больше in-flight activations и может изменить batch semantics. Реальные training schedules добавляют backward и разные варианты 1F1B/interleaving.
Что показывает модель. Gantt view показывает diagonal wave, пустые bubble cells и передачи activations. Баланс стадий важнее одинакового числа layers: разные layers могут иметь разную стоимость. Slowest stage определяет steady-state cadence.
Граница применимости. Формула не включает backward, recomputation, network overlap и imbalance. Pipeline увеличивает latency отдельного micro-batch и усложняет fault recovery. Activation transfer может стать bottleneck даже при равных compute times.