Измеряем путь request, а не только model forward
Serving включает прием запроса, validation, queue, prefill, decode, postprocessing и передачу ответа. End-to-end latency раскладывается на time-to-first-token и интервалы последующих tokens. Throughput измеряется на фиксированном workload; среднее без percentiles скрывает tail latency.
Для samples sorted x_(1)..x_(n) nearest-rank percentile определяется индексом ceil(qn). Это явный локальный контракт dashboard, а не единственное статистическое определение percentile.
Что показывает модель. Dashboard связывает каждую метрику с точными границами времени и workload: input/output lengths, concurrency, sampler, dtype и hardware. Error rate разделяется по validation, overload, timeout и internal failure. SLO может требовать одновременно p95 TTFT, p95 total latency и availability.
Граница применимости. Четыре samples не дают надёжной оценки tail. Warmup, compilation, cache hits и network location меняют результат. Сравнивать два сервера корректно только при одинаковых requests и критерии качества; ускорение ценой другого tokenizer, shorter outputs или худшего model quality не является чистым serving improvement.