Средний score не имеет права скрывать критический провал
Evaluation candidate выполняется на зафиксированных datasets и workload. Quality, grounding, p95 latency и unsafe rate имеют разные единицы и направления улучшения, поэтому для них задают отдельные thresholds. Hard gate проходит только при выполнении всех условий. Взвешенная сумма полезна для ранжирования уже допустимых кандидатов, но высокий quality не должен компенсировать нарушение safety или latency SLO.
Каждая метрика публикуется вместе с размером выборки, версией evaluator, доверительным интервалом или raw observations, где это возможно. Regression comparison использует одинаковые prompts и условия serving. Ошибки анализируются по slices, потому что общий average способен скрыть провал языка, домена или редкой категории риска.
Продолжение. Gate board показывает threshold, observed value, направление сравнения и evidence для каждой строки. Итоговый статус вычисляется как conjunction и остаётся красным при единственном failure. Baseline и candidate запускаются через один evaluator contract; ручной override требует автора, причины, срока и audit record, а не изменения числа задним числом.
Граница применимости. Passing known tests не гарантирует поведение на открытом мире, а evaluator model может разделять ошибки с оцениваемой моделью. Малые выборки дают нестабильные tail и safety rates. Thresholds являются инженерным решением для конкретного риска, не универсальным доказательством качества и не заменой red-team, наблюдаемости после выпуска и rollback plan.