Какая именно ошибка нам дорога?
TP — положительные примеры, признанные положительными; FP — отрицательные, признанные положительными; FN — пропущенные положительные; TN — правильно распознанные отрицательные. Сначала фиксируем positive class, затем считаем метрики.
При TP=2,FP=1,FN=1,TN=2 accuracy=2/3,precision=recall=2/3,FPR=1/3. Если модель вообще не предсказывает positive, denominator precision равен0. В нашей лаборатории результат «не определено», а не произвольно100%. Recall остаётся определённой, если реальные positives есть.
Эксперимент. Увеличивайте threshold на одном неизменном наборе scores. Число positive predictions не возрастает; TP и FP могут падать ступенями. ROC рассматривает пары(FPR,TPR) при разных порогах, а одна confusion matrix соответствует одномуτ. Площадь под кривой не заменяет выбора рабочего порога и цены ошибок.
Легко ошибиться. При99%negative постоянный negative classifier имеет99%accuracy и0recall positives. Высокая accuracy сама по себе не решает задачу. Precision зависит также от prevalence, что связано с Bayes из главы04. N01 задаёт task-specific performance; формулы здесь являются явными определениями по counts.