Матрица ошибок (confusion matrix): формула и пример

Матрица ошибок, она же confusion matrix, - это таблица, в которую сводят предсказания классификатора против реальных меток класса. Она устроена просто: строки - фактический класс объекта, столбцы - то, что предсказала модель (или наоборот, в зависимости от источника). На пересечении строк и столбцов оказываются четыре числа: верно найденные положительные объекты, верно найденные отрицательные, и два вида ошибок - ложные тревоги и пропуски. Из этих четырёх чисел выводятся почти все метрики качества классификации, которые встречаются в курсах машинного обучения: accuracy, precision, recall, специфичность и F1-score. Ниже разберём саму таблицу, формулы метрик и то, где студенты чаще всего путаются. Чтобы сразу увидеть, как числа матрицы превращаются в проценты качества, покрутите калькулятор ниже - он пересчитывает все метрики и перерисовывает саму матрицу.

Что стоит в клетках матрицы ошибок

Для задачи бинарной классификации (два класса: «положительный» и «отрицательный») матрица ошибок - это таблица 2×2 из четырёх величин:

• True Positive ($TP$) - модель предсказала «положительный», и объект действительно положительный;
• True Negative ($TN$) - модель предсказала «отрицательный», и объект действительно отрицательный;
• False Positive ($FP$) - модель предсказала «положительный», а объект на самом деле отрицательный (ложная тревога, ошибка I рода);
• False Negative ($FN$) - модель предсказала «отрицательный», а объект на самом деле положительный (пропуск, ошибка II рода).

Первая буква в названии ($T$ или $F$) говорит, угадала модель или ошиблась; вторая буква ($P$ или $N$) - что именно она предсказала. Общее число объектов в выборке - это сумма всех четырёх клеток: $N = TP + FP + FN + TN$. Если сложить $TP$ и $FN$, получится реальное число положительных объектов в выборке; если сложить $FP$ и $TN$ - реальное число отрицательных.

Accuracy, precision и recall через матрицу

Самая грубая метрика - accuracy (доля верных ответов среди всех предсказаний):

$\text{Accuracy} = \frac{TP + TN}{TP + FP + FN + TN}.$

Она интуитивна, но обманчива при дисбалансе классов: если положительных объектов всего 1% выборки, модель, которая вообще ничего не находит и всегда отвечает «отрицательный», получит accuracy 99%, оставаясь при этом бесполезной. Поэтому для несбалансированных задач (спам, редкие заболевания, брак на производстве) accuracy почти никогда не используют в одиночку - вместе с ней смотрят precision и recall.

Precision (точность) отвечает на вопрос «из всех объектов, которые модель назвала положительными, сколько действительно положительные»:

$\text{Precision} = \frac{TP}{TP + FP}.$

Recall (полнота, чувствительность) отвечает на другой вопрос - «из всех реально положительных объектов сколько модель нашла»:

$\text{Recall} = \frac{TP}{TP + FN}.$

Precision наказывает модель за ложные тревоги ($FP$ в знаменателе), recall - за пропуски ($FN$ в знаменателе). Эти два показателя обычно конфликтуют: если сдвинуть модель в сторону «находить как можно больше», она начнёт чаще ошибаться ложными срабатываниями, и наоборот.

Рассчитать для своей задачи

F1-score: как объединить precision и recall в одно число

Когда нужен единственный показатель, а не пара конфликтующих чисел, считают F1-score - гармоническое среднее precision и recall:

$F_1 = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}.$

Гармоническое среднее выбрано не случайно: в отличие от обычного среднего арифметического, оно резко штрафует ситуацию, когда один из показателей близок к нулю. Модель с precision = 1 и recall = 0,01 получит арифметическое среднее около 0,5, что выглядит неплохо, но F1 в этом случае окажется около 0,02 - почти ноль, и это куда честнее описывает бесполезную модель. Если точность и полнота важны не в равной степени, используют обобщение - $F_\beta$-меру, где параметр $\beta$ задаёт, во сколько раз recall весомее precision.

Порог классификации и как он меняет матрицу

Большинство классификаторов на выходе выдают не метку класса, а число - вероятность или «уверенность» принадлежности к положительному классу. Метку получают, сравнивая это число с порогом отсечения (обычно 0,5): выше порога - «положительный», ниже - «отрицательный». Порог не задан природой задачи, это настраиваемый параметр, и от него напрямую зависит вся матрица ошибок.

Рассчитать для своей задачи

Если сдвинуть порог вверх (модель должна быть увереннее, чтобы назвать объект положительным), $FP$ уменьшается, но вместе с ним растёт $FN$ - часть настоящих положительных объектов больше не проходит порог. Значит, precision растёт, а recall падает. Если сдвинуть порог вниз - эффект обратный: recall растёт, precision падает. Именно поэтому precision и recall нельзя увеличивать одновременно простым сдвигом порога - компромисс всегда есть, и место, где его остановить, зависит от цены ошибок в конкретной задаче.

Чувствительность и специфичность в медицинских тестах

В медицинской и биологической литературе те же величины часто называют другими именами. Recall в этом контексте - это чувствительность теста (sensitivity): доля больных, которых тест правильно определил как больных. Ему в пару идёт специфичность (specificity) - доля здоровых, которых тест правильно определил как здоровых:

$\text{Specificity} = \frac{TN}{TN + FP}.$

Специфичность - это, по сути, recall для отрицательного класса. Чем выше специфичность, тем меньше здоровых людей тест пугает ложноположительным результатом. Скрининговые тесты на опасные заболевания обычно настраивают на высокую чувствительность даже ценой специфичности - пропустить больного человека дороже, чем один раз перепроверить здорового.

Матрица ошибок для многоклассовой задачи

Если классов больше двух, матрица ошибок превращается в таблицу $k \times k$, где $k$ - число классов: строка $i$, столбец $j$ показывает, сколько объектов истинного класса $i$ модель отнесла к классу $j$. Диагональ таблицы - верные предсказания, всё, что вне диагонали, - ошибки, причём видно не только сам факт ошибки, но и то, с каким классом объект чаще всего путают. Precision и recall для многоклассовой задачи считают отдельно для каждого класса по схеме «один против всех» (one-vs-rest): для класса $i$ его $TP$ - это диагональный элемент, $FP$ - сумма остальных элементов его столбца, $FN$ - сумма остальных элементов его строки. Получившиеся значения по классам затем усредняют - как простое среднее (macro-average) или взвешенное по размеру класса (weighted-average).

Частые ошибки

• Перепутать строки и столбцы. В одних источниках строки - это факт, столбцы - предсказание, в других наоборот. Перед тем как считать TP/FP/FN/TN по чужой таблице, явно проверяйте подпись осей.
• Судить о модели только по accuracy при дисбалансе классов. Классификатор, который всегда отвечает «отрицательный», может дать accuracy 95% и выше на редком положительном классе, оставаясь бесполезным.
• Путать precision и recall местами. Precision - про качество положительных ответов модели ($FP$ в знаменателе), recall - про полноту охвата реальных положительных объектов ($FN$ в знаменателе). Перепутанные формулы - самая частая ошибка в задачах.
• Забыть, что F1 - гармоническое, а не арифметическое среднее. Подстановка обычного среднего $(\text{Precision} + \text{Recall})/2$ вместо формулы через произведение даёт завышенный и неверный результат.
• Считать специфичность через recall положительного класса. Специфичность - это recall для отрицательного класса ($TN/(TN+FP)$), а не то же самое число, что и обычный recall.

FAQ

Что означает True Positive в матрице ошибок? Это объект, который модель верно отнесла к положительному классу: предсказание «положительный» совпало с реальной меткой. Такие объекты стоят в числителе и precision, и recall.

Чем матрица ошибок отличается от accuracy? Accuracy - это одно число, доля верных ответов. Матрица ошибок - таблица из четырёх (или больше, для многоклассовой задачи) чисел, из которой accuracy можно получить, но которая дополнительно показывает, какого рода ошибки совершает модель - ложные тревоги или пропуски.

Как посчитать precision и recall, если известна только матрица ошибок? Найдите в таблице $TP$, $FP$ и $FN$: precision = $TP/(TP+FP)$ (доля верных среди предсказанных положительными), recall = $TP/(TP+FN)$ (доля найденных среди всех реально положительных).

Коротко

Матрица ошибок сводит предсказания классификатора в четыре числа - $TP$, $TN$, $FP$, $FN$, - из которых считаются все ключевые метрики: accuracy = $(TP+TN)/N$, precision = $TP/(TP+FP)$, recall = $TP/(TP+FN)$, специфичность = $TN/(TN+FP)$ и F1 = $2\,\text{Precision}\cdot\text{Recall}/(\text{Precision}+\text{Recall})$. Порог классификации сдвигает баланс между precision и recall в противоположные стороны, а для многоклассовых задач те же формулы применяют отдельно к каждому классу по схеме «один против всех».