Порівняння двох результатів точності класифікатора за статистичною значимістю з t-тестом

Хочу порівняти точність двох класифікаторів за статистичною значимістю. Обидва класифікатори виконуються в одному наборі даних. Це змушує мене вважати, що я повинен використовувати тестовий тест з одного зразка з того, що я читав .

Наприклад:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Це правильний тест для використання? Якщо так, як я обчислюю, чи різниця в точності між класифікатором значна?

Або я повинен використовувати інший тест?

Я, мабуть, обрав би тест Макнемара, якби ви тренували класифікатори лише один раз. Девід Барбер також пропонує досить акуратний байєсівський тест, який мені здається досить елегантним, але він не використовується широко (про це також йдеться у його книзі ).

Просто додамо, як каже Пітер Флом, відповідь майже напевно є "так", просто дивлячись на різницю між показниками та розміром вибірки (я вважаю, що цитовані цифри - це ефективність тестового набору, а не виконання навчальних наборів).

Між іншим, у Япковича та Шаха є нещодавня книга "Оцінка алгоритмів навчання: перспектива класифікації" , я її не читав, але це виглядає як корисна довідка для подібних питань.

Я можу вам сказати, навіть не запускаючи нічого, що різниця буде дуже статистично значущою. Він проходить IOTT (міжокулярний травмотест - він потрапляє тобі між очима).

Якщо ви хочете зробити тест, ви можете зробити це як тест у двох пропорціях - це можна зробити за допомогою двох зразкових т-тестів.

Можливо, ви хочете розбити "точність" на його компоненти; чутливість та специфічність, або хибнопозитивні та хибнонегативні. У багатьох програмах вартість різних помилок сильно відрізняється.

Оскільки в даному випадку точність є правильно класифікованою часткою зразків, ми можемо застосувати тест гіпотези щодо системи з двох пропорцій.

Нехай р 1 і р 2 бути точність , отримані з класифікаторів 1 і 2 відповідно, а п буде число вибірок. Кількість зразків, правильно класифікованих у класифікаторах 1 та 2, є х 1 та х 2 відповідно.$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Статистика тесту наводиться за допомогою

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ де $\quad\hat p= (x_1+x_2)/2n$

Наш намір полягає в тому, щоб довести, що глобальна точність класифікатора 2, тобто , краща, ніж у класифікатора 1, який є p 1 . Це обрамляє нашу гіпотезу як$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (нульова гіпотеза вказує, що обидва рівні)
• $H_a: p_1 < p_2\quad$ (альтернативна гіпотеза, що стверджує, що новіша краща за існуючу)

Область відхилення задається

$Z < -z_\alpha \quad$(якщо вірно відхилити і прийняти H a )$H_0$$H_a$

де отримується від звичайного нормального розподілу, що відноситься до рівня значущості, α . Наприклад, z 0,5 = 1,645 для 5% рівня значущості. Це означає, що якщо відношення Z < - 1.645 вірно, то з 95% рівнем довіри ( 1 - α ) можна сказати, що класифікатор 2 є більш точним, ніж класифікатор 1.$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Список літератури:

1. Р. Джонсон та Дж. Фрейнд, Вірогідність Міллера та Фрейнда та статистика для інженерів, 8-е вид. Prentice Hall International, 2011. (Первинне джерело)
2. Тест гіпотези-стислої резюме формули . (Прийнято з [1])