Середнє значення (бали) проти Оцінка (конкатенація) в перехресній валідації

TLDR:

Мій набір даних досить малий (120) зразків. Коли я роблю 10-кратну перехресну перевірку, чи повинен я:

1. Зберіть результати з кожної тестової складки, об'єднайте їх у вектор, а потім обчисліть помилку на цьому повному векторі прогнозів (120 зразків)?

2. Або я повинен замість цього обчислити помилку на результатах, які я отримую за кожну складку (з 12 зразками на складку), а потім отримати остаточну оцінку помилки як середню оцінку 10 помилок у 10 разів?

Чи є якісь наукові праці, які аргументують відмінності між цими методами?

Передумови: Потенційне відношення до макро / мікро балів у класифікації на багато міток:

Я думаю, що це питання може бути пов’язане з різницею між мікро- та макро середніми показниками, які часто використовуються в задачі з класифікацією на багато міток (наприклад, 5 міток).

У налаштуваннях для багатьох міток обчислюються мікро середні бали , складаючи агреговану таблицю на випадок дійсних позитивних, помилкових позитивних, справжніх негативних, помилкових негативних результатів для всіх 5 прогнозів класифікатора на 120 вибірках. Ця таблиця надзвичайних ситуацій потім використовується для обчислення мікроточності, мікровідкликання та мікровимірювання. Отже, коли у нас є 120 зразків і п'ять класифікаторів, мікроміри обчислюються за 600 прогнозів (120 зразків * 5 міток).

Під час використання варіанту Макрос на кожному етикетці самостійно обчислюють заходи (точність, відкликання тощо), і, нарешті, ці заходи усереднюються.

Ідея, що лежить в основі різниці між оцінками мікро та макросу, може поширюватися на те, що можна зробити в K-кратному значенні в задачі бінарної класифікації. У 10 разів ми можемо або в середньому перевищити 10 значень ( вимірювання макросу ), або об'єднати 10 експериментів і обчислити мікро міри.

Фон - розширений приклад:

Наступний приклад ілюструє питання. Скажімо, у нас є 12 тестових зразків і 10 складок:

• Складіть 1 : TP = 4, FP = 0, TN = 8 Точність = 1,0
• Складіть 2 : TP = 4, FP = 0, TN = 8 Точність = 1,0
• Складіть 3 : TP = 4, FP = 0, TN = 8 Точність = 1,0
• Складіть 4 : TP = 0, FP = 12, Точність = 0
• Складіть 5 .. Складіть 10 : Усі мають однаковий TP = 0, FP = 12 і Precision = 0

де я використав такі позначення:

TP = # істинних позитивних, FP = # хибнопозитивних, TN = # істинних негативних

Результати:

• Середня точність в 10 разів = 3/10 = 0,3
• Точність конкатенації прогнозів у 10 разів = TP / TP + FP = 12/12 + 84 = 0,125

Зауважте, що значення 0,3 та 0,125 сильно відрізняються !

Описана відмінність - хибна ІМХО.

Ви спостерігатимете це лише в тому випадку, якщо розподіл справді позитивних випадків (тобто метод довідки говорить, що це позитивний випадок) є дуже неоднаковим щодо складок (як у прикладі) та кількості відповідних тестових випадків (знаменник вимірювання ефективності ми говоримо про це, тут справді позитивне) не враховується при усередненні середніх складових.

$\frac{4}{12} = \frac{1}{3}$

редагувати: оригінальне запитання також задавали питання про повторення / повторення перевірки:

$k$

• Наскільки змінюються прогнози, якщо дані тренувань порушуються шляхом обміну кількома зразками тренувань?
• Тобто, наскільки змінюються прогнози різних "сурогатних" моделей для одного і того ж тестового зразка?

Ви просили наукових праць :

• пошукові терміни є ітераційним або повторним перехресним підтвердженням.
• Роботи, на яких написано "ти повинен це зробити":
  
  • Дугерті, ЕР; Сима, С .; Хуа, Дж .; Hanczar, B. & Braga-Neto, UM: Виконання оцінок помилок для класифікації поточної біоінформатики, 2010, 5, 53-67. є гарною відправною точкою.
  • Для спектроскопічних даних я зробив деякі імітації Beleites, C .; Баумгартнер, Р .; Боуман, С .; Somorjai, R .; Штайнер, Дж .; Salzer, R. & Sowa, MG: Зменшення дисперсії в оцінці похибки класифікації за допомогою рідких наборів даних. Chem.Intell.Lab.Syst., 2005, 79, 91 - 100.
    передрук
• Я регулярно використовую його, наприклад, Beleites, C .; Гейгер, К .; Кірш, М .; Соботка, С.Б .; Schackert, G. & Salzer, R .: Раманова спектроскопічна класифікація тканин астроцитоми: з використанням м'якої довідкової інформації.Anal Bioanal Chem, 2011, 400, 2801-2816

Недооцінка дисперсії Зрештою, ваш набір даних має кінцевий (n = 120) розмір вибірки, незалежно від того, скільки ітерацій завантажувальної чи перехресної перевірки ви робите.

• У вас є (щонайменше) 2 джерела дисперсії у результатах перевірки переупорядкування (перехресне підтвердження та поза завантажувальної програми):

  • дисперсія через кінцеву кількість (тестового) зразка
  • дисперсія через нестабільність прогнозів сурогатних моделей

• Якщо ваші моделі стабільні, значить

  • $k$ кратної перехресної перевірки не потрібні (вони не покращують оцінку продуктивності: середнє значення для кожного прогону крос-валідації однакове).
  • Однак оцінка ефективності все ще підлягає розходженню через обмежену кількість тестових зразків.
  • Якщо ваша структура даних "проста" (тобто один єдиний вектор вимірювання для кожного статистично незалежного випадку), ви можете припустити, що результати тесту є результатами процесу Бернуллі (метання монети) та обчислити дисперсію набору з кінцевим тестом.

• $\frac{n}{k}$
  

Ви повинні робити рахунок (конкатенація). Це поширена помилка в галузі, яка означає (бали) - найкращий спосіб. Це може внести більше упередженості у вашу оцінку, особливо у рідкісних класах, як у вашому випадку. Ось папір, що підтверджує це:

http://www.kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf

У роботі вони використовують "Favg" замість ваших "середніх (балів)" та "Ftp, fp" замість ваших "балів (конкатенація)"

Приклад іграшки:

Уявіть, що у вас є 10-кратне перехресне підтвердження та клас, який з’являється 10 разів, і він може бути призначений таким чином, що він відображається один раз у кожній складці. Також клас завжди прогнозується правильно, але в даних є один хибнопозитивний результат. Тестовий склад, що містить помилковий позитив, матиме 50% точності, тоді як всі інші складки матимуть 100%. Отже, середня (бали) = 95%. З іншого боку, оцінка (конкатенація) становить 10/11, приблизно 91%.

Якщо припустити, що справжня сукупність добре представлена ​​даними і що 10 перехресних валідаційних класифікаторів добре представляють кінцевий класифікатор, то реальна точність у світі склала б 91%, а середня оцінка (95) оцінюється в 95%. .

На практиці ви не хочете робити ці припущення. Натомість ви можете використовувати статистику розподілу для оцінки довіри, випадковим чином переробляючи дані та повторно обчислюючи бал (конкатенацію) кілька разів, а також завантажуючи.