Інтервал довіри для точності перехресної перевірки класифікації

Я працюю над проблемою класифікації, яка обчислює метрику подібності між двома вхідними рентгенівськими зображеннями. Якщо зображення однакової особи (мітка "праворуч"), буде обчислена вища метрика; Вхідні зображення двох різних людей (мітка "неправильно") призведе до нижчої метрики.

Я використовував стратифіковану 10-кратну перехресну перевірку для обчислення ймовірності помилкової класифікації. Мій поточний розмір вибірки становить близько 40 правильних і 80 неправильних збігів, де кожна точка даних є обчисленою метрикою. Я отримую ймовірність неправильної класифікації 0,00, але мені потрібен якийсь інтервал довіри / аналіз помилок щодо цього.

Я розглядав використання інтервалу довіри біноміальної пропорції (де я використовував результати перехресної перевірки як правильне маркування або неправильне маркування для моєї кількості успіхів). Однак одне з припущень біноміального аналізу - однакова ймовірність успіху для кожного випробування, і я не впевнений, чи можна вважати, що метод, що стоїть за класифікацією «правильний» чи «неправильний» у перехресній валідації, має однакова ймовірність успіху.

Єдиний інший аналіз, який я можу придумати, - це повторити перехресну перевірку X разів та обчислити середнє / стандартне відхилення помилки класифікації, але я не впевнений, чи це навіть підходить, оскільки я б повторно використовував дані з моїх порівняно невеликий розмір зразка в кілька разів.

Будь-які думки? Я використовую MATLAB для всіх своїх аналізів, і у мене є інструментальна панель статистики. Буду вдячний за будь-яку допомогу!

Вплив нестабільності в прогнозах різних сурогатних моделей

Однак одне з припущень біноміального аналізу - однакова ймовірність успіху для кожного випробування, і я не впевнений, чи можна вважати, що метод, що стоїть за класифікацією «правильний» чи «неправильний» у перехресній валідації, має однакова ймовірність успіху.

Ну, звичайно, ця еквівалентність - це припущення, яке також необхідно, щоб ви могли об'єднати результати різних сурогатних моделей.

На практиці ваша інтуїція про те, що це припущення може бути порушено, часто відповідає дійсності. Але ви можете виміряти, чи це так. Саме тут я вважаю корисною перехресну перевірку: Стабільність прогнозів для одного і того ж випадку за різними сурогатними моделями дозволяє судити про те, чи є моделі еквівалентними (стабільні прогнози) чи ні.

Ось схема повтореної (також повторної) кратної перехресної перевірки:$k$

Заняття червоний і синій. Кола праворуч символізують передбачення. У кожній ітерації кожен зразок прогнозується рівно один раз. Зазвичай велика середня величина використовується як оцінка ефективності, неявно припускаючи, що продуктивність сурогатних моделей дорівнює. Якщо ви шукаєте для кожного зразка прогнози, зроблені різними сурогатними моделями (тобто поперек стовпців), ви можете бачити, наскільки стабільні прогнози для цієї вибірки.$i \cdot k$

Ви також можете розрахувати ефективність для кожної ітерації (блок з 3 рядків на кресленні). Будь-яка розбіжність між цими засобами означає, що припущення про те, що сурогатні моделі є рівнозначними (одна до одної, і тим більше "грандіозною моделлю", побудованої на всіх випадках), не виконується. Але це також говорить вам про те, скільки у вас нестабільності. Що стосується біноміальної пропорції, я вважаю, що справжня ефективність однакова (тобто незалежна від того, чи завжди однакові випадки помилково прогнозуються чи однакове число, але різні випадки неправильно прогнозовані). Я не знаю, чи можна було б розумно припустити певний розподіл для ефективності сурогатних моделей. Але я думаю, що це в будь-якому випадку є перевагою перед загальнодоступними повідомленнями про помилки класифікації, якщо ви взагалі повідомляєте про цю нестабільність.$k$ сурогатні моделі були об'єднані вже для кожної з ітерацій, дисперсія нестабільності приблизно перевищує спостережувану дисперсію між ітераціями.$k$

Зазвичай мені доводиться працювати з набагато менш ніж 120 незалежними випадками, тому я дуже сильно регулюю свої моделі. Тоді я зазвичай можу показати, що дисперсія нестабільності є ніж кінцева дисперсія розміру тестової вибірки. (Я думаю, що це є розумним для моделювання, оскільки люди упереджені до виявлення шаблонів, і, таким чином, тягнуться до побудови занадто складних моделей і, таким чином, до вирівнювання). Я, як правило, повідомляю про відсотки спостережуваної дисперсії нестабільності протягом ітерацій (і , і ) та біноміальних довірчих інтервалів щодо середнього спостережуваного показника для кінцевого розміру тестового зразка.$\ll$
$n$$k$$i$

Малюнок - це більш нова версія рисунка. 5 у цій роботі: Beleites, C. & Salzer, R .: Оцінка та підвищення стабільності хіміометричних моделей у ситуаціях з невеликим розміром вибірки, Anal Bioanal Chem, 390, 1261-1271 (2008). DOI: 10.1007 / s00216-007-1818-6
Зауважте, що, коли ми писали документ, я ще не повністю зрозумів різні джерела дисперсії, які я пояснив тут, - майте це на увазі. Тому я вважаю, що аргументаціядля ефективної оцінки розміру вибірки, наведеної там, невірно, навіть якщо висновок заявки про те, що різні типи тканин у кожного пацієнта вносять приблизно стільки ж загальної інформації, скільки новий пацієнт із заданим типом тканини, ймовірно, все ще справедливий (у мене абсолютно інший тип докази, які також вказують саме на це). Однак я ще не зовсім впевнений у цьому (як і як це зробити краще і, таким чином, зможу перевірити), і це питання не пов'язане з вашим запитанням.

Яку ефективність використовувати для біноміального довірчого інтервалу?

Поки що я використовував середні показники спостереження. Ви також можете використати найгірші спостережувані показники: чим ближче спостережувана ефективність до 0,5, тим більша дисперсія і, таким чином, довірчий інтервал. Таким чином, довірчі інтервали спостережуваних показників, найближчі до 0,5, дають певний консервативний "запас міцності".

Зверніть увагу, що деякі методи обчислення біноміальних довірчих інтервалів працюють також, якщо спостережуване число успіхів не є цілим числом. Я використовую "інтеграцію байєсівської задньої ймовірності", як описано в
Ross, TD: Точні довірчі інтервали для біноміальної пропорції та оцінки швидкості Пуассона, Comput Biol Med, 33, 509-531 (2003). DOI: 10.1016 / S0010-4825 (03) 00019-2

(Я не знаю для Matlab, але в R ви можете використовувати binom::binom.bayesобидва параметри форми, встановлені на 1).

Ці думки стосуються моделей прогнозування, побудованих на цьому навчальному наборі даних, для нових невідомих випадків. Якщо вам потрібно узагальнити до інших наборів даних про тренінг, складених із тієї ж сукупності випадків, вам потрібно буде оцінити, наскільки змінюються моделі, що навчаються на нових зразках тренінгу розміром . (Я не маю уявлення, як це зробити, крім отримання фізично нових наборів даних про тренінг)$n$

Дивіться також: Bengio, Y. та Grandvalet, Y . : Непідвладний оцінювач варіації K-Fold перехресної валідації, Journal of Machine Learning Research, 2004, 5, 1089-1105 .

(Думати більше про ці речі є в моєму дослідницькому тодо-списку ..., але, оскільки я виходжу з експериментальної науки, мені подобається доповнювати теоретичні та імітаційні висновки експериментальними даними - що тут важко, оскільки мені знадобиться великий набір незалежних випадків для еталонного тестування)

Оновлення: чи виправдано припускати розподіл біоміального речовини?

Я бачу резюме в k-складку як такий експеримент з метанням монет : замість того, щоб кинути одну монету велику кількість разів, монети, вироблені однією і тією ж машиною, викидають меншу кількість разів. На цій картині я думаю, що @Tal вказує, що монети не однакові. Що, очевидно, правда. Я думаю, що і що можна зробити, залежить від припущення про еквівалентність сурогатних моделей.$k$

$n$

$n$$p$$n$

Я думаю, що ваша ідея повторної перехресної перевірки багато разів стоїть прямо на шляху.

Повторіть резюме, скажімо, 1000 разів, кожен раз розділяючи свої дані на 10 частин (для 10-кратного резюме) по-іншому ( не пересувайте мітки). Ви отримаєте 1000 оцінок точності класифікації. Звичайно, ви будете використовувати ті самі дані, тож ці 1000 оцінок не будуть незалежними. Але це схоже на процедуру завантаження: ви можете прийняти стандартне відхилення над цими точністю як стандартну похибку середнього значення вашого загального оцінювача точності. Або 95% перцентильний інтервал, як довірчий інтервал 95%.

Крім того, ви можете поєднати цикл перехресної перевірки та цикл завантаження і просто вибрати випадкову (можливо, стратифіковану випадкову) 10% ваших даних як тестовий набір, і зробити це 1000 разів. Ті ж міркування, що і вище, застосовуються і тут. Однак це призведе до більшої відмінності від повторень, тому я вважаю, що вищевказана процедура є кращою.

Якщо показник неправильної класифікації становить 0,00, ваш класифікатор робить нульові помилки, і якщо це трапляється під час кожної ітерації завантажувального завантаження, ви отримаєте нульовий широкий інтервал довіри. Але це просто означатиме, що ваш класифікатор майже ідеальний, тому хороший для вас.

Помилка класифікації є одночасно розривним і неправильним правилом оцінювання. Він має низьку точність, і оптимізуючи його, вибирає неправильні характеристики та надає їм неправильні ваги.