Емпіричне обґрунтування одного стандартного правила помилки при використанні перехресної перевірки

Чи є якісь емпіричні дослідження, що виправдовують використання одного стандартного правила помилки на користь парсингу? Очевидно, це залежить від процесу генерації даних, але все, що аналізує великий масив наборів даних, було б дуже цікавим.

"Одне стандартне правило помилки" застосовується під час вибору моделей за допомогою перехресної перевірки (або більш загально через будь-яку процедуру, засновану на рандомізації).

Припустимо, ми розглянемо моделі індексовані параметром складності τ ∈ R , такі, що M τ "складніший", ніж M τ ′ саме тоді, коли τ > τ ′ . Припустимо, що ми оцінюємо якість моделі M за допомогою якогось процесу рандомізації, наприклад, перехресної перевірки. Нехай q ( M ) позначає "середню" якість M , наприклад, середню помилку прогнозування поза мішком у багатьох прогонах перехресної перевірки. Ми хочемо мінімізувати цю кількість.$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

Однак, оскільки наш показник якості походить від певної процедури рандомізації, він походить з мінливістю. Нехай позначає стандартну похибку якості M через прогони рандомізації, наприклад, стандартне відхилення помилки прогнозування поза пакетиком від M за кросами перехресної перевірки.$s(M)$$M$$M$

Тоді ми вибираємо модель , де τ - найменша τ така, що$M_\tau$$\tau$$\tau$

$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

Тобто ми вибираємо найпростішу модель ( найменшу ), яка не більше ніж одна стандартна помилка, гірша за найкращу модель у процедурі рандомізації.M τ $\tau$$M_{\tau'}$

Я знайшов це "одне стандартне правило про помилку", про яке йдеться в наступних місцях, але ніколи з явним виправданням:

• Сторінка 80 у класифікаційних та регресійних деревах Бреймана, Фрідмана, Стоун та Олшен (1984)
• Сторінка 415 в Оцінці кількості кластерів у наборі даних за допомогою статистики прогалини Tibshirani, Walther & Hastie ( JRSS B , 2001) (з посиланням на Breiman та ін.)
• Сторінки 61 та 244 в елементах статистичного навчання Hastie, Tibshirani & Friedman (2009)
• Сторінка 13 у « Статистичному навчанні з рідкістю » Hastie, Tibshirani & Wainwright (2015)

Далі не є емпіричним дослідженням, тому я спочатку хотів опублікувати це як коментар, а не відповідь - але це дійсно виявляється занадто довгим для коментаря.

Cawley & Talbot ( J of Machine Learning Research , 2010) звертають увагу на різницю між накладанням під час фази вибору моделі та надмірним підходом під час фази підгонки моделі.

Другий вид накладання - це той, з яким більшість людей знайомі: враховуючи конкретну модель, ми не хочемо її переозброювати, тобто надто тісно підходити до конкретних ідіосинкразій одного єдиного набору даних, який ми зазвичай маємо. ( Саме тут усадка / регуляризація може допомогти, торгуючи невеликим збільшенням зміщення проти великого зменшення дисперсії. )

Однак, Cawley & Talbot стверджують, що ми можемо наближатись так само добре на етапі вибору моделі. Зрештою, у нас, як правило, є лише один набір даних, і ми приймаємо рішення між різними моделями різної складності. Оцінка кожної моделі-кандидата з метою вибору її зазвичай передбачає пристосування цієї моделі, що може бути виконано за допомогою регуляризації чи ні. Але ця оцінка сама по собі знову є випадковою змінною, оскільки вона залежить від конкретного набору даних, який ми маємо. Таким чином, наш вибір "оптимальної" моделі сам по собі може виявляти упередженість і буде демонструвати дисперсію, оскільки залежить від конкретного набору даних із усіх наборів даних, які ми могли б отримати з населення.

Таким чином, Cawley & Talbot стверджують, що просто вибір моделі, яка найкраще відповідає цій оцінці, може бути правилом вибору з невеликим ухилом - але він може мати великі розбіжності. Тобто, враховуючи різні набори даних навчальних програм з одного і того ж процесу генерування даних (DGP), це правило може вибирати дуже різні моделі, які потім підходитимуть і використовуватися для прогнозування в нових наборах даних, які знову слідують за тим самим DGP. У цьому світлі обмеження дисперсії процедури вибору моделі, а також невеликий ухил до більш простих моделей може призвести до менших помилок, що не мають вибірки.

Компанія Cawley & Talbot не пов'язує це явно з одним стандартним правилом помилок, і їх розділ про "регулювання вибору моделі" дуже короткий. Однак одне стандартне правило про помилку виконає саме цю регуляризацію та врахує взаємозв’язок між дисперсією у виборі моделі та дисперсією помилки перехресної перевірки, що знаходиться в сумці.

Наприклад, нижче наведено рисунок 2.3 із статистичного навчання з обмеженими можливостями Hastie, Tibshirani & Wainwright (2015) . Дисперсія вибору моделі задається опуклості чорної лінії на мінімальному рівні. Тут мінімум не дуже виражений, а лінія досить слабо опукла, тому вибір моделі, ймовірно, досить невизначений з великою дисперсією. І відхилення в оцінці помилки OOB CV, звичайно, задаються кількома світло-синіми лініями, що вказують на стандартні помилки.

Для емпіричного обгрунтування ознайомтеся зі сторінкою 12 на цих курсових записках з виведення даних Tibshirani , де показана помилка CV як функція лямбда для певної проблеми моделювання. Здається, що лямбда , що знаходиться нижче певного значення, дає приблизно однакову помилку CV. Це має сенс, тому що, на відміну від регресії хребта, LASSO зазвичай не використовується тільки або, в першу чергу, для підвищення точності прогнозування. Його головна продажна точка полягає в тому, що вона робить моделі більш простими та зрозумілими, усуваючи найменш релевантні / цінні прогнози.

$\lambda$$L_1$

$\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

Про це слід повідомити у статистиці для даних високих розмірів Бюльмана та Ван де Гера.

$\lambda$