Яке правило .632+ при завантаженні?

Тут @gung посилається на правило .632+. Швидкий пошук в Google не дає простий для розуміння відповіді на те, що означає це правило та з якою метою воно використовується. Хтось, будь ласка, з’ясує правило .632+?

Я дістанусь до оцінювача 0,632, але це буде дещо тривалий розвиток:

Припустимо, ми хочемо передбачити з за допомогою функції , де може залежати від деяких параметрів, які оцінюються за допомогою даних , наприклад,$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Наївна оцінка помилки прогнозування - де - деяка функція втрати, наприклад, квадратна втрата помилки. Це часто називають помилкою навчання. Efron та ін. називає це очевидною швидкістю помилок або коефіцієнтом заміни. Це не дуже добре, оскільки ми використовуємо наші дані щоб відповідати . Це призводить до зміщення зміщення вниз. Ви хочете знати , наскільки добре ваша модель робить передбачення нових значень.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Часто ми використовуємо перехресну валідацію як простий спосіб оцінити очікувану помилку передбачення додаткової вибірки (наскільки добре наша модель робить дані не в нашому навчальному наборі?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Популярний спосіб зробити це - зробити кратну перехресну перевірку. Розподіліть свої дані на групи (наприклад, 10). Для кожної групи встановіть свою модель на інші групи і протестуйте її на й групі. Наша помилкова перевірка додаткової вибірки прогнозування - це лише середня де - деяка функція індексу, яка вказує на розділ, якому призначено спостереження , а - передбачуване значення використанням даних, що не є в наборі th.$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Ця оцінка приблизно несмещенная для істинної помилки передбачення , коли і має велику дисперсію , і є більш дорогим в обчислювальному відношенні для збільшення . Тож ми ще раз бачимо компроміс-зміну компромісу під час гри.$K=N$$K$

Замість перехресної перевірки ми могли б скористатися завантажувальним інструментом для оцінки похибки прогнозування додаткової вибірки. Переустановка завантажувальної програми може бути використана для оцінки розподілу вибірки будь-якої статистики. Якщо наші дані тренінгу , то можна подумати про те, щоб взяти з цього набору зразки завантажувальної машини (із заміною) де кожен - це набір з вибірок. Тепер ми можемо використовувати наші зразки завантаження для оцінки помилки передбачення додаткової вибірки: де - передбачуване значення при від моделі, придатної до$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ й набір даних завантажувальної програми. На жаль, це не особливо хороший оцінювач, оскільки зразки завантажувальної програми, які використовуються для отримання можуть містити . Оцінювач завантажувального пропонує поліпшення, імітуючи перехресну перевірку, і визначається як: де - це набір показників для зразків завантажувальної програми, які не містять спостереження , і- кількість таких зразків. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$вирішує проблему надмірного пристосування, але все ще є упередженою (ця упереджена вгору). Упередженість пояснюється неоднозначними спостереженнями у зразках завантажувального пристрою, які є результатом відбору з заміною. Середня кількість різних спостережень у кожному зразку становить приблизно (див. Цю відповідь для пояснення того, чому в середньому кожен зразок завантажувального закладу містить приблизно дві третини спостережень? ). Щоб вирішити задачу зміщення, Ефрон і Тібшірані запропонували оцінювач 0.632: де$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ це наївна оцінка помилки прогнозування, яку часто називають помилкою навчання. Ідея полягає в тому, щоб оцінювати упереджену оцінку вниз і тенденційну тенденцію до зростання.

Однак якщо у нас є функція прогнозування надмірно надмірного рівня (тобто ), навіть оцінювач .632 буде зміщений вниз. Оцінювач .632+ призначений для менш упередженого компромісу між та . з де - рівень помилки без інформації, оцінюється шляхом оцінки моделі прогнозування для всіх можливих комбінацій цілі та предиктори .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Тут вимірює відносну норму перевищення. Якщо немає перевищення (R = 0, коли ) це дорівнює оцінці .632.$R$$Err_{boot(1)} = \overline{err}$

Більше інформації ви знайдете у розділі 3 цього ¹ документа. Але підсумовуючи, якщо ви називаєте вибіркою з чисел із намальованою випадковим чином і із заміною, містить в середньому приблизно унікальних елементів.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Міркування такі. Ми заповнюємо вибіркою разів (випадковим чином і із заміною) від . Розглянемо конкретний індекс . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Тоді:

$$P(s_i=m)=1/n$$

і

$$P(s_i\neq m)=1-1/n$$

і це правда (інтуїтивно, оскільки ми проводимо вибірку із заміною, ймовірності не залежать від )$\forall 1\leq i \leq n$$i$

таким чином

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Ви також можете провести це невелике моделювання, щоб емпірично перевірити якість наближення (що залежить від ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Бредлі Ефрон та Роберт Тібширані (1997). Удосконалення щодо перехресної перевірки: метод завантаження .632+ . Журнал Американської статистичної асоціації , Vol. 92, № 438, стор 548--560.

На мій досвід, в основному на основі моделювання, варіанти завантажувальних програм 0,632 та 0,632+ потрібні були лише через серйозні проблеми, спричинені використанням неправильного правила оцінювання точності, а саме пропорції, "правильно класифікованої". Якщо ви використовуєте правильні (наприклад, на основі відхилення бали чи Brier) або напівправильні (наприклад, -index = AUROC) правила балів, стандартний завантажувальний оптимізм Efron-Gong працює чудово.$c$

Ці відповіді дуже корисні. Я не міг знайти спосіб продемонструвати це математикою, тому я написав код Python, який працює досить добре:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)