Коли справедлива оцінка завантаження для зміщення?

31

Часто стверджується, що завантажувальне завантаження може забезпечити оцінку зміщення в оцінці.

Якщо - оцінка для деякої статистики, і - це репліки завантажувальної програми (з ), то оцінка завантаження завантажувальної зсуву що здається надзвичайно простим і потужним, до того, що це не порушує. $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

Я не можу зрозуміти, як це можливо, не маючи вже об'єктивного оцінювача статистики. Наприклад, якщо мій оцінювач просто повертає константу, незалежну від спостережень, вищенаведена оцінка зміщення явно недійсна.

Хоча цей приклад є патологічним, я не можу зрозуміти, які обґрунтовані припущення щодо оцінювача та розподілів, які гарантують, що оцінка завантажувальної програми є розумною.

Я спробував прочитати офіційні посилання, але я не є статистиком і не математиком, тому нічого не було уточнено.

Чи може хтось надати підсумок високого рівня про те, коли прогноз може бути дійсним? Якщо ви знаєте хороші посилання на цю тему, це також було б чудово.

Редагувати:

Плавність оцінювача часто цитується як вимога до завантажувальної роботи. Чи може бути, що також потрібна якась локальна зворотність перетворення? Постійна карта явно цього не задовольняє.

bootstrap bias

— Завантажений
джерело

2

Постійний оцінювач - це неупереджений оцінювач цієї константи, тому природно, що оцінювач завантажувального механізму зміщення дорівнює нулю.

— Сіань

4

Описана вами проблема - це проблема інтерпретації, а не обгрунтованість. Оцінка зміщення завантажувальної програми для вашого постійного оцінювача недійсна, вона справді ідеальна.

Оцінка самозавантаження зміщення між блоком оцінки і параметр де деяким невідомим розподілом і зразками з . Функція - це те, що ви могли б в принципі обчислити, якби у вас була чисельність населення. Кілька разів ми беремо плагін оцінки $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ $F$ $t(F)$ $s(x) = t(\hat F),$ з допомогою емпіричного розподілу в місці . Це, мабуть, те, що ви описали вище. У всіх випадках оцінка самозавантаження зміщення є де є бутстраповскімі зразками від . $t(F)$ $\hat F$ $F$

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$

x

$x$

Константа є ідеальним плагін оцінкою для тих же констант: $c$ населення і зразок , емпіричне розподіл, яка приблизно дорівнює . Якби ви могли оцінити , ви отримаєте . Коли ви обчислюєте плагін оцінки ви також отримуєте . Ніяких упереджень, як ви очікували. $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

Добре відомий випадок , коли є ухил в плагін оцінки знаходиться в оцінці дисперсії, отже , корекція Бесселя. Нижче я це демонструю. Оцінка упередженості завантажувального завантаження не надто погана: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

Натомість ми можемо прийняти середньою сукупністю та , ситуація, коли в більшості випадків має бути чіткий ухил: $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

Знову оцінка завантаження не надто погана.

— ейнар
джерело

Я додав цю відповідь, оскільки інші відповіді, здається, сприймаються як належне, що проблема в тому, що оцінка завантажувальної завантаженості зсуву дорівнює 0, коли

є постійною. Я не вірю в це.

t

$t$

— ейнар

Мені подобається ваша відповідь та ваша демонстрація, але я не думаю, що ваше визначення є правильним: "Оцінка завантажувальної завантажувальної зсуву - це оцінка зміщення між функцією вашого зразка і тією ж функцією, що оцінюється в сукупності". Хоча те, що ви пишете, є чітко визначеним, якби це визначення, не було б способу використовувати завантажувальний інструмент для оцінки зміщення, наприклад, дисперсії вибірки як оцінювача дисперсії сукупності.

— DavidR

@DavidR Ви маєте рацію, дякую за коментар. Я оновив відповідь.

— ейнар

Мені дуже подобається цей запис! Моє єдине запитання - про "оцінку завантаженості завантаження". Я думаю, що ви написали - це фактичне зміщення оцінювача (але для емпіричного розподілу, а не для справжнього розподілу), оскільки ви очікуєте на вибірки завантажувальної програми. Я думаю, що оцінювач завантажувальної програми буде кінцевою сумою над B зразками завантажувальної програми?

— DavidR

1

@DavidR Я радий! Що я повідомляю технічно оцінка самозавантаження зміщення (бо ви використовуєте

замість &

і бутстраповского очікування

замість її очікування над

). Але в більшості практичних застосувань

є нерозв'язною , і ми апроксимувати Монте - Карло , як ви говорите.

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— ейнар

3

Ви робите одну помилку, і, можливо, це є причиною її заплутаності. Ти кажеш:

якщо мій оцінювач просто повертає константу, незалежну від спостережень, вищенаведена оцінка зміщення явно недійсна

Bootstrap полягає не в тому, наскільки ваш метод є упередженим, а в тому, наскільки ваші результати, отримані за допомогою якоїсь функції, враховуючи, що ваші дані є упередженими.

Якщо ви обрали відповідний статистичний метод для аналізу своїх даних, і всі припущення цього методу виконуються, і ви правильно зробили математику, то ваш статистичний метод повинен дати вам "найкращу" можливу оцінку, яку можна отримати за допомогою ваших даних .

Ідея завантаження даних полягає в тому, щоб вибирати з ваших даних так само, як ви відбирали ваші випадки у населення - тож це своєрідна реплікація вашої вибірки. Це дозволяє отримати приблизний розподіл (використовуючи слова Ефрона) вашої вартості і, отже, оцінити упередженість вашої оцінки.

Однак, я стверджую, що ваш приклад вводить в оману, і тому це не найкращий приклад для обговорення завантажувальної програми. Оскільки з обох сторін виникли непорозуміння, дозвольте мені оновити свою відповідь і написати її більш формально, щоб проілюструвати свою думку.

Зсув по & оцінок істинного значення & визначаються як: $\hat{\theta}$ $\theta$

bias ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

де:

{\hat{θ}}_{n} = g (x_{1}, x_{2}, . . ., x_{n})

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

де - оцінювач. $g(\cdot)$

Як зазначає Ларрі Вассерман у своїй книзі "Вся статистика" :

$\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

$x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

$\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— Тім
джерело

5

Боюся, що ця відповідь, мабуть, судилася сіяти плутанину. Постійний оцінювач - це оцінювач згідно більшості визначень - а в деяких випадках навіть допустимий. Ваше запитання плутає зміщення вибірки з ухилом оцінки, що має збивати з пантелику майже всіх читачів. Ваш абзац про "найкращу можливу оцінку" є приємним, але тут виникає важливе питання, як оцінити "найкраще". Упередженість - це лише одна складова цього (якщо взагалі є).

— whuber

Хоча я недостатньо кваліфікований, щоб відповісти на ОП, я боюся, що Вхубер отримав бал. Крім того, чи дійсно називати оцінку населення означає оцінкою? Що стосується останнього речення, я думаю, що boostrap дає оцінку упередженості оцінювача, що аналізується, а не методу вибірки.

— mugen

Я розумію, що завантажувальна програма не може виявити систематичні помилки, але принаймні в деякій межі передбачається виявити статистичне зміщення. Я гадаю, ваша думка стосується тонкості у розмежуванні двох, але це все ще мені незрозуміло. Ви, здається, говорите про поняття упередженості, про яке я ніколи не чув - не про оцінку, а про дані. Яке формальне визначення цього поняття упередженості?

— завантажений у

3

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

8

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

3

$t$

{б i а с}_{т} \approx \frac{1}{N} \sum_{i} {\tilde{т}}_{i} - т^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

Ви хочете використовувати фактичну статистику, оцінену на емпіричному розподілі (це часто просто, оскільки вихідний зразок є кінцевим набором), а не оцінка. У деяких випадках вони можуть бути однаковими (наприклад, емпіричне середнє значення те саме, що і середнє вибіркове), але вони взагалі не будуть. Ви навели один випадок, коли вони різні, але менш патологічним прикладом є звичайний неупереджений оцінювач для дисперсії, який не є тим самим, як дисперсія сукупності при застосуванні до кінцевого розподілу.

$t$

TL / DR: Метод завантаження не магічний. Щоб отримати неупереджену оцінку зміщення, потрібно вміти точно обчислювати параметр, що цікавить, на кінцевому розподілі.

— Еван Райт
джерело

1

Я не впевнений у сенсі вашої нотації. Відповідно до цих записок лекцій Піта Холла (UC Davis), ці конспекти лекцій Косма Шалізі (КМУ), а також ця сторінка книги Ефрона та Тібшірані, схоже, вказують на те, що те, що я маю, не помиляється, просто не повністю загальне (тобто я я використовую тут плагін в оцінювачі, але це не обов'язково).

— завантажений у

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$ - фактичне значення

t

$t$ про емпіричний розподіл (

t^{*}

$t^*$ ). Я думаю, що вся ваша плутанина викликана просто неохайністю у цих конспектах лекцій.

— Еван Райт

Досить справедливо, але я не думаю, що нотація вирішує проблему або не вирішує питання. Зокрема, я знаю, що константний оцінювач повинен вийти з ладу (завантажувальний пристрій не магічний). Приклад дисперсії працює, навіть якщо ми припускаємо, що це

t^{*} = \hat{t}

$t^*=\hat t$ (i.e., the bootstrap bias estimate works). What about other estimators for other statistics? What are sufficient conditions for the bootstrap bias estimate to work? How does the constant estimator violate these conditions?

— Bootstrapped

1

That's my point: this fixed version gives the right answer even for the constant estimator. Suppose you're trying to estimate the population mean, but you choose an estimator that just always guesses 0. Then

t^{*}

$t^*$ will be the actual mean of the sample, rather than 0. So as

N \to \infty

$N \to \infty$ , оцінка зміщення переходить до мінус середньої вибірки, що є розумним та очікуваним значенням, рівним справжньому зміщення.

— Еван Райт

Тоді, здається, я не зовсім розумію визначення

t^{*}

$t^*$ . Визначення в Ефроні та Тібширані (на сторінці, на яку я посилаюсь вище), мабуть, означає, що це підключення в оцінці, заснованому на емпіричному розподілі, але операційний сенс цього мені уникнув. Скажімо, у мене є деякі дані високих розмірів, які я хочу підходити до якоїсь нелінійної функції, і я хочу знати, чи є моя оцінка нелінійних параметрів функції упередженою чи ні. Що

t^{*}

$t^*$ в цьому випадку? Визначення

{\tilde{t}}_{i}

$\tilde t_i$ мені здається зрозумілим, але

t^{*}

$t^*$ туманно.

— завантажений у

0

Мені корисно подумати про процедури завантаження з точки зору функціоналу дистрибутивів, над якими вони працюють - я наводив приклад у цій відповіді на інше питання завантаження.

Оцінка, яку ви дали, така, яка вона - оцінка. Ніхто не каже, що це не страждає від проблем, які можуть мати статистичні оцінки. Це дасть вам ненульову оцінку зміщення середньої вибірки, наприклад, для якої ми всі знаємо, що це непередбачено. Одна з проблем цього оцінювача зміщення полягає в тому, що він страждає від мінливості вибірки, коли завантажувальна програма реалізовується як Монте-Карло, а не повного перерахування всіх можливих підпроборів (і все одно, що це теоретичний завантажувальний пристрій на практиці).

Таким чином, реалізація завантажувальної програми Монте-Карло не може бути виправлена, і вам доведеться використовувати іншу схему завантаження. Девісон та ін. ін. (1986) продемонстрував, як створити іншу схему завантаження, яка обмежує випадкові малюнки для отримання збалансованих вибірок: якщо ви створюєте $B$ копії завантажувача завантажуються, тоді кожен з оригінальних елементів потрібно точно використовувати $B$ разів для балансу першого порядку. (Баланс другого порядку, який працює краще для другого моменту оцінки, далі обговорюється Гремом та ін. (1990) .)

— StasK
джерело

7

Я думаю, що оригінальне питання Bootstrapped є ортогональним щодо варіабельності Монте-Карло. Навіть якщо ми візьмемо кількість реплікацій завантажувальної програми до нескінченності, формула у питанні дасть нульову оцінку для зміщення постійного оцінювача і дасть ненульову оцінку для зміщення звичайної неупередженої оцінки дисперсії.

— Еван Райт