Наскільки добре завантажувальна оцінка наближає розподіл вибірки оцінювача?

Нещодавно вивчивши завантажувальний тренажер, я придумав концептуальне питання, яке все ще мене спантеличує:

У вас населення, і ви хочете знати атрибут популяції, тобто , де я використовую для представлення населення. Наприклад, ця може бути середньою кількістю населення. Зазвичай ви не можете отримати всі дані від населення. Отже, ви намалюєте зразок розміру з сукупності. Припустимо, у вас є зразок iid для простоти. Тоді ви отримуєте свій оцінювач . Ви хочете використовувати щоб робити висновки про , тож ви хочете знати мінливість . $\theta=g(P)$ $P$ $\theta$ $X$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\theta$ $\hat{\theta}$

По-перше, існує справжній розподіл вибірки . Концептуально ви можете взяти багато зразків (кожен з них має розмір ) з сукупності. Кожен раз, коли у вас буде реалізація оскільки кожен раз ви матимете інший зразок. Зрештою, ви зможете відновити справжній розподіл . Гаразд, це принаймні концептуальний орієнтир для оцінки розподілу . Дозвольте повторити: кінцева мета полягає у використанні різних методів для оцінки або наближення справжнього розподілу . $\hat{\theta}$ $N$ $\hat{\theta}=g(X)$ $\hat{\theta}$ $\hat{\theta}$ $\hat{\theta}$

Тепер тут виникає питання. Зазвичай у вас є лише один зразок який містить точок даних. Потім ви багато разів перепробовуєте цей зразок, і вам придумають розповсюдження завантаження . Моє запитання: наскільки близький цей розподіл завантажувальної машини до справжнього розподілу вибірки ? Чи існує спосіб її кількісної оцінки? $X$ $N$ $\hat{\theta}$ $\hat{\theta}$

bootstrap simulation resampling

— КевінКім
джерело

Це дуже пов’язане питання містить безліч додаткової інформації, щоб зробити це питання, можливо, повторюваним.

— Сіань

По-перше, дякую всім за відповідь на мої запитання. Це перший раз, коли я використовую цей веб-сайт. Я ніколи не очікував, що моє запитання чесно приверне увагу когось. У мене тут невелике запитання, що таке "OP"? @ Silverfish

— KevinKim

@Chen Jin: "OP" = оригінальний плакат (тобто ви!). Вибачення за використання абревіатури, яке я приймаю, є потенційно заплутаним.

— Срібляста рибка

Я редагував назву так , щоб він більш точно відповідає Вашому твердженням , що «Моє питання: як близько це до істинного розподілу &

? Чи є спосіб , щоб кількісно оцінити це?» Не соромтеся повернути його, якщо ви не вважаєте, що моя редакція відображає ваш намір.

\hat{θ}

$\hat\theta$

— Срібна рибка

@Silverfish Дякую вам велике Коли я починаю цей плакат, я не зовсім впевнений у своєму питанні. Цей новий титул хороший.

— KevinKim

Відповіді:

В інформаційній теорії типовим способом кількісного визначення того, як "закрити" один розподіл до іншого, є використання KL-дивергенції

Спробуємо проілюструвати це за допомогою сильно перекошеного набору даних з довгим хвостом - затримок прибуття літака в аеропорт Х'юстона (з пакету hflight ). Нехай буде середня оцінка. По- перше, ми знаходимо розподіл дискретизації & , а потім розподіл початкового завантаження & $\hat \theta$ $\hat \theta$ $\hat \theta$

Ось набір даних:

введіть тут опис зображення

Справжня середня величина - 7,09 хв.

По- перше, ми робимо певну кількість зразків , щоб отримати розподіл вибірки & , то ми беремо одну вибірку і взяти багато зразків початкового завантаження з нього. $\hat \theta$

Наприклад, давайте розглянемо два розподіли з розміром вибірки 100 та 5000 повторень. Ми візуально бачимо, що ці розподіли є досить відокремленими, а розбіжність KL становить 0,48.

введіть тут опис зображення

Але коли ми збільшуємо розмір вибірки до 1000, вони починають збігатися (розбіжність KL становить 0,11)

введіть тут опис зображення

А коли розмір вибірки становить 5000, вони дуже близькі (розбіжність KL становить 0,01)

введіть тут опис зображення

Це, звичайно, залежить від того , самозавантаження зразка ви отримаєте, але я вірю , що ви можете побачити , що дивергенція KL йде вниз по мірі збільшення розміру вибірки, і , таким чином , самозавантаження розподіл & наближається зразок розподілу & з точки зору KL дивергенції. Щоб бути впевненим, ви можете спробувати зробити кілька завантажувальних програм і взяти середній показник розбіжності KL. $\hat \theta$ $\hat \theta$

Ось R-код цього експерименту: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794

— Олексій Григорьов
джерело

+1, і це також показує, що для будь-якого розміру вибірки (наприклад, 100) зміщення завантажувального кроку може бути великим і неминучим.

— Амеба каже, що повернеться до Моніки

Цей дивовижний! Тому для того , щоб дозволити розподіл &

від початкового завантаження близька до істинного розподілу &

, ми повинні великий розмір вибірки

право? Для будь-якого фіксованого розміру вибірки, розподіл, створений з завантажувальної стрічки, може сильно відрізнятися від розподілу TRUE, як згадував @amoeba.

\hat{θ}

$\hat{\theta}$

\hat{θ}

$\hat{\theta}$

N

$N$

— КевінКім

Наступне моє запитання: Якщо я виправив

досить великий, тоді я зробив 2 завантажувальні програми, один просто перепробову

разів, а інший повторний вибір

. У чому різниця між розподілом

, що виходять з цих 2 бутстрепов? Це питання, по суті , запитуючи , коли ми фіксуємо

, що роль , яку відіграє

у формуванні розподілу &

. @Grigorev

N

$N$

B = 10

$B=10$

B = 10000

$B=10000$

\hat{θ}

$\hat{\theta}$

N

$N$

B

$B$

\hat{θ}

$\hat{\theta}$

— KevinKim

@Chen, але розподіл по &

є те , що ви отримуєте, роблячи передіскретізірует, НЕ так? Тож різниця між

полягає в тому, що в одному випадку ви отримуєте

чисел для побудови розподілу (не так багато інформації

не дуже достовірна оцінка його стандартного відхилення), а в іншому випадку ви отримуєте

чисел (набагато більше надійний).

\hat{θ}

$\hat \theta$

B = 10

$B=10$

B = 10000

$B=10000$

10

$10$

\Rightarrow

$\Rightarrow$

10000

$10000$

— амеба каже, що повернеться до Моніки

@ Чень, я думаю, ви або трохи заплутані, або не дуже зрозуміли, що

у вашому коментарі. Якщо ви повторно впорядкуєте

разів, ви отримаєте набір з

чисел. Як це розподіл? Це набір чисел! Ці цифри походять від того, що ви назвали розподілом

Чим більше число, тим краще ви можете оцінити

F_{5}

$F_5$

5

$5$

5

$5$

F_{B}

$F_B$

F_{B}

$F_B$

— амеба каже, що повернеться до Моніки

Бутстрап грунтується на збіжність емпіричної CDF до істинного ВВР, тобто сходиться(в прямує до нескінченності)до для кожного . Отжезбіжність розподілу самозавантаження по наводитьсярухдопомогою цієї збіжностіяке відбувається зі швидкістю

{\hat{Ж}}_{н} (х) = \frac{1}{н} \sum_{i = 1}^{н} Я_{Х_{i} \leq х} Х_{i} \overset{iid}{\sim} Ж (х)

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$ $n$

F (x)

$F(x)$

x

$x$

\hat{θ} (X_{1}, \dots, X_{n}) = g ({\hat{F}}_{n})

$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$

длякожного

, оскільки

\sqrt{n}

$\sqrt{n}$

x

$x$

навіть якщо такий швидкості і обмеження розподіл неавтоматично передавати

. На практиці для оцінки варіабельності наближення, ви можете зробити оцінку початкового завантаження розподілу

\sqrt{н} {{\hat{Ж}}_{н} (х) - Ж (х)} \overset{dist}{⟶} N (0, Ж (х) [1 - Ж (х)])

$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

шляхом подвійного завантаження, тобто шляхом оцінки завантаження програми завантаження.

g ({\hat{F}}_{n})

$g(\hat{F}_n)$

В якості оновлення, тут є використання I ілюстрації в класі: введіть тут опис зображення де Л.Ш. порівнює справжнє CDF з емпіричним кором для спостережень і ГРЗ ділянок копій LHS, на 250 різних зразки, для тогодля вимірювання змінності наближення cdf. У прикладі я знаю правду, а тому можу імітувати з правди оцінку мінливості. В реальній ситуації, я не знаю іотжея повинен почати з замістьщоб зробити подібний графік. $F$ $\hat{F}_n$ $n=100$ $250$ $F$ $\hat{F}_n$

Подальше оновлення: Ось як виглядає картина на трубці, починаючи з емпіричного cdf: введіть тут опис зображення

— Сіань
джерело

Суть цієї відповіді полягає в тому, що завантажувальний механізм працює, тому що це наближення великої вибірки . Я не думаю, що цей пункт наголошений досить

— shadowtalker

Я маю на увазі, "підкреслюється досить часто взагалі"

— shadowtalker

\hat{F}

$\hat{F}$

n = 100

$n=100$

F

$F$

n

$n$

F

$F$

@ Xi'an Дуже приємно! було б навіть приємніше, якщо 2-ю та 3-ю фігури можна поєднати разом в одній фігурі

— КевінКім