Чи можна використовувати ітерації MCMC після опіку для оцінки щільності?

Чи можемо ми після використання запису безпосередньо використовувати ітерації MCMC для оцінки щільності, наприклад, шляхом побудови гістограми чи оцінки щільності ядра? Мене турбує те, що ітерації MCMC не обов'язково є незалежними, хоча вони максимум однаково розподілені.

Що робити, якщо ми додатково застосуємо проріджування до ітерацій MCMC? Мене хвилює те, що ітерації MCMC є в більшості випадків некорельованими та ще не незалежними.

Основа, яку я дізнався для використання емпіричної функції розподілу як оцінки справжньої функції розподілу, ґрунтується на теоремі Глівенко – Кантеллі , де емпірична функція розподілу обчислюється на основі вибірки іid. Здається, я бачу деякі підстави (асимптотичні результати?) Для використання гістограм або оцінок щільності ядра як оцінок щільності, але я не можу їх згадати.

distributions mcmc asymptotics

— Тім
джерело

Відповіді:

Ви можете - і люди самі - оцінюєте щільність за допомогою відбору проб MCMC.

Потрібно пам’ятати, що хоча гістограми та KDE зручні, принаймні у простих випадках (наприклад, вибірки Гіббса), можуть бути доступні набагато ефективніші оцінки щільності.

Якщо ми розглянемо вибірку Гіббса, зокрема, умовна щільність, з якої ви відбираєте вибірку, може бути використана замість самого значення вибірки при формуванні усередненої оцінки щільності. Результат має тенденцію бути досить рівним.

Підхід обговорюється в

Гелфанд і Сміт (1990), "Підбір на основі вибірки підрахунків граничних щільностей",
журнал Американської статистичної асоціації , Vol. 85, № 410, с. 398-409

(хоча Гейєр застерігає, що якщо залежність вибірки досить висока, це не завжди зменшує дисперсію і дає умови для цього)

Цей підхід також обговорюється, наприклад, у Robert, CP and Casella, G. (1999) Monte Carlo статистичні методи .

Вам не потрібна незалежність, ви насправді обчислюєте середнє значення. Якщо ви хочете обчислити стандартну помилку оцінки щільності (або cdf), то вам доведеться враховувати залежність.

Це ж поняття стосується, звичайно, інших очікувань, і тому його можна використовувати для покращення оцінок багатьох інших видів середнього рівня.

— Glen_b -Встановити Моніку
джерело

Дякую! Ви маєте на увазі, що оскільки граничні розподіли - це очікування від спільного розподілу, не має значення використовувати корельовані ітерації MCMC для оцінки граничних розподілів? Що робити, якщо використовувати відповідні ітерації для оцінки спільного розподілу? Ще гаразд?

— Тім

Ні, це я маю на увазі. Я маю на увазі, що оцінювачі, з якими ми маємо справу, - це середні показники, і вони використовуються для оцінки кількості населення, яка може бути розтлумачена по черзі як очікування цих речей. Так, ви можете використовувати залежні малюнки для оцінки спільного розподілу в тому ж сенсі.

— Glen_b -Встановіть Моніку

Чому ми можемо використовувати відповідні ітерації для оцінки спільного розподілу? Я думаю, що ні, тому що спільний розподіл - це не очікування чогось. Зауважимо, що в теоремі Глівенко – Кантеллі емпіричний cdf обчислюється на вибірці iid.

— Тим

Для щільності ви можете розглянути щось на зразок оціночної вибірки, описаної тут, наприклад (і може розглядатися як межа гістограми зі все більш вузькими бункерами); це середній показник, і я вважаю, що його очікування - це щільність. Стосовно cdf ви можете подумати, чи можете ви зробити щось із емпіричним cdf, щоб зробити його у формі середнього. Обидві ідеї, здається, працюють із зразками спільного розповсюдження.

— Glen_b -Встановіть Моніку

Резюме

Ви можете безпосередньо використовувати ітерації MCMC для чого завгодно, тому що середнє значення спостережуваних даних буде асимптотично наближатися до справжнього значення (тому що ви після закінчення спалювання).

Однак майте на увазі, що на дисперсію цього середнього впливають кореляції між зразками. Це означає, що якщо вибірки співвідносяться, як це прийнято в MCMC, зберігання кожного вимірювання не принесе реальної переваги.

Теоретично вам слід вимірювати після N кроків, де N є порядком часу автокореляції спостережуваного, який ви вимірюєте.

Детальне пояснення

$x_t$ $t$ $f$

$x_t \in \mathbb{R}$ $f=f_a(x)$ $x\in[a,a+\Delta]$ $x_t$ $P(x)$

$f$

F = \frac{1}{N} \sum_{i = 1}^{N} f (x_{i})

$F = \frac{1}{N}\sum_{i=1}^N f(x_i)$

$\langle F\rangle$ $P(x)$

⟨ F ⟩ = \frac{1}{N} \sum_{i = 1}^{N} ⟨ f (x_{i}) ⟩ = ⟨ f (x) ⟩

$\langle F \rangle = \frac{1}{N}\sum_{i=1}^N \langle f(x_i)\rangle = \langle f(x)\rangle$

що саме ви хочете отримати.

$\langle F^2 \rangle - \langle F \rangle^2$

\sum_{i = 1}^{N} \sum_{j = 1}^{N} ⟨ f (x_{i}) f (x_{j}) ⟩

$\sum_{i=1}^N\sum_{j=1}^N \langle f(x_i)f(x_j)\rangle$

$x_t$ $j=i+\Delta$ $f$ $R(\Delta)$

Отже, резюмувати:

Якщо обчислювально нічого не коштує зберігати кожен захід, ви можете це зробити, але майте на увазі, що дисперсію неможливо обчислити за звичайною формулою.
$\tau$ $\tau$

— Хорхе Лейтао
джерело

\sqrt{n}

$\sqrt n$

Стоншення - це лише витрата корисних даних. Це не зменшує дисперсію оцінки. Дивіться коментарі до цього питання: stats.stackexchange.com/a/258529/58675

— DeltaIV

@DeltaIV, так. Моя думка тут полягала в тому, що витончення чи ні, відповідний масштаб часу все ще залишається часом автокореляції.

— Хорхе Лейтао