Чи існує байєсівський підхід до оцінки щільності

Я зацікавлений , щоб оцінити щільність безперервної випадкової величини $X$ . Один із способів цього, який я дізнався, - це використання оцінки щільності ядра.

Але зараз мене цікавить байєсівський підхід, що йде в наступних напрямках. Спочатку я вважаю , що $X$ слід розподіл $F$ . Я приймаю $n$ свідчення $X$ . Чи є якийсь підхід до оновлення $F$ заснований на моїх нових читаннях?

Я знаю, що це звучить так, що я суперечую собі: якщо я вірю виключно у як мій попередній розподіл, то жодні дані не повинні переконувати мене в іншому. Однак припустимо, що F були U n i f [ 0 , 1 ], і мої дані були такими, як ( 0,3 , 0,5 , 0,9 , 1,7 ) . Побачивши 1.7 , я, очевидно, не можу дотримуватися свого попереднього, але як слід оновити його?$F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

Оновлення: На підставі пропозицій у коментарях я почав розглядати процес Діріхле. Дозвольте мені використовувати наступні позначення:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Після постановки моєї оригінальної проблеми цією мовою, я думаю, мене цікавить таке: . Як це зробити?$\theta_{n+1} | x_1,...,x_n$

У цьому наборі приміток (стор. 2) автор зробив приклад (Схема Поля Урни). Я не впевнений, чи це актуально.$\theta_{n+1} | \theta_1,...,\theta_n$

Оновлення 2: Я також хочу запитати (побачивши замітки): як люди обирають для DP? Це здається випадковим вибором. Крім того, як люди обирають попередній Н для DP? Чи повинен я просто використовувати пріоритет для θ як мій попередній для H ?$\alpha$$H$$\theta$$H$

Оскільки ви хочете байєсівський підхід, вам потрібно припустити деякі попередні знання про те, що ви хочете оцінити. Це буде у формі розподілу.

Тепер проблема полягає в тому, що це зараз розподіл по дистрибутивам. Однак це не є проблемою, якщо припустити, що кандидатські розподіли походять з якогось параметризованого класу розподілів.

Наприклад, якщо ви хочете припустити, що дані розподіляються з гауссом з невідомою середньою, але відомою дисперсією, то все, що вам потрібно, - це пріоритет над середнім.

Оцінка MAP невідомого параметра (називайте його ) може продовжуватися, припускаючи, що всі точки спостережень / даних умовно незалежні від даного невідомого параметра. Тоді, оцінка ПДЧ є$\theta$

,$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$

де

.$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$

Слід зазначити, що існують особливі комбінації попередньої ймовірності та кандидатських розподілів Pr [ x | θ ], які призводять до легкого (закритого вигляду) оновлення, оскільки отримується більше точок даних.$\text{Pr}[\theta]$$\text{Pr}[x | \theta]$

Для оцінки щільності те, що вам потрібно, не є

.$\theta_{n+1}|x_{1},\ldots,x_{n}$

$\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$

Вибірка з наведеного розподілу може бути здійснена або за допомогою умовних методів, або з граничними методами. Для умовних методів погляньте на документ Стівена Уокера [1]. Для граничних методів слід перевірити документ Radford Neal [2].

$\alpha$$\alpha$$\alpha$$\alpha$

[1] SG, Walker (2006). Відбір проби суміші Діріхле з шматочками. Комунікації в статистиці (моделювання та обчислення).

[2] Р.М., Ніл (2000) Методи ланцюга Маркова Монте-Карло для моделей сумішей Процесу Діріхле. Журнал обчислювальної та графічної статистики. Випуск 9, № 2, с. 249-265

[3] М., Захід (1992). Оцінка гіперпараметрів у моделях технологічних сумішей Діріхле. Технічний звіт

Чи є якийсь підхід до оновлення F, заснований на моїх нових читаннях?

Існує щось саме для цього. Це майже головна ідея байєсівського висновку.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

$p(\theta)$$F$$p(y|\theta)$$\theta$

$p(\theta)$