Співвідношення ймовірностей та відношення PDF-файлів

Я використовую Байєса для вирішення проблеми кластеризації. Після деяких обчислень я закінчую необхідність отримати співвідношення двох ймовірностей:

P (A) / P (B)

$P(A)/P(B)$

мати можливість отримати . Ці ймовірності отримуються шляхом інтеграції двох різних двовимірних KDE, як пояснено у цій відповіді : $P(H|D)$

P (A) = \iint_{x, y : \hat{f} (x, y) < \hat{f} (r_{a}, s_{a})} \hat{f} (x, y) d x d y

$P(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} \hat{f}(x,y)\,dx\,dy$

P (B) = \iint_{x, y : \hat{g} (x, y) < \hat{g} (r_{b}, s_{b})} \hat{g} (x, y) d x d y

$P(B) = \iint_{x, y : \hat{g}(x, y) < \hat{g}(r_b, s_b)} \hat{g}(x,y)\,dx\,dy$

де $\hat{f}(x, y)$ і $\hat{g}(x, y)$ - KDE, і інтеграція виконується для всіх точок нижче порогів $\hat{f}(r_a, s_a)$ та $\hat{g}(r_b, s_b)$ . Обидва KDE використовують ядро Гаусса . Репрезентативне зображення KDE, подібне до тих, з якими я працюю, можна побачити тут: Інтеграція оцінювача щільності ядра в 2D .

Я обчислюю KDE за допомогою pythonфункції stats.gaussian_kde , тому припускаю наступну загальну форму для неї:

K D E (x, y) = \frac{1}{n} \sum_{i = 1}^{n} - \frac{1}{2 h^{2}} e^{- \frac{(x - x_{i})^{2} + (y - y_{i})^{2}}{2 h^{2}}}

$KDE(x,y) = \frac{1}{n} \sum_{i=1}^{n} -\frac{1}{2h^2} e^{-\frac{(x-x_i)^2 + (y-y_i)^2}{2h^2}}$

де nдовжина мого масиву точок і hчи використовується пропускна здатність.

Інтеграли, наведені вище, обчислюються за допомогою процесу Монте-Карло, який досить обчислювально дорогий. Я десь читав (забув, де, вибачте), що у подібних випадках можна замінити відношення ймовірностей відношенням PDF-файлів (KDE), оцінених у порогових точках, щоб отримати однаково достовірні результати. Мене це цікавить, оскільки обчислення коефіцієнта KDE на порядок швидше, ніж обчислення відношення інтегралів з MC.

Тож питання зводиться до обгрунтованості цього виразу:

\frac{P (A)}{P (B)} = \frac{\hat{f} (r_{a}, s_{a})}{\hat{g} (r_{b}, s_{b})}

$\frac{P(A)}{P(B)} = \frac{\hat{f}(r_a, s_a)}{\hat{g}(r_b, s_b)}$

За яких обставин, якщо такі є, чи можу я сказати, що це відношення вірно?

[фіксована помилка (EDIT)]

Додати :

Ось в основному те саме питання, але зроблене в більш математичній формі.

— Габріель
джерело

Зауважимо, що існування відповідних забезпечується середньозначною теоремою для інтегралів.

r_{a, b}, s_{a, b}

$r_{a,b}, s_{a,b}$

— Дейв

Я вважаю, що коефіцієнт Міллса може бути актуальним.

— whuber

@whuber це співвідношення, мабуть, вимагає, щоб я знав, значення P(X)якого я намагаюся уникати обчислення. Чи можете ви трохи розширити відповідність цього параметра?

— Габріель

KDE - це суміш звичайних розподілів. Давайте розглянемо одну з них.

Визначення і показують, що їх значення є інваріантними під час перекладу та масштабування в площині, тому досить врахувати стандартний нормальний розподіл з PDF . Нерівність $P(A)$ $P(B)$ $f$

f (x, y) \leq f (r, s)

$f(x,y) \le f(r,s)$

еквівалентно

x^{2} + y^{2} \geq r^{2} + s^{2} .

$x^2 + y^2 \ge r^2 + s^2.$

Введення полярних координат дозволяє переписати інтеграл $\rho, \theta$

P (r, s) = \frac{1}{2 π} \int_{0}^{2 π} \int_{\sqrt{r^{2} + s^{2}}}^{\infty} ρ \exp (- ρ^{2} / 2) d ρ d θ = \exp (- (r^{2} + s^{2}) / 2) = 2 π f (r, s) .

$P(r,s) = \frac{1}{2\pi}\int_0^{2\pi}\int_\sqrt{r^2+s^2}^\infty \rho \exp(-\rho^2/2) d\rho d\theta= \exp(-(r^2+s^2)/2) = 2\pi f(r,s).$

Тепер розглянемо суміш. Оскільки це лінійно,

\begin{aligned} P (r, s) & = \frac{1}{n} \sum_{i} 2 π f ((r - x_{i}) / h, (s - y_{i}) / h) \\ = 2 π h^{2} (\frac{1}{n} \sum_{i} \frac{1}{h^{2}} f ((r - x_{i}) / h, (s - y_{i}) / h)) \\ = 2 π h^{2} K D E (r, s) . \end{aligned}

$\eqalign{ P(r,s) &= \frac{1}{n}\sum_i 2\pi f((r-x_i)/h, (s-y_i)/h) \\ &= 2\pi h^2\left(\frac{1}{n}\sum_i \frac{1}{h^2} f((r-x_i)/h, (s-y_i)/h)\right) \\ &=2\pi h^2 KDE(r,s). }$

Дійсно, і пропорційні. Постійна пропорційності дорівнює . $f$ $P$ $2\pi h^2$

Що таке співвідношення пропорційності між і є особливим, $P$ $f$ можна оцінити, розглядаючи простий контрприклад. Нехай має рівномірний розподіл на вимірюваному наборі одиниці площі, а має рівномірний розподіл на вимірюваному наборі що не відходить від і має площу . Тоді суміш з PDF має постійне значення на , на , а в іншому місці дорівнює нулю. Три випадки слід розглядати: $f_1$ $A_1$ $f_2$ $A_2$ $A_1$ $\mu\gt 1$ $f=f_1/2 + f_2/2$ $1/2$ $A_1$ $1/(2\mu)$ $A_2$

$(r,s)\in A_1$ . Тут досягає свого максимуму, звідки . Співвідношення . $f(r,s)=1/2$ $P(r,s)=1$ $f(r,s)/P(r,s) = 1/2$
$(r,s)\in A_2$ . Тут суворо менше але більше . Таким чином, область інтеграції є доповненням і отриманий інтеграл повинен дорівнювати . Співвідношення . $f(r,s)$ $1/2$ $0$ $A_1$ $1/2$ $f(r,s)/P(r,s) = (1/(2\mu))/(1/2) = 1/\mu$
В іншому випадку дорівнює нулю, а інтеграл дорівнює нулю. $f$ $P$

Очевидно, що коефіцієнт (де він визначений) не є постійним і коливається між та . Хоча цей розподіл не є безперервним, його можна зробити, додавши до нього нормальний розподіл. Зробивши обидві власні значення малі, це дуже мало змінить розподіл і дасть якісні однакові результати - лише тепер значення співвідношення будуть включати всі числа в інтервалі . $1$ $1/\mu \ne 1$ $(0,\Sigma)$ $\Sigma$ $f/P$ $[1,1/\mu]$

Цей результат також не узагальнює інших вимірів. По суті той же розрахунок, який розпочав цю відповідь, показує, що - неповна Гамма-функція, і це явно не те саме, що . Те, що два виміри є особливими, можна помітити, зазначивши, що інтеграція в по суті стосується відстаней, і коли вони нормально розподілені, функція відстані має - це експоненціальне розподіл. Експоненціальна функція унікальна тим, що вона пропорційна власній похідній - тому інтеграл і інтеграл повинні бути пропорційними. $P$ $f$ $P$ $\chi^2(2)$ $f$ $P$

— дзижчати
джерело

Це неймовірно відповідь шум, дуже дякую. Мені знадобиться деякий час, щоб повністю обробити все, що ви написали тут, але я повністю довіряю вам розрахунки, це означає, що я позначив питання вирішеним. Ура.

— Габріель