Малювання зразків з кінцевої суміші нормальних розподілів?

Після деяких баєсівських кроків оновлення мені залишається задній розподіл форми суміші звичайних розподілів,Тобто параметр виводиться з розподілу, PDF якого подається у вигляді зваженої суміші звичайних PDF-файлів, а не є сумою нормальних RV. Я хотів би намалювати зразки щоб використовувати для наближення вибіркової важливості цю задню частину. На практиці сума над може мати велику кількість термінів, так що непрактично вибрати термін відповідно до ваг а потім намалювати

Пр (θ | дані) = \sum_{i = 1}^{к} ш_{i} N ({мк}_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . Чи є ефективний спосіб нанесення зразків із задньої частини цієї форми?

monte-carlo probability

— Кріс Гранад
джерело

Ви справді спробували метод select then кинути? Вибір може бути зроблений досить швидко з кроків O (k).

— dmckee --- кошеня колишнього модератора

Якщо рішення Баррона насправді невірно, а ви насправді маєте на увазі "модель суміші", чи можете ви використати цей термін?

— Ніл Г

Ніл G: Я не статистик з питань торгівлі, а фізик, якому іноді потрібно використовувати статистику. Як такий, я не знав відповідного терміна, щоб описати, що мені потрібно. Я можу продовжити і відредагувати це питання зараз, щоб зробити більш зрозумілим, що PDF-файли підсумовуються, а не RV.

— Кріс Гранаде

@ChrisGranade: Я не намагався зійти на тебе. Я просто хотів переконатися, що це ви мали на увазі, і запропонувати редагувати.

— Ніл G

Чому недоцільно вибирати на основі ваг та вибірки з рівномірного розподілу на , а потім вибірку ? Це лише помірно дорожче, ніж вибірка одного нормального розподілу, вартість не залежить від кількості змішаних розподілів і не покладається на те, що такі розподіли є нормальними.

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— Джед Браун

Відповіді:

В принципі, можна було попередньо вибрати кількість зразків, які слід взяти з кожного підрозділу, а потім відвідати кожен підрозділ лише один раз і отримати кількість балів.

Це є

Знайдіть випадкову множину таку, що та дотримуючись ваг. $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

Я вважаю , що це можна зробити, ~~спираючись розподілу Пуассона~~ поліноміальний розподіл (див коментарів) від середньої для кожного суб-розподілу , а потім нормалізує суму в . $w_i * n$ $n$

Робота тут $\mathcal{O}(k) * \mathcal{O}(n)$

Тоді робіть

for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])

Робота тут $\mathcal{O}(n)$

Хоча це означає, що ви не отримуєте це у випадковому порядку. Якщо потрібен випадковий порядок, ви повинні перетасувати малюнки (також великі ). $\mathcal{O}(n)$

Схоже, перший крок - це домінування в часі виконання та в тому ж порядку, що й наївний алгоритм, але якщо ви впевнені, що всі ви могли б наблизити розподіли Пуассона до нормальних розподілів і прискорити перший крок. $w_i * n \gg 1$

— dmckee --- кошеня колишнього модератора
джерело

Розподіл

є не розподілом Пуассона, якщо

є фіксованим, а біноміальним.

n_{i}

$n_i$

n

$n$

— Фредерік Гроссханс

@ FrédéricGrosshans Uhm ... ось де я визнаю свою неприємну слабкість у ймовірності. Дивлячись, я думаю, ти можеш мати рацію. У мене немає посилання на кидання довільних біноміальних розподілів, але у wikipedia є деякі посилання . Існує також взаємозв'язок між Пуассоном та Біноміалом, і я, як я стверджую, відповідав за мою невизначеність. Так, це квиток.

— dmckee --- колишнє кошеня модератора

@dmckee: Гарна відповідь для малювання із сумішальної моделі, за винятком того, що це повинен бути мультиноміальний розподіл, а не розподіл Пуассона на етапі 1.

— Ніл G

Примітка: в оригінальній версії цього питання було задано питання про "зважену суму нормальних розподілів", на яку може бути корисна наступна відповідь. Однак, після гарного обговорення цієї відповіді, відповіді @Geoff, і на самому питанні, стало зрозуміло, що питання справді полягає у вибірці "суміші нормальних розподілів", до якої ця відповідь не застосовується.

Сума нормальних розподілів - це нормальний розподіл, тож ви могли обчислити параметри цього єдиного розподілу, а потім просто намалювати з нього вибірки. Якщо називати цей розподіл то, $N(\mu_{sum},\sigma_{sum}^2)$

{мк}_{с у м} = \sum_{i = 1}^{к} ш_{i} {мк}_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{с у м}^{2} = \sum_{i = 1}^{к} ш_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— Баррон
джерело

Якщо коротко сказати, Кріс підсумовує функції щільності ймовірності, а не випадкові величини.

— Джефф Оксберрі

Кріс хоче PDF, який має (принаймні в принципі) кілька ударів у ньому. Тобто він був сумою PDF-файлів, а не PDF-сумою.

— dmckee --- кошеня колишнього модератора

Це правда, що сума нормально розподілених випадкових величин сама по собі є нормально розподіленою випадковою змінною. Однак сума нормальних розподілів не є нормальним розподілом. Отже, якщо

, то правда, що

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

, але

. (Кредит надходить до @ChrisGranade для пояснення.)

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— Джефф Оксберрі

@dmckee: це не "зважена сума нормальних розподілів", це "суміш нормальних розподілів".

— Ніл Г

Коментари @Barron не вважаються важливою частиною сторінки. Ви обов'язково слід відредагувати свою відповідь, щоб включити суть коментарів, щоб читачі, які не дивляться на коментарі, не вводили в оману.

— Девід Кетчесон

Оновлення : ця відповідь невірна, пов'язана з плутаниною в термінології (детальніше див. Ланцюжок коментарів нижче); Я залишаю це лише як орієнтир, щоб люди не репостували цю відповідь (окрім Баррона). Будь ласка, не голосуйте ні вгору, ні вниз.

$X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

$w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

Використовуючи ці два результати разом, тоді

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

Тож у цьому випадку вам потрібно буде лише витягувати зразки з одного розподілу, що має бути набагато більш простежуваним.

— Джефф Оксберрі
джерело

Це рішення іншої проблеми, яку видно з того, що оригінальний розподіл є мультимодальним, а ваша пропозиція - одномодальним.

— Кріс Феррі

@ChrisFerrie: Я вірю вам, але, виходячи з позначень, я плутаюсь, чому розподіл вище був би мультимодальним, тоді як сума двох незалежних гауссових випадкових величин не була б. Що я тут пропускаю?

— Джефф Оксберрі

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

Ах, ви переглядаєте суми PDF-файлів. Так, це зовсім інший звір. Тепер, коли я читаю питання більш уважно, я бачу, що ви говорите, і я збираюся видалити свою відповідь. Дякую!

— Джефф Оксберрі

Я скасував свою попередньо видалену відповідь лише для того, щоб служити орієнтиром для інших, щоб ніхто більше не відповідав на це запитання, як ми з Барроном. Будь ласка, більше не голосуйте за мою відповідь.

— Джефф Оксберрі