Точний відбір проб від неправильних сумішей

Припустимо, я хочу взяти вибірку з безперервного розподілу $p(x)$ . Якщо у мене є вираз $p$ у формі

p (x) = \sum_{i = 1}^{\infty} a_{i} f_{i} (x)

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

$a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

Вибірка мітки з ймовірністю $i$ $a_i$
Вибірка $X \sim f_i$

Чи можливо узагальнити цю процедуру, якщо періодично є негативними? Я підозрюю, що бачив це десь - можливо, в книзі, можливо, для розповсюдження Колмогорова - тому я був би абсолютно радий прийняти посилання як відповідь. $a_i$

Якщо конкретний приклад іграшки корисний, скажімо, я хотів би взяти зразок із Я тоді прийміть з технічних причин, які не повинні мати великого значення в загальній схемі речей.

p (x, y) \propto \exp (- x - y - α \sqrt{x y}) x, y > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$

α \in (0, 2)

$\alpha \in (0, 2)$

В принципі, я міг би розширити це на наступну суму:

p (x, y) \propto \sum_{n = 0}^{\infty} \frac{(- 1)^{n} α^{n} (\frac{n}{2})! (\frac{n}{2})!}{n!} (\frac{x^{n / 2} e^{- x}}{(\frac{n}{2})!}) (\frac{y^{n / 2} e^{- y}}{(\frac{n}{2})!}) .

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

Умови всередині суми можуть бути незалежно відібрані з випадкових величин Gamma. Моє питання, очевидно, що коефіцієнти "періодично" є негативними. $(x,y)$

Редагувати 1 : Я уточнюю, що я прагну генерувати точні зразки з , а не обчислювати очікування під . Для зацікавлених в коментарях згадуються деякі процедури для цього. $p$ $p$

Редагування 2 : Я знайшов посилання, яке включає конкретний підхід до цієї проблеми, у «Неоднорідному поколінні випадкових змінних» Devroye . Алгоритм - "Примітка про вибірку з комбінацій розподілів", Бігнамі та де Маттейса . Метод ефективно обмежувати щільність зверху позитивними показниками суми, а потім використовувати вибірку відхилення на основі цієї оболонки. Це відповідає методу, описаному у відповіді @ Xi'an.

— πr8
джерело

Чому ви не можете зробити вибірку, просто скориставшись абсолютною величиною та відкинувши свій зразок ? Іншими словами, визначте(За умови , що це кінцева), а потім перенормировать вашу суму на .

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

— Алекс Р.

@AlexR. Якщо я вас зрозумів, версія цього варіанту була б практичною для обчислення очікувань під , але все ж не для складання точних зразків з . Звичайно, це відповідь на відповідну проблему, хоча і не зовсім те, що я шукаю.

p

$p$

p

$p$

— πr8

Це залежить від того, що ви маєте намір зробити з цим зразком. Наприклад, для обчислення моментів, наприклад, представляється простим узагальнення вибірки із сумішей густин шляхом додаткового позначення будь-якої точки, вибраної з компонента з негативним коефіцієнтом, як "негативної" точки, і зважування її внеску негативно в оцінці моменту. Так само ви можете побудувати KDE з такими негативними вагами, за умови, що ви можете прийняти можливість того, що деякі його значення будуть негативними! (cc @ Xi'an)

— whuber

Що таке "точний" зразок розподілу? Знову ж, чи можна і як використовувати суміш з негативними вагами, зводиться до того, як ви маєте намір використовувати зразок.

— whuber

Це не відповідає на ваше запитання, але вам може бути цікаво почитати про вибірку з ймовірностей журналу stats.stackexchange.com/a/260248/35989

— Тим

Відповіді:

Я спантеличив це питання, але так і не прийшов із задоволенням.

Одне властивість, яка може бути використана, полягає в тому, що якщо щільність пише де - a щільність така, що , імітуючи з і відкидаючи ці симуляції з вірогідністю доставляє симуляції з . У поточному випадку - нормалізована версія позитивних вагових компонентів та - залишок

f (x) = \frac{g (x) - ω h (x)}{1 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{i} < 0} α_{i} f_{i} (x) / \sum_{α_{i} < 0} α_{i}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$ Це дійсно знайдено в імітаційній біблії Devroye, Нерівномірне генерування випадкових змінних, Розділ II.7.4, але випливає з простого міркування прийняття-відхилення.

Перший обчислювальний недолік цього підходу полягає в тому, що, незважаючи на спочатку моделювання з обраного компонента , суми в та повинні бути обчислені для етапу відхилення. Якщо суми нескінченні, не мають закритої форми, це робить метод прийняття-відхилення неможливим у застосуванні . $f_i$ $g$ $h$

Друга складність полягає в тому, що обидві суми ваг однакового порядку коефіцієнт відхиленняне має верхньої межі. Насправді, якщо ряд, пов'язаний із , абсолютно не збігається, ймовірність прийняття дорівнює нулю! І метод не може бути реалізований у цій ситуації.

\sum_{α_{i} > 0} α_{i} = 1 - \sum_{α_{i} < 0} α_{i}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1 - ϱ^{accept} = \sum_{α_{i} < 0} | α_{i} | / \sum_{i} | α_{i} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$

У випадку подання суміші, якщо можна записати як спочатку можна вибрати компонент, а потім метод, застосований до компонента. Але це може бути делікатним для здійснення, ідентифікуючи пари які відповідають можливо, нескінченна сума не обов'язково здійснна. $f$

f (x) = \sum_{i = 1}^{\infty} α_{i} \frac{g_{i} (x) - ω_{i} h (x_{i})}{1 - ω_{i}} ω_{i} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$

Я думаю, що більш ефективна резолюція могла б бути результатом самого представлення серії. Devroye, Нерівномірне генерування випадкових змінних , Розділ IV.5, містить великий діапазон серійних методів. Наприклад, наступний алгоритм подання альтернативного ряду цілі коли ' s сходиться до нуля з і - щільність:

f (x) = κ h (x) {1 - a_{1} (x) + a_{2} (x) - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

Проблема була розглянута останнім часом в контексті ухильних упереджених оцінок для MCMC, як, наприклад, у підході Глін-Ре . І російський оцінювач рулетки (зі зв’язком із фабричною проблемою Бернуллі). І неупереджена методологія MCMC . Але виходу із знакового питання не вдається ... Це робить його використання складним при оцінці щільності, як у псевдо граничних методах.

Подальшу думку, мій висновок полягає в тому, що не існує загального методу для створення фактичного моделювання з цієї серії [, а не суміші, яка виявляється помилкою], не нав'язуючи далі структури> елементам ряду, як у вищевказаний алгоритм з біблії Devroye . Дійсно, оскільки більшість (?) Густин дозволяють здійснити серійне розширення типу вище, це в іншому випадку означатиме існування свого роду універсальної імітаційної машини ...

— Сіань
джерело

Дякую! Я також ціную додаткові посилання.

— πr8

Додаткова подяка за дуже ретельний відгук та посилання. Я радий прийняти цю відповідь, оскільки їй вдається генерувати точні зразки з за як кінцевий час. Я, мабуть, продовжуватиму думати про проблему певною мірою; єдина додаткова ідея, яка мені здається перспективною, - розглянути вибірку з як вибірку , що залежить від , і що може бути геометричне розуміння, яке корисно для цієї характеристики (я думаю, як пробовідбірник фрагментів на ). Ура!

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

— πr8

Я пояснив умовний пробовідбірник досить погано; характеристика на основі набору трохи чіткіша (на мою думку). Мій ключовий момент полягає в тому, що якщо ви можете вибірити рівномірно з двовимірного набору в остаточному рядку, то випливає, що -координат має правильний розподіл. Чи може ця характеристика бути корисною для більш тривалих неналежних сумішей на основі сум.

(x, y)

$(x,y)$

x

$x$

— πr8

Я також думав про пробовідбірник шматочків, але це не «точно» в сенсі імітації.

— Сіань

У мене є проект ідеї, яка могла б спрацювати. Це не точно , але, сподіваємось, асимптотично точно. Щоб перетворити це на дійсно суворий метод, де наближення контролюється, або щось про нього можна довести, певно потрібно багато роботи.

По-перше, як згадував Сіань, ви можете згрупувати позитивні ваги з одного боку і негативні ваги з іншого, так що, нарешті, проблема має лише два розподіли і : $g$ $h$

p = λ g - μ h

$p=\lambda g - \mu h$

з . Зауважте, що у вас є . $\lambda-\mu=1$ $\lambda\geq 1$

Моя ідея така. Ви хочете зразок спостережень із . Зробіть: $N$ $p$

зразок значень з та збережіть їх у списку $\lambda N$ $g$
для кожного з значень, відібраних з , видаліть зі списку їх найближчого (залишився) сусіда. $\mu N$ $h$

В кінці ви отримуєте балів. Не потрібно бути саме найближчим сусідом, а просто пунктом, який є "досить близьким". Перший крок - це як генерування матерії. Другий крок - це як створення антиматерії, і нехай вона стикається і скасовується з матерією. Цей метод не є точним, але я вважаю, що за деяких умов він є асимптотично точним для великих (щоб зробити його майже точним для малого потрібно спочатку скористатися великим а потім взяти невелику випадкову частину остаточного списку) . Я наводжу дуже неформальний аргумент, який є більше поясненням, ніж доказом. $(\lambda-\mu)N=N$ $N$ $n$ $N$

Розглянемо у просторі спостереження та невеликий об'єм навколо із об'ємом Лебега $x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$ . Для цього потрібно припустити, що кількість точок в томі достатньо велика.

$g$ $h$

Примітка про точний метод:

$g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ $q$ $\lambda p$ $p$ $\lambda>1$

— Бенуа Санчес
джерело

Я розглядав це, але відкидав це, оскільки мої початкові зусилля, щоб продемонструвати це, могли б спрацювати, призвели до усвідомлення того, що воно, в кращому випадку, буде наближеним і, можливо, поганим. Так, асимптотично це може працювати, але воно не задовольнить запит ОП на "точний" вибірку з розподілу.

— whuber

Ефективність цього методу точно в тому ж порядку, що і точний метод прийняття-відхилення.

— Сіань

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

@BenoitSanchez Дякую за вашу глибоку відповідь; Я особливо ціную коментарі наприкінці про (потенційну) неможливість точності. У минулому я стикався з заводами Бернуллі і вважав їх досить складними; Я спробую переглянути тему і побачити, чи вона дає якусь думку.

— πr8