Що відбувається зі співвідношенням ймовірності, коли збирається все більше даних?


11

Нехай f , g і h бути щільність і припустимо, що xih , iN . Що відбувається зі співвідношенням ймовірності

i=1nf(xi)g(xi)
якn? (Чи сходяться вони? До чого?)

Наприклад, ми можемо припустити h=g . Загальний випадок також представляє інтерес.



4
@ Сіань. Я думаю, що додавання цього запитання до SE дозволяє створювати з'єднання через запитання у відповіді. Незважаючи на те, що відповіді можуть бути подібними, питання у нього не однакові.
Іоанн

1
Дякуємо за посилання Питання не є дублюючим, хоча відповіді на моє запитання можуть спричинити розбіжність Куллбека-Лейблера.
Олів'є

Відповіді:


15

Якщо взяти логарифм цього продукту, і перетворює його в середнє ˉ r n=1

r=logi=1nf(xi)g(xi)=i=1nlogf(xi)g(xi)
застосовується закон великих чисел, отже, отримується майже впевнене зближення ˉ r n a.s. Eh[logf(X)
r¯n=1ni=1nlogf(xi)g(xi)
якщо цей інтеграл чітко визначений [зустрічні приклади легко підійти].
r¯na.s.Eh[logf(X)g(X)]=Xlogf(x)g(x)h(x)dx

Наприклад, якщо , г і ч є щільності для нормальних розподілів з засобом μ 1 , μ 2 , і нулю, відповідно, все з дисперсією одного, значення X лог - F ( х )fghμ1μ2 дорівнює X { ( x - μ 1 ) 2 - ( x - μ 2 2 ) }

Xlogf(x)g(x)h(x)dx
X{(xμ1)2(xμ22)}φ(x)dx=μ12μ22.

Зауважимо також, що без усереднення добуток майже напевно сходиться до нуля (колиxih(x)

i=1nf(xi)h(xi)
xih(x)). Тоді як добуток майже напевно конвергується до нуля чи нескінченності залежно від того,gчиfближче доhу сенсі дивергенції Куллбека-Лейблера (колиxih(x)
i=1nf(xi)g(xi)
gfhxih(x)).

g=h

1
f=gf=hghg=hfhfhfgghfgh

h

1
r=nrn

0

Zn=inp(x)q(x)

Wn=1nlog(Zn)=1ninlog(p(x)q(x))
limnWn=Eq(x)[log(p(x)q(x))]=Xlog(p(x)q(x))q(x)dx

log(a)<a1 a>0 a1p(x)q(x)>0p(x)q(x)

WnXlog(p(x)q(x))q(x)dx<X(p(x)q(x)1)q(x)dx=Xp(x)dxXq(x)dx=11=0
limnWn<0limn1nlog(Zn)<0limnn1nlog(Zn)=limnlog(Zn)=limnZn=0 

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.