Коли теорема про центральну межу і закон великих чисел не розходяться


19

Це, по суті, реплікація питання, яке я знайшов на math.se , на яке не було отримано відповідей, на які я сподівався.

Нехай - послідовність незалежних, однаково розподілених випадкових змінних, з і .{Xi}iNE[Xi]=1V[Xi]=1

Розглянемо оцінку

limnP(1ni=1nXin)

Цим виразом потрібно маніпулювати, оскільки обидві сторони події нерівності прагнуть до нескінченності.

А) Спробуйте СУБТРАКЦІЮ

Перш ніж розглянути обмежувальний вислів, відніміть n з обох сторін:

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

остання рівність CLT, де Φ() є стандартною функцією нормального розподілу.

Б) Спробуй багатогранність

Помножте обидві сторони на 1/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

де FX¯n() - функція розподілу середньої вибірки X¯n , яка за LLN сходяться за ймовірністю (а так само і в розподілі) до постійної 1 , отже, остання рівність.

Так ми отримуємо суперечливі результати. Який правильний? І чому інший помиляється?


1
@JuhoKokkala Звичайно, ось що, math.stackexchange.com/q/2830304/87400 Просто ігноруйте помилку ОП там.
Алекос Пападопулос

2
Я думаю, що проблема полягає у другому твердженні, що викликає LLN
Glen_b -Встановити Моніку

3
Я стежив за вами аж до остаточної рівності. Це явно неправильно, тому що ми очікуємо, що наблизиться до для великого і тому його межа не повинна дорівнювати Яке передбачуване обґрунтування цього? Я не знаю жодної версії закону великої кількості. 1 / 2 л 1.P(X¯n1)1/2n1.
whuber

1
@whuber Імовірно, що вся ймовірність для середнього зразка концентрується до значення . Якщо це неправильно, я вважаю, що важливо, щоб помилка була детально викладена у відповіді, саме в цьому і полягає це питання. 1
Алекос Пападопулос

2
Алекос, мене турбує не те, чи не остаточний крок невірний: це стосується ваших причин зробити його. Хіба це не все-таки, про що йдеться? Я досі нічого не читав від вас, наводячи ці причини, і я б вагався, навіть здогадуючись, що вони можуть бути. Хоча ви посилаєтесь на "LLN", я вважаю, що вирішення вашої проблеми, ймовірно, полягає в тому, щоб точно описати те, що ви розумієте під "LLN".
whuber

Відповіді:


15

Помилка тут, ймовірно, полягає в наступному факті: конвергенція розподілу неявно передбачає, що сходиться до у точках безперервності . Оскільки розподіл межі є постійною випадковою величиною, він має розрив стрибка при , отже, неправильно зробити висновок, що CDF сходиться до . F ( x ) F ( x ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
Те, як ми визначаємо конвергенцію при розподілі, не виключає можливості конвергенції в точках розриву - просто не вимагає цього.
Алекос Пападопулос

1
Але якщо конвергенція в розподілі не вимагає конвергенції до , на чому базується остання рівність у питанні? F ( 1 )Fn(1)F(1)
Juho Kokkala

1
@Juho Це не базується ні на чому - це суть справи. Немає теореми, яка б дозволила скласти останнє рівняння у питанні.
whuber

1
@AlecosPapadopoulos: Я ніколи не говорив, що це не виключає можливості. Я неявно кажу, що вам потрібно виправдати останню рівність за межами того, що вам дано від зближення в розподілі. Наприклад, якщо є Бернуллі, то це було б правдою. Хн
Алекс Р.

11

Для iid випадкових змінних з визначити Тепер, CLT каже, що для кожного фіксованого реального числа , . ОП застосовує CLT для оцінки E [ X i ] = var ( X i ) = 1 Z nХiЕ[Хi]=вар(Хi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zн=1нi=1нХi,Yн=1нi=1нХi.
zlimнЖZн(z)=Φ(z-1)
limнП(Zн1н)=Φ(0)=12.

Як вказували інші відповіді, а також кілька коментарів до питання ОП, підозрюваною є оцінка ОП від . Розглянемо особливий випадок, коли iid - дискретні випадкові величини, що приймають значення і з однаковою ймовірністю . Тепер може приймати всі парні значення у і тому, коли непарне, не може приймати значення і, отже, не може набрати значенняX i 0 2 1limнП(Yн1)Хi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1нХi[0,2н]нi=1нХiн1Yn1P(Yn1)=FYn(1)1Yн=1нi=1нХi 1. Крім того, оскільки розподіл симетричний приблизно , ми маємо, що має значення коли є непарним. Таким чином, послідовність чисел містить підпослідовність у яких усі доданки мають значення . З іншого боку, підпослідовність є збіжним до . Отже,Yн1П(Yн1)=ЖYн(1) nP(Y11),P(Y21),,P(Yn1),P(Y11),P(Y31),,P(Y2k-11),112н

П(Y11),П(Y21),,П(Yн1),
П(Y11),П(Y31),,П(Y2к-11),
P(Y21),P(Y41),,P(Y2k1),1limnP(Yn1)P(Yn1)12
П(Y21),П(Y41),,П(Y2к1),
1limнП(Yн1) не існує, і домагання конвергенції до 1 слід розглядати з великою підозрою.П(Yн1)

8

Ваш перший результат - правильний. Ваша помилка виникає у другій частині в наступному помилковому твердженні:

limнЖХ¯н(1)=1.

Це твердження помилкове (права частина повинна бути ) і не випливає із закону великих чисел, як стверджується. Слабкий закон великої кількості (який ви посилаєтесь) говорить про те, що:12

limнП(|Х¯н-1|ε)=1для усіх ε>0.

Для всіх умова охоплює деякі значення, де а деякі значення, де . Отже, з LLN не випливає, що .| ˉ X n - 1 | ε ˉ X n1 ˉ X n > 1 lim n P ( ˉ X n1 ) = 1ε>0|Х¯н-1|εХ¯н1Х¯н>1limнП(Х¯н1)=1


1
Результат (помилковий насправді) походить від імплікації "конвергенція ймовірності передбачає конвергенцію в розподілі". Питання не говорить про те, що твердження походить безпосередньо від LLN.
Алекос Пападопулос

@AlecosPapadopoulos: збіжність за ймовірністю робить слід збіжність в розподілі. Знову ж, конвергенція розподілу потрібна лише у точках наступності. Але, можливо, ви мали на увазі збіжність у ймовірності не означає точкової конвергенції розподілу.
Алекс Р.

@AlexR. Я не впевнений, де лежить ваше заперечення. Я вважаю, що це питання висвітлено в моїй власній відповіді.
Алекос Пападопулос

3

Конвергенція ймовірності передбачає конвергенцію в розподілі. Але ... який розподіл? Якщо обмежувальний розподіл має розрив стрибка, то межі стають неоднозначними (оскільки при розриві можливі кілька значень).

де - функція розподілу середньої вибірки , яка за LLN сходяться за ймовірністю (а так само і в розподілі) до постійної ,ˉ X n 1ЖХ¯н()Х¯н1

Це неправильно, і також легко показати, що воно не може бути правильним (відмінне від розбіжностей між CLT та LLN). Обмежувальний розподіл (який можна розглядати як обмеження для послідовності нормальних розподілених змінних) повинен бути:

ЖХ¯(х)={0для х<10,5для х=11для х>1

для цієї функції у вас є те, що для будь-якого і кожного різниця для досить великих . Це не вдасться, якщо замістьx | F ˉ X n ( x ) - F ˉ X ( x ) | < ϵ n F ˉ X ( 1 ) = 1 F ˉ X ( 1 ) = 0,5ϵ>0х|ЖХ¯н(х)-ЖХ¯(х)|<ϵнЖХ¯(1)=1ЖХ¯(1)=0,5


Межа нормального розподілу

Може бути корисним чітко виписати суму, використану для виклику закону великих чисел.

Х¯н=1нi=1нХiN(1,1н)

Межа для насправді еквівалентна функції Дірака Дельта, коли вона представлена ​​як межа нормального розподілу, а дисперсія буде до нуля.Х пнХ^н

Використовуючи цей вираз, простіше зрозуміти, що відбувається під кришкою, ніж використовувати готові закони CLT та LLN, які неясні міркування законів.


Зближення ймовірності

Закон великих чисел дає "збіжність у ймовірності"

limнП(|Х¯н-1|>ϵ)=0

зϵ>0

Еквівалентне твердження можна зробити для центральної граничної теореми з limнП(|1н(Хi-1)|>ϵн)=0

Неправильно стверджувати, що це означає

limнП(|Х¯н-1|>0)=0

Менш приємно, що це питання було поставлено настільки рано (заплутано, але цікаво побачити різні дискусії / підходи до математики проти статистики, так що не дуже погано). Відповідь Майкл Харді на математику stackexchange угод з ним дуже ефективно з точкою зору посиленого закону великих чисел (той же принцип, загальноприйнятий відповіддю від drhab в поперечному опублікованому питанні і Діліпа тут). Ми майже впевнені, що послідовність до 1, але це не означає, щоХ¯1,Х¯2,Х¯3,...Х¯нlimнП(Х¯н=1)буде дорівнює 1 (або він може навіть не існувати, як показує Діліп). Приклад кістки в коментарях Томаша показує це дуже добре з іншого кута (замість того, що межа не існує, ліміт іде до нуля). Середнє значення послідовності рулонів з кістки буде збігатися із середнім значенням кісток, але ймовірність бути рівним цьому дорівнює нулю.


Функція ступінь важкого ступеня і дельта-функція Дірака

CDF такий:Х¯н

FX¯n(x)=12(1+erfx12/n)

з, якщо вам подобається, (пов'язане з кроковою функцією Heaviside , інтеграл функції дельти Дірака, якщо розглядати його як межа нормальний розподіл).limnFX¯n(1)=0,5


Я вважаю, що ця думка інтуїтивно вирішує ваше запитання щодо "покажіть, що це неправильно" або, принаймні, це показує, що питання про розуміння причини цієї незгоди CLT і LLN рівнозначно питанню розуміння інтеграла дельтової функції Дірака або послідовність нормальних розподілів з дисперсією, що зменшується до нуля.


2
Ваш обмежуючий розподіл насправді зовсім не є розподілом. CDF повинен бути правильним безперервним, тоді як він явно не знаходиться при . x=1/2
Алекс Р.

Правильна наступність здається необхідною такою, що для кожного ми маємо як події вкладені, ми повинні мати але чи це правда для нашого випадку і де улов? Чи потрібна ця правильна спадкоємність, заснована на аксіомах вірогідності, чи це лише умова, що CDF працює в більшості випадків? аlimnFX(a+1n)=FX(a)Xa+1н
limnFX(a+1n)=limnP(Xa+1n)=П(limнХа+1н)=П(Ха)=ЖХ(а)
Секст Емпірік

@Martin Weterings: саме звідси воно походить. Будь-яка дійсна міра повинна задовольняти цим результатам монотонності. Вони є наслідком обмеженості поряд із лічильною адицією. Більш загально, функція є CDF (тобто відповідає деякому розподілу через iff є правильним безперервним, поряд з тим, що є монотонним , і, залишивши ліміт 0, правий межа 1.ППЖ(х)ПЖ(б)-Ж(а)=П(а<Хб)Ж
Алекс Р.

2

Я вважаю, що до цього часу повинно бути зрозуміло, що "підхід CLT" дає правильну відповідь.

Давайте точно визначимо, де «підхід до LLN» йде не так.

Починаючи з кінцевих висловлювань, тоді зрозуміло, що ми можемо еквівалентно або відняти з обох сторін, або помножити обидві сторони на . Ми отримуємон1/н

П(1нi=1нХiн)=П(1нi=1н(Хi-1)0)=П(1нi=1нХi1)

Отже, якщо межа існує, вона буде ідентичною. Встановивши , маємо, використовуючи функції розподілуZн=1нi=1н(Хi-1)

П(1нi=1нХiн)=ЖZн(0)=ЖХ¯н(1)

... і правда, що .limнЖZн(0)=Φ(0)=1/2

Мислення в "підході до LLN" йде так: "Ми знаємо з LLN, що перетворюється в імовірності в константу. І ми також знаємо, що" конвергенція у ймовірності передбачає конвергенцію в розподілі ". Отже, сходиться в розподілі на постійну ". До цього ми правильні. Тоді ми констатуємо: "отже, обмежувальні ймовірності для задаються функцією розподілу постійної на випадкову змінну",Х¯нХ¯н
Х¯н1

Ж1(х)={1х10х<1Ж1(1)=1

... так ...limнЖХ¯н(1)=Ж1(1)=1

... і ми просто помилилися . Чому? Тому що, як @AlexR. Відповідь зазначається : "конвергенція в розподілі" охоплює лише точки безперервності функції обмеження обмеження. І - точка розриву для . Це означає, що може дорівнювати але може бути і ні , не заперечуючи "конвергенцію розподілу до постійної" імплікації LLN .1Ж1limнЖХ¯н(1) Ж1(1)

А оскільки з підходу CLT ми знаємо, яке значення повинно бути ( ). Я не знаю способу прямо довести, що .1/2limнЖХ¯н(1)=1/2

Ми дізналися щось нове?

Я зробив. LLN стверджує, що

limнП(|Х¯н-1|ε)=1для усіх ε>0

limн[П(1-ε<Х¯н1)+П(1<Х¯н1+ε)]=1

limн[П(Х¯н1)+П(1<Х¯н1+ε)]=1

LLN не говорить про те, як розподіляється ймовірність в інтервалі . Що я дізнався, це те, що в даному класі результатів конвергенції ймовірність знаходиться на межі, розподіленій порівну з двох сторін центральної точки інтервалу згортання. (1-ε,1+ε)

Загальне твердження тут, припустимо

Хнpθ,год(н)(Хн-θ)гD(0,V)

де деякий rv з функцією розподілу . ПотімDЖD

limнП[Хнθ]=limнП[год(н)(Хн-θ)0]=ЖD(0)

... що може не дорівнювати (функція розподілу постійної rv).Жθ(0)

Також це вагомий приклад того, що коли функція розподілу обмежувальної випадкової величини має розриви, то "конвергенція розподілу до випадкової величини" може описувати ситуацію, коли "обмежуючий розподіл" може не погоджуватися з "розподілом обмежуючої величини" випадкова величина "в точках розриву. Строго кажучи, обмежуючим розподілом для точок безперервності є постійне випадкове змінне. Для точок розриву ми можемо обчислити граничну ймовірність як "окремі" сутності.


Перспектива "засвоєного уроку" цікава, і це хороший, не надто складний приклад для дидактичного застосування. Хоча мені цікаво, яке саме (пряме) практичне застосування має ця думка про нескінченне, бо врешті-решт на практицін
Секст Емпірік

@MartijnWeterings Martijn, мотивація тут, безумовно, була навчальною, а) як попередження про розриви навіть у такій "плоскій" ситуації, як конвергенція до константи, і так взагалі (вони руйнують рівномірну конвергенцію, наприклад), і b) результат того, як розподіляється маса ймовірності, стає цікавим, коли послідовність, яка сходиться по ймовірності до константи, все ще має ненульову дисперсію.
Алекос Пападопулос

Можна сказати, що CLT, скажімо, про конвергенцію до обмежувальної нормальної розподіленої змінної (таким чином, ми можемо виразити такі речі, як ), але LLN дозволяє лише сказати, що, збільшуючи розмір вибірки, ми наближаємось до істинної середньої, але це не говорить про те, що ми отримуємо з більшою ймовірністю «точно рівну середній вибірці». LLN означає, що середнє значення вибірки стає все ближче та ближче до граничного значення, але не (з більшою ймовірністю), рівного йому. LLN нічого не говорить проF ( x )Ж(х)Ж(х)
Sextus Empiricus

Оригінальні думки навколо LLN там, де насправді навпаки (див. Міркування Arbuthnot stats.stackexchange.com/questions/343268 ). "З сказаного видно, що при дуже великій кількості кісток, лот А стане дуже маленьким ... Буде лише невелика частина всіх можливих шансів, оскільки це станеться в будь-який визначений час, повинна народитися рівна кількість чоловіків і жінок ".
Секст Емпірік
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.