Конвергенція ймовірності проти майже впевненої конвергенції

Я ніколи не бачив різниці між цими двома заходами конвергенції. (Або насправді будь-який з різних типів конвергенції, але я згадую про ці дві особливості через слабкі та сильні закони великих чисел.)

Звичайно, я можу навести визначення кожного з них і навести приклад, коли вони відрізняються, але я все ще не зовсім розумію.

Який хороший спосіб зрозуміти різницю? Чому різниця важлива? Чи є особливо пам’ятний приклад, коли вони відрізняються?

З моєї точки зору, різниця важлива, але багато в чому з філософських причин. Припустимо, у вас є якийсь пристрій, який з часом поліпшується. Отже, щоразу, коли ви користуєтесь пристроєм, ймовірність його виходу з ладу менша, ніж раніше.

Конвергенція у ймовірності говорить про те, що ймовірність невдачі переходить до нуля, оскільки кількість звичаїв переходить до нескінченності. Отже, користуючись пристроєм велику кількість разів, ви можете бути впевнені в тому, що він працює правильно, він все одно може вийти з ладу, це просто дуже малоймовірно.

Конвергенція майже напевно трохи сильніше. Це говорить про те, що загальна кількість відмов є скінченною . Тобто, якщо ви порахуєте кількість відмов, оскільки кількість звичок переходить до нескінченності, ви отримаєте кінцеве число. Вплив цього полягає в наступному: Коли ви все більше і більше будете користуватися пристроєм, ви, після деякої обмеженої кількості звичок, вичерпаєте всі збої. З цього моменту пристрій буде працювати ідеально .

Як зазначає Срікант, ви насправді не знаєте, коли ви вичерпали всі невдачі, тому з чисто практичної точки зору різниці між двома режимами конвергенції не так багато.

Однак особисто я дуже радий, що, наприклад, існує сильний закон великої кількості, на відміну від просто слабкого закону. Тому що зараз науковий експеримент для отримання, скажімо, швидкості світла, виправданий у прийнятті середніх значень. Принаймні теоретично, отримавши достатньо даних, можна довільно наблизитися до справжньої швидкості світла. У процесі усереднення не буде жодних збоїв (хоча й малоймовірних).

Дозвольте мені уточнити, що я маю на увазі під "невдачами (хоча й малоймовірними) в процесі усереднення". Виберіть кілька довільно малих. Ви отримуєте оцінок швидкості світла (або якоїсь іншої кількості), яка має деяке "справжнє" значення, скажімо . Ви обчислюєте середній Оскільки ми отримуємо більше даних ( збільшення), ми можемо обчислити для кожного . Слабкий закон говорить (за деякими припущеннями про ), що ймовірність як переходить доn X 1 , X 2 , … , X n$\delta > 0$$n$$X_1,X_2,\dots,X_n$$\mu$

$$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$$ $n$$S_n$$n = 1,2,\dots$$X_n$ $$P(|S_n - \mu| > \delta) \rightarrow 0$$ $n$$\infty$. Сильний закон говорить, що кількість разів, щобільше, ніж є кінцевою (з вірогідністю 1). Тобто, якщо ми визначимо функцію індикатора яка повертає одну, коли і нуль інакше, тоді сходиться. Це дає значну впевненість у значенні , оскільки це гарантує (тобто з ймовірністю 1) існування деякого кінцевого такого, що для всіх (тобто середнє значення ніколи не виходить за$|S_n - \mu|$$\delta$$I(|S_n - \mu| > \delta)$$|S_n - \mu| > \delta$ $$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$$ $S_n$$n_0$$|S_n - \mu| < \delta$$n > n_0$$n > n_0$). Зауважте, що слабкий закон не дає такої гарантії.

Я знаю , що це питання вже був дан відповідь (і дуже добре, на мій погляд), але там був інший питання тут , який був коментар @NRH , що згадане графічне пояснення, і замість того , помістити фотографії там , здавалося б , більш доречно покладіть їх сюди.

Отже, ось іде. Це не так круто, як пакет R. Але це автономно і не вимагає передплати на JSTOR.

У наступному ми говоримо про просту випадкову прогулянку, з однаковою ймовірністю, і ми обчислюємо середні значення S $X_{i}= \pm 1$

$$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$$

SLLN (конвергенція майже напевно) говорить про те, що ми можемо бути на 100% впевнені, що ця крива, що тягнеться вправо, з часом, в якийсь кінцевий час, повністю потрапить в смуги назавжди згодом (праворуч).

Код R, використаний для створення цього графіка, знаходиться нижче (мітки графіків, опущені для стислості).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

---

WLLN (конвергенція у вірогідності) говорить про те, що велика частка вибіркових контурів буде знаходитись в смугах праворуч, в момент (для вищезгаданих це виглядає як приблизно 48 або 9 з 50). Ми ніколи не можемо бути впевнені, що будь-яка конкретна крива виявиться всередині в будь-який обмежений час, але дивитись на масу локшини вище її було б досить безпечною ставкою. WLLN також говорить, що ми можемо зробити пропорцію локшини всередині наближеною до 1, як нам подобається, зробивши сюжет достатньо широким.$n$

Наступний код R для графіка (знову ж таки, пропуск міток).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Я розумію це так,

Зближення ймовірності

Ймовірність того, що послідовність випадкових змінних дорівнює цільовому значенню, асимптотично зменшується і наближається до 0, але насправді ніколи не досягає 0.

Майже певна конвергенція

Послідовність випадкових змінних буде дорівнює цільовому значенню асимптотично, але ви не можете передбачити, в який момент це станеться.

Майже впевнене, що конвергенція є сильнішою умовою поведінки послідовності випадкових змінних, оскільки вона стверджує, що "щось обов'язково відбудеться" (ми просто не знаємо, коли). Навпаки, конвергенція у ймовірності говорить про те, що "хоча щось може статися", ймовірність "чогось не відбувається" зменшується асимптотично, але фактично ніколи не досягає 0. (щось послідовності випадкових змінних, що сходяться до певного значення).$\equiv$

У вікі є декілька прикладів обох, які повинні допомогти уточнити вищесказане (зокрема, див. Приклад лучника в контексті конвергенції в дослідженні та приклад благодійності в контексті майже впевненої конвергенції).

З практичної точки зору, конвергенції у ймовірності достатньо, оскільки нас особливо не цікавлять дуже малоймовірні події. Наприклад, послідовність оцінки є по суті зближенням ймовірності. Таким чином, використовуючи послідовну оцінку, ми неявно визнаємо той факт, що у великих вибірках існує дуже мала ймовірність того, що наша оцінка далека від справжнього значення. Ми живемо з цим «дефектом» конвергенції у ймовірності, оскільки знаємо, що асимптотично ймовірність того, що оцінювач є далеко від істини, суттєво мала.

Якщо ви насолоджуєтесь візуальними поясненнями, в американському статистиці (цитуйте нижче) з'явилася чудова стаття «Куточок вчителя» на цю тему. Як бонус автори включили пакет R для полегшення навчання.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Цей останній хлопець це дуже добре пояснює. Якщо взяти послідовність випадкових змінних Xn = 1 з ймовірністю 1 / n і нулем інакше. Неважко помітити обмеження, що це сходиться до нуля, ймовірно, але не зможе конвергуватися майже напевно. За його словами, ймовірність не хвилює, що ми можемо отримати його вниз. Майже напевно так і є.

Майже напевно передбачає зближення ймовірності, але чи не навпаки?

Одне, що допомогло мені зрозуміти різницю, - це наступна еквівалентність

∀ ϵ > $P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

У порівнянні стохастична конвергенція:

∀ ϵ > $\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Якщо порівнювати праву частину верхнього рівняння зі стохастичною конвергенцією, я думаю, що різниця стає яснішою.