Парадокс даних про iid (принаймні для мене)

Наскільки мої сукупні (і дефіцитні) знання про статистику дозволяють, я зрозумів, що якщо є випадковими змінними, то, як випливає з цього терміна, вони незалежні і однаково розподілені. $X_1, X_2,..., X_n$

Мене тут хвилює колишня властивість зразків iid, яка гласить:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

для будь-якої колекції відмінних 's st . $i_j$ $1 \leq i_j < n$

Однак відомо, що сукупність незалежних вибірок однакових розподілів надає інформацію про структуру розподілу, і, як результат, про у наведеному вище випадку, тому справді не повинно бути так: $X_n$

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

Я знаю, що я є жертвою помилок, але не знаю, чому. Будь ласка, допоможіть мені на цьому.

sampling conditional-probability independence

— Купітор
джерело

Ви знаєте правило Байєса? Чула класику. проти баєсівської статистики? Пріори?

— Меттью Ганн

Я не дотримуюся аргументу в кінці вашого запитання. Чи можете ви бути більш чіткими?

— Glen_b -Встановити Моніку

@Glen_b що це саме те, за чим ви не стежите? Що ви маєте на увазі під кінцем? Я намагаюся сказати різною логікою, що рівність і нерівність здаються правдоподібними, що є парадоксальним.

— Купітор

Тут немає ніякого парадоксу - просто невдача відповідних визначень. Ви не можете претендувати на парадокс, якщо ігноруєте значення вживаних вами слів! У цьому випадку порівняння визначення незалежного з вірогідністю виявить помилку.

— whuber

@whuber, я припускаю, що ви помітили явне "(принаймні для мене)" в заголовку мого запитання, а також той факт, що я прошу допомоги, щоб знайти "помилковість" мого аргументу, що вказує на те, що це насправді не є справжнім парадоксом.

— Купітор

Відповіді:

Я думаю, ви плутаєте оціночну модель розподілу із випадковою змінною . Перепишемо припущення про незалежність так: який говорить, що якщо ви знаєте базовий розподіл (і, наприклад, можете ідентифікувати його за набором параметрів ), тоді розподіл не змінюється, враховуючи, що ви спостерігали кілька вибірок з нього.

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$

Наприклад, подумайте про як про випадкову величину, що представляє результат -го кидання монети. Знання ймовірності голови та хвоста для монети (яка, btw, припустимо, закодована у ), достатньо, щоб знати розподіл . Зокрема, результат попередніх кидок не змінює ймовірності голови чи хвоста для -го кидання, а утримує. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

Однак зауважте, що . $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

— Собі
джерело

Велике спасибі. Досить до речі. Досить смішно, що я відповів таку відповідь деякий час тому назад, але забув про неї .... Тож, наскільки я розумію, помилка йде з неявним припущенням "моделі", яка може параметризувати розподіл випадкової величини. Я правильно зрозумів?

— Купітор

@Cupitor: Я радий, що це було корисно. Так, залежно від моделі, незалежні випадкові величини не впливають одна на одну. Але, наскільки ймовірним є те, що даний розподіл створив послідовність змін результатів, коли ви бачите більше вибірок з базового (справжнього) розподілу (незалежно від припущення про незалежність).

— Собі

Якщо ви скористаєтесь байєсівським підходом і розглядаєте параметри, що описують розподіл як випадкову змінну / вектор, то спостереження дійсно не є незалежними, але вони були б умовно незалежними за умови знань отже буде утримуватися. $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

У класичному статистичному підході, є не випадковою величиною. Розрахунки роблять так, ніби ми знаємо, що таке . У певному сенсі ти завжди кондиціонуєш (навіть якщо ти не знаєш значення). $\theta$ $\theta$ $\theta$

Коли ви писали, "... надайте інформацію про структуру розподілу, і, як результат, про ", ви неявно приймали байєсівський підхід, але не робили цього точно. Ви пишете властивість зразків IID, які писав би частоліст, але відповідне твердження в байєсівській програмі передбачало б умовлення на . $X_n$ $\theta$

Баєсійський проти класичних статистиків

Нехай є результатом перегортання нечесної монети, що перекручується. Ми не знаємо, яка ймовірність монети приземляється. $x_i$

Класичному статистику - деякий параметр, назвемо його . Зауважте, що тут є скалярним, як число 1/3. Ми можемо не знати, що таке число, але це якесь число! Це не випадково! $P(x_i = H)$ $\theta$ $\theta$
Баєсівському статистику сама є випадковою змінною! Це надзвичайно інакше! $\theta$

Основна ідея тут полягає в тому, що баєсовський статистик розширює інструменти ймовірності до ситуацій, коли класичний статистик цього не робить . Для частолістів не є випадковою змінною, оскільки вона має лише одне можливе значення ! Кілька результатів неможливі! Однак в уяві можливі кілька значень , і баєс готовий моделювати цю невизначеність (на власну думку), використовуючи інструменти ймовірності. $\theta$ $\theta$

Куди це йде?

Скажімо, ми гортаємо монету разів. Одне перевертання не впливає на результат іншого. Класичний статистик назвав би ці незалежні фліп (і справді вони є). У нас буде: Де невідомо параметр. (Пам'ятайте, ми не знаємо, що це, але це не випадкова величина! Це якесь число.) $n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Байєсівська глибока суб'єктивна ймовірність сказала б, що важлива ймовірність з її точки зору! . Якщо вона бачить 10 голів підряд, 11-й голова швидше, тому що 10 голов підряд приводить одну, щоб повірити, що монета ухилена на користь голів.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

Що тут сталося? Що відрізняється ?! Оновлення вірування про приховану випадкову змінну ! Якщо трактується як випадкова величина, відвороти вже не є незалежними. Але, оберти умовно незалежні, враховуючи значення . $\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

Умови в в певному сенсі пов'язують, як байєсівський і класичний статистик моделює проблему. Або кажучи інакше, частоліст і баєсовський статистик погодиться, якщо баєсові умови на . $\theta$ $\theta$

Подальші замітки

Я постарався зробити короткий вступ тут, але те, що я зробив, у кращому випадку досить поверхневий, і поняття в деякому сенсі досить глибокі. Якщо ви хочете зануритися у філософію вірогідності, то книга Сайдже, 1954, Фонд статистики - це класика. Гугл для байезіана проти частотистів і багато речей.

Інший спосіб думати про розробки IID - це теорема де Фінетті і поняття обмінності . У байєсівських умовах обмінність еквівалентна незалежності, що обумовлюється деякою прихованою випадковою змінною (в даному випадку - однобічністю монети).

— Меттью Ганн
джерело

По суті, байєсівський підхід розглядає твердження "iid випадкових змінних" не як аксіому про те, що вони повинні бути IID, а лише як дуже сильне попереднє припущення, що вони є таким - і якщо ще більш сильні докази свідчать про те, що це вкрай малоймовірно припущення вірні, тоді ця «невіра в задані умови» відобразиться на результатах.

— Петерсіс

Дуже дякую за вашу грунтовну відповідь. Я підтримав це, але думаю, що відповідь Собі вказує чіткіше, де проблема лежить, тобто неявно припускаючи структуру моделі (або це настільки, наскільки я це зрозумів)

— Cupitor

@Matthew Gunn: акуратний, ретельний і дуже добре пояснений! Я дізнався кілька речей з вашої відповіді, дякую!

— Собі