Чому обмінність випадкових змінних є важливою в ієрархічних байесівських моделях?

Чому обмінність випадкових змінних має важливе значення для ієрархічного байєсівського моделювання?

Обмінність не є істотною ознакою ієрархічної моделі (принаймні, не на рівні спостереження). Це в основному байєсовський аналог "незалежних і однаково розподілених" зі стандартної літератури. Це просто спосіб описати те, що ви знаєте про ситуацію, що знаходиться в цій ситуації. Це саме те, що «перемішання» не змінює вашу проблему. Один із способів мені подобається думати про це - розглянути випадок, коли вам дали але вам не сказали значення . Якщо ви що призведе до того, що ви підозрюєте конкретні значення більше, ніж інші, то послідовність не підлягає обміну. Якщо це нічого не говорить про$x_{j}=5$$j$$x_{j}=5$$j$$j$, то послідовність може бути обмінна. Зауважте, що обмін можливістю є "в інформації", а не "в реальності" - це залежить від того, що ви знаєте.

Хоча обмінність не є важливою з точки зору спостережуваних змінних, напевно, було б досить складно підходити до будь-якої моделі без певного поняття обмінності, оскільки без обмінності ви, як правило, не маєте обґрунтування для об'єднання спостережень разом. Тож я здогадуюсь, що ваші умовиводи будуть набагато слабкішими, якщо ви не матимете обмінності десь у моделі. Наприклад, розглянемо для . Якщо повністю обмінні, то це означає та . Якщо умовно можна обмінятись даними це означає$x_{i}\sim N(\mu_{i},\sigma_{i})$$i=1,\dots,N$$x_{i}$$\mu_{i}=\mu$$\sigma_{i}=\sigma$$x_{i}$$\mu_{i}$$\sigma_{i}=\sigma$. Якщо умовно можна обмінятись даними це означає . Але зауважте, що в будь-якому з цих двох «умовнозамінних» випадків якість висновку знижується порівняно з першим, оскільки є додаткові параметрів, які вводяться в проблему. Якщо у нас немає обмінності, то в основному ми маємо непов'язаних проблем.$x_{i}$$\sigma_{i}$$\mu_{i}=\mu$$N$$N$

В основному обмінність означає, що ми можемо зробити висновок для будь-яких та які частково обмінюються$x_{i}\to \text{parameters}\to x_{j}$$i$$j$

"Істотне" занадто розпливчасте. Але вражаючи технічними можливостями, якщо послідовність є то умовно незалежні з урахуванням деякого неспостережуваних параметрів з розподілом ймовірності . Тобто . не повинна бути одновимірною або навіть кінцевою розмірністю і може бути подана у вигляді суміші тощо.$X=\{X_i\}$$X_i$$\Theta$$\pi$$p(X) = \int p(X_i|\Theta)d\pi(\Theta)$$\Theta$

Обмін є важливим у тому сенсі, що ці відносини умовної незалежності дозволяють нам підходити до моделей, які ми, звичайно, не могли інакше.

Це не так! Я тут не експерт, але я дам свої два центи. Взагалі, коли у вас є ієрархічна модель, скажімо

$y|\Theta_{1} \sim \text{N}(X\Theta_{1},\sigma^2)$

$\Theta_{1}|\Theta_{2} \sim\text{N}(W\Theta_{2},\sigma^2)$

Ми робимо припущення про умовну незалежність, тобто, умовні для , можна обміняти. Якщо другий рівень не є обмінним, тоді ви можете включити інший рівень, який робить його обмінним. Але навіть у тому випадку, якщо ви не можете припустити обмінним позначенням, модель все одно може добре відповідати вашим даним на першому рівні.$\Theta_{2}$$\Theta_{1}$

І останнє, але не менш важливе, обмінність важлива лише в тому випадку, якщо ви хочете думати з точки зору теореми представлення Де Фінетті. Ви можете просто подумати, що пріори - це інструменти регуляризації, які допоможуть вам підходити до вашої моделі. У цьому випадку припущення про обмін настільки ж добре, як і ваша модель підходить до даних. Іншими словами, якщо ви вважаєте баєсовську ієрархічну модель як спосіб пристосувати підходи до ваших даних, то обмінність не є важливою в жодному сенсі.