Що таке “Інформація про одиницю інформації”?

Я читав Wagenmakers (2007) Практичне рішення поширеної проблеми р-значень . Мене заінтригує перетворення значень BIC в коефіцієнти та ймовірності Байєса. Однак поки що я не розумію, що саме є одиничною інформацією . Буду вдячний за пояснення із зображеннями, або код R для створення зображень саме цього.

Інформація одиниці даних є попередньою залежністю від даних, (як правило, багатоваріантною нормою) із середнім значенням на MLE та точністю, що дорівнює інформації, що надається одним спостереженням. Докладні відомості див., Наприклад, у цьому технічному звіті або у цьому документі . Ідея UIP полягає в тому, щоб надати пріоритет, який «дозволяє даним говорити сам за себе»; у більшості випадків додавання попереднього, яке повідомляє вам стільки, скільки одне спостереження, зосереджене там, де інші дані "вказують", матиме незначний вплив на подальший аналіз. Одне з його головних застосувань полягає в тому, щоб показати, що використання BIC у великих зразках відповідає використанню коефіцієнтів Байєса з UIP за їх параметрами.

Напевно, також варто відзначити, що багатьом статистикам (включаючи байесів) незручно використовувати фактори Байєса та / або BIC для багатьох застосованих проблем.

Попередня інформація про одиницю базується на такій інтерпретації поєднання:

Налаштуйте

• Звичайні дані: з з невідомим і відомі. Дані можуть бути достатньо узагальнені середньою вибіркою, яка перед тим, як побачити будь-яку дату, розподіляється відповідно до .$X^{n}=(X_{1}, \ldots, X_{n})$$X_{i} \sim \mathcal{N}( \mu, \sigma^{2})$$\mu$$\sigma^2$$\bar{X} \sim \mathcal{N}(\mu, \tfrac{\sigma^{2}}{n} )$
• Звичайний прийом для :$\mu$ З з тією ж дисперсією, що і в даних.$\mu \sim \mathcal{N} (a, \sigma^{2})$
• Нормальний задній для :$\mu$ З де і .$\mu \sim \mathcal{N} (M, v)$$M=\tfrac{1}{n+1}(a + n \bar{x})$$v= \tfrac{\sigma^2}{n+1}$

Інтерпретація

Отже, після спостереження за даними , ми маємо задню частину для яка концентрується на опуклій комбінації спостереження і те, що було постульовано до того, як дані спостерігалися, що є, . Крім того, дисперсія задньої частини потім задається , отже, як ніби ми маємо спостережень, а не$\bar{X}=\bar{x}$$\mu$$\bar{x}$$a$$\tfrac{\sigma^{2}}{n+1}$$n+1$$n$порівняли розподіл вибірки середнього зразка. Зауважимо, що розподіл вибірки не є таким, як задній розподіл. Тим не менш, задній вид виглядає таким чином, що дозволяє даним говорити самі за себе. Отже, коли інформація про одиницю раніше отримує задню частину, зосереджену в основному на даних, , і скорочується до попередньої інформації як разовий штраф.$\bar{x}$$a$

Крім того, Касс і Вассерман показали, що вибір моделі проти з попереднім даним вище може бути добре зближений з критерієм Шварца (в основному, BIC / 2), коли великий.$M_{0}:\mu=a$$M_{1}: \mu \in \mathbf{R}$$n$

Деякі зауваження:

• Те, що BIC наближає коефіцієнт Байєса на основі інформації про одиницю раніше, не означає, що ми повинні використовувати одиничну інформацію перед побудовою коефіцієнта Байєса. Вибір за замовчуванням Джеффріса (1961) полягає в тому, щоб замість розміру ефекту використовувати Коші, див. Також Ly та ін. (у пресі) для пояснення щодо вибору Джеффріса.
• Касс і Вассерман показали, що BIC, розділена на постійну (що стосується Коші до нормального розподілу), все ще може використовуватися як апроксимація коефіцієнта Байєса (на цей раз на основі Коші, а не до звичайного).

Список літератури

• Джеффріс, Х. (1961). Теорія ймовірності . Oxford University Press, Оксфорд, Великобританія, 3 видання.
• Касс, Р.Е. та Вассерман, Л. (1995). "Довідковий байесівський тест на вкладені гіпотези та його зв'язок з критерієм Шварца", Журнал Американської статистичної асоціації , 90, 928-934
• Ly, A., Verhagen, AJ, & Wagenmakers, E.-J. (в пресі). Тести гіпотез фактора Байеса за замовчуванням Гарольда Джеффріса: Пояснення, розширення та застосування в психології. Журнал математичної психології.