Оцінювач Байєса несприйнятливий до вибору зміщення

Чи оцінювачі Байєса несприйнятливі до зміщення відбору?

Більшість статей, в яких обговорюється оцінка високої розмірності, наприклад, дані про цілі послідовності геномів, часто порушують питання зміщення селекції. Відхилення відбору випливають з того, що, хоча у нас є тисячі потенційних прогнозів, буде вибрано лише декілька, і на декількох вибраних буде зроблено висновок. Таким чином, процес проходить у два етапи: (1) вибір підмножини предикторів (2) виконання висновку на вибраних множинах, наприклад, коефіцієнт оцінювання шансів. У своїй парадоксальній роботі 1994 року Давід зосередився на об'єктивних оцінювачах та оцінках Байєса. Він спрощує проблему до вибору найбільшого ефекту, який може бути ефектом лікування. Тоді він каже, що об'єктивні оцінювачі впливають на зміщення відбору. Він використав приклад: припустимо то кожен

Z_{i} \sim N (δ_{i}, 1), i = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ є неупередженим до . Нехай оцінювач , проте, упереджений ( позитивно) для

. Це твердження можна легко довести при нерівності Дженсена. Отже, якби ми знали

, індекс найбільшого

, ми просто використаємо

як його оцінювач, який є неупередженим. Але оскільки ми цього не знаємо, ми використовуємо

який стає упередженим (позитивно).

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$

Z_{i_{max}}

$Z_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

Але тривожне твердження Давіда, Ефрона та інших авторів стверджує, що оцінки Байєса не застраховані від упередженості вибору. Якщо я зараз ставлю пріоритет на , скажімо, , То оцінювач Байєса задається де , з стандарт Гаусса. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

E {δ_{i} ∣ Z_{i}} = z_{i} + \frac{d}{d z_{i}} m (z_{i})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Якщо ми визначимо новий оцінювач як б не вибрав для оцінки допомогою буде таким самим якщо вибір був заснований на . Це випливає, тому що є монотонним у . Ми також знаємо, що зменшує до нуля терміном $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ що зменшує деякі позитивні ухили в . Але як ми можемо зробити висновок, що оцінки Байєса не застраховані від упередженості селекції. Я справді цього не розумію.

Z_{i}

$Z_i$

— Чемберлен Фонча
джерело

Зважаючи на те, що ви посилаєтесь на претензію в літературному творі, можете, будь ласка, надати повну ситуацію та посилання на сторінку, щоб ми могли прочитати повний контекст цієї заяви.

— Бен - Відновіть Моніку

Чи визначає оцінювач як максимум оцінок Баєса, як і раніше оцінювач Байєса?

— Сіань

Приклад 1 у статті.

— Чемберлен Фонша

Відповіді:

Як описано вище, випуск стоїть з висновком щодо індексу та значення (i⁰, μ⁰) найбільшого середнього зразка Нормальних rvs. Що я вважаю дивовижним у презентації Давіда, це те, що байєсівський аналіз не дуже звучить байєсів. Якщо дано весь зразок, байєсівський підхід повинен виробляти задній розподіл на (i⁰, μ⁰), а не слідувати етапам оцінки, від оцінки i⁰ до оцінки пов'язаного середнього. І, якщо потрібно, оцінки повинні виходити з визначення конкретної функції втрат. Коли натомість, даючи найбільшу точку у вибірці і лише цю точку, її розподіл змінюється, тож я досить збентежений твердженням, що коригування не потрібно.

Попереднє моделювання також є досить дивним тим, що апріори щодо засобів повинні бути спільними, а не продуктом незалежних Нормалів, оскільки ці засоби порівнюються і, отже, є порівняльними. Наприклад, ієрархічний пріоритет здається більш доцільним, з розташування та масштабу, які слід оцінювати з усіх даних. Створення зв’язку між засобами ... Відповідне заперечення щодо використання незалежних неналежних пріорів полягає в тому, що максимальне середнє μ⁰ тоді не має чітко визначеної міри. Однак я не думаю, що критика одних пріорів проти інших є релевантною атакою на цей "парадокс".

— Сіань
джерело

Мені здається, що весь необхідний захист повинен бути закодований у попередньому, що з'єднує всі невідомі засоби. Якщо попереднє робить великі відмінності між засобами дуже малоймовірними, це відобразиться на задньому, зробивши його ідеальним.

— Френк Харрелл

@ Xi'an, ви можете навести приклад того, як ви зробите попереднє місце ?

(i, μ)

$(i,\mu)$

— Чемберлен Фонша

@Frank Harrel, розглянемо для прикладу та . оцінювач - . Оцінювач Байєса є . Якщо є найбільшим то це , тому що оцінювач Байєса одноманітний в . Наскільки б інформаційним не було попереднє, це не зміниться. Однак зменшує позитивний Байєс в . Але якщо було обрано неправильний оцінювач Байєса не може цього виправити.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

— Чемберлен Фонша

@ChamberlainFoncha: Оцінювач Байєса є лише коли є апріорі незалежними. Спільне до по і «s робить їх залежними на насправді.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

— Сіань

І будь-який попередній прийом є прийнятним з байєсівської точки зору, наприклад, рівномірний розподіл за індексом та ієрархічний пріоритет на .

μ_{i}

$\mu_i$

— Сіань

Навіть якщо трохи протиінтуїтивне твердження правильне. Припустимо, що для цього експерименту, тоді задній для дійсно . Цей контрінтуїтивний факт трохи схожий на те, що Бейс не застрахований від (таємного) раннього припинення (що також є дуже протиінтуїтивним). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

Байесівські міркування привели б до помилкових висновків, якби для кожного такого експерименту (уявіть, що ви повторите це кілька разів) зберігалися б лише результати найкращого сорту. Буде відбір даних, і байєсівські методи явно не застраховані від (таємного) відбору даних. Насправді жоден статистичний метод не застрахований від вибору даних.

Якби такий відбір був здійснений, повна байєсівська міркування з урахуванням цього відбору легко виправить ілюзію.

Однак речення "Оцінювач Байєса несприйнятливий до відхилення відбору" є трохи небезпечним. Неважко уявити ситуації, коли "вибір" означає щось інше, наприклад, вибір пояснювальних змінних або вибір даних. Байєс явно не застрахований від цього.

— Бенуа Санчес
джерело