Чому усадка насправді працює, що так особливого в 0?

На цьому сайті вже розміщено повідомлення, що говорить про те саме: Чому працює усадка?

Але, хоча відповіді популярні, я не вірю, що суть питання справді вирішена. Цілком зрозуміло, що введення деякої упередженості в оцінку призводить до зменшення дисперсії та може покращити якість оцінки. Однак:

1) Чому шкода, заподіяна введенням зміщення, менша порівняно з коефіцієнтом виграшу у відхиленні?

2) Чому це завжди працює? Наприклад, у випадку регресії хребта: теорема існування

3) Що так цікавого в 0 (походження)? Зрозуміло, що ми можемо скорочуватися де завгодно (наприклад, Штейн оцінювач ), але чи буде це так добре, як походження?

4) Чому різні універсальні схеми кодування віддають перевагу меншій кількості бітів навколо джерела? Чи є ці гіпотези просто більш імовірними?

Очікуються відповіді з посиланням на перевірені теореми або встановлені результати.

1) Чому шкода, заподіяна введенням зміщення, менша порівняно з коефіцієнтом виграшу у відхиленні?

Це не обов'язково, так зазвичай є. Чи вартий компроміс, це залежить від функції збитків. Але речі, які нас цікавлять у реальному житті, часто схожі на помилку у квадраті (наприклад, ми піклуємося більше про одну велику помилку, ніж про дві помилки наполовину менше).

Як контрприклад - уявіть, що для вступу до коледжів ми зменшуємо кількість балів SAT у бік середнього показника SAT за демографічними показниками (однак визначено). Якщо зробити все правильно, це зменшить дисперсію та середню квадратичну помилку оцінок (певної) здатності людини під час введення упередженості. Більшість людей вважають ІМХО, що такий компроміс неприйнятний.

2) Чому це завжди працює?

3) Що так цікавого в 0 (походження)? Зрозуміло, що ми можемо скорочуватися в будь-якому місці, де нам подобається (наприклад, оцінювач Штейна), але чи буде це так добре, як походження?

Я думаю, це тому, що ми зазвичай скорочуємо коефіцієнти або оцінку ефекту. Є підстави вважати, що більшість ефектів не є великими (див., Наприклад , прийом Ендрю Гельмана ). Один із способів сказати, що світ, де все впливає на все сильним ефектом, - це жорстокий непередбачуваний світ. Оскільки наш світ достатньо передбачуваний, щоб ми могли жити довгими життями і будувати напівстабільні цивілізації, то випливає, що більшість ефектів не є великими.

Оскільки більшість ефектів не великі, корисно помилково зменшити кілька дійсно великих, а також правильно зменшити навантаження незначних ефектів.

Я вважаю, що це лише властивість нашого світу, і ви, ймовірно, могли б побудувати самостійні світи, де усадка не є практичною (швидше за все, зробивши середньоквадратичну помилку непрактичною функцією втрат). Просто у нас не буває світ, у якому ми живемо.

З іншого боку, коли ми розглядаємо усадку як попередній розподіл в баєсовському аналізі, є випадки, коли усадка до 0 активно шкідлива на практиці.

Одним із прикладів є масштаб довжини в Гауссових процесах (де 0 є проблематичним). Рекомендація в посібнику Стана полягає у використанні попереднього, який ставить незначну вагу близько нуля, тобто ефективно «скорочує» малі значення від нуля. Аналогічно, рекомендовані пріори для дисперсії в негативному біноміальному розподілі ефективно стискаються від нуля. І останнє, але не менш важливе значення, щоразу, коли нормальний розподіл параметризований з точністю (як в INLA), корисно використовувати обернені гами або інші попередні розподіли, які скорочуються від нуля.

4) Чому різні універсальні схеми кодування віддають перевагу меншій кількості бітів навколо джерела? Чи є ці гіпотези просто більш імовірними?

$P(i) ≥ P(i + 1)$$i$

Рідж, ласо і еластична сітка схожі на байєсівські методи з пріорами, орієнтованими на нуль - див., Наприклад, Статистичне навчання з розрідженістю Хасті , Тібширані та Уейнрайта, розділ 2.9 Lq Penalties and Bayes Estimates: "Існує також байєсівський погляд на ці оцінки. ... Це означає, що оцінка ласо є байєсівським ПДЧ (максимальний апостеріорі), використовуючи лапласіанський поперед ".

Один із способів відповісти на ваше запитання ( what's so special about zero?) полягає в тому, що ефекти, які ми оцінюємо, в середньому дорівнюють нулю, і вони, як правило, невеликі (тобто наші пріори повинні бути зосереджені навколо нуля). Тоді зменшення оцінок до нуля є оптимальним у байєсівському розумінні, і через цю лінзу можна обдумати ласо, гребеня та еластичні сітки.