Яка властивість оракула в оцінці?

Яка властивість оракула в оцінці?
Для яких цілей моделювання відповідає властивість oracle (прогнозована, пояснювальна, ...)?

Теоретично жорсткі та (особливо) інтуїтивні пояснення вітаються.

Було б непогано мати ґрунтовну відповідь на одному місці. Деякі супутні матеріали: Zou "Адаптивний LASSO та його властивості оракул" , с. 1 (с. 1418).

— Річард Харді

Відповіді:

Оракул знає істину: він знає справжню підмножину і готовий діяти на ній. Властивість oracle полягає в тому, що асимптотичний розподіл оцінювача є таким самим, як асимптотичний розподіл MLE лише на справжній носії. Тобто, оцінювач адаптується до того, щоб знати справжню підтримку, не платячи ціну (з точки зору асимптотичного розподілу.)

З огляду на властивості асимптотичної оптимальності MLE, які обговорюються, наприклад, у теоретичній статистиці Кінера в теоремі 9.14, ми знаємо, за деякими технічними умовами, які дотримуються, наприклад, помилки Гауссова, що де вважаємо, що - справжній коефіцієнт на істинної підтримки . Зауважте, що дисперсія асимптотичного розподілу є зворотною інформацією Фішера, показуючи, що є асимптотично ефективним. Оскільки MLE, знаючи справжню підтримку, досягає цього, воно також вимагається як частина властивості oracle.

\sqrt{н} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, Я^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Однак ми платимо круту неасимптотичну ціну: див., Наприклад,

Hannes Leeb, Benedikt M. Pötscher, Розріджені оцінки та властивість оракула, або повернення оцінки Hodges, Journal of Econometrics, Volume 142, Issue 1, 2008, Pages 201-211,

що свідчить про те, що ризик будь-якого "оракул-оцінювача" (в сенсі "Фан і Лі", 2001) має надсумову, яка розходиться до нескінченності.

— користувач795305
джерело

-так властивість oracle для lasso констатує наступне: властивість oracle полягає в тому, що асимптотичний розподіл оцінювача є таким самим, як асимптотичний розподіл логістичної регресії LASSO лише на справжню підтримку

— Annalize Azzopardi

Визначення властивості Oracle дуже пов'язане з контекстом. Дуже коротка, але точна відповідь у лінійній регресії (точно високомірна):

оцінювач oracle повинен бути послідовним в оцінці параметрів і вибору змінної.

Зауважте, що оцінювач, послідовний у виборі змінної, не обов'язково відповідає оцінці параметрів. Дивіться адаптивний папір ласо для математичних визначень або просто перегляньте це слайди .

— TPArrow
джерело

У документі adaLASSO (зв'язаний у моєму коментарі) вони кажуть, що рівень конвергенції теж повинен бути оптимальним (додатково до послідовної оцінки). Це важлива і трохи складна концепція. Не могли б ви детальніше зупинитися на цьому?

— Річард Харді

Коефіцієнт конвергенції - це контекстне припущення. У lasso це для кількість спостережень. Однак послідовність є асимптотичним результатом у ласо.

\sqrt{n}

$\sqrt{n}$

n

$n$

— TPArrow

Тож ви б запропонували зняти вимогу про те, щоб ставка була оптимальною у визначенні властивості oracle?

— Річард Харді

У загальних визначеннях я не бачу обов'язку згадувати швидкість. Але теоретично нам потрібно знати / визначати оптимальну швидкість, очевидно.

— TPArrow

Спасибі. Я підбираю це, тому що ми тут говоримо про визначення, тому я намагаюся бути точним.

— Річард Харді