Якщо усадка застосовується розумно, чи завжди це працює краще для більш ефективних оцінювачів?

Припустимо, у мене є два оцінювачі та які є послідовними оцінками того самого параметра і такими, що з в сенсі psd. Таким чином, асимптотика є більш ефективною, ніж . Ці два оцінювачі засновані на різних функціях втрат. $\widehat{\beta}_1$ $\widehat{\beta}_2$ $\beta_0$

\sqrt{n} ({\hat{β}}_{1} - β_{0}) \overset{d}{\to} N (0, V_{1}), \sqrt{n} ({\hat{β}}_{2} - β_{0}) \overset{d}{\to} N (0, V_{2})

$\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)$

V_{1} \leq V_{2}

$V_1 \leq V_2$

{\hat{β}}_{1}

$\widehat{\beta}_1$

{\hat{β}}_{2}

$\widehat{\beta}_2$

Тепер я хочу шукати деякі методи усадки для поліпшення властивостей кінцевих зразків моїх оцінювачів.

Припустимо , що я знайшов метод усадки , що покращує оціночну в кінцевому зразку і дає мені значення MSE , рівних . Чи означає це , що я можу знайти відповідну техніку усадки для застосування до , що не дасть мені МФБ не більш , ніж ? $\widehat{\beta}_2$ $\widehat{\gamma}_2$ $\widehat{\beta}_1$ $\widehat{\gamma}_2$

Іншими словами, якщо усадка застосовується розумно, чи завжди це працює краще для більш ефективних оцінювачів?

— Алік
джерело

Відповіді:

Дозвольте запропонувати дещо сумний контрприклад. Каже , що не тільки асимптотический більш ефективний , ніж , але і досягає Крамер Рао нижньої межі. Розумна технологія усадки для з . Асимптотична дисперсія $\hat{\beta}_1$ $\hat{\beta}_2$ $\hat{\beta}_2$

{\hat{β}}_{2}^{*} = w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}

$\hat{\beta}_2^\ast = w \hat{\beta}_2 + (1 - w) \hat{\beta}_1$

w \in (0, 1)

$w\in(0,1)$

{\hat{β}}_{2}^{*}

$\hat{\beta}_2^\ast$ це

де остання рівність використовує лему в

V^{*} = A v a r (w {\hat{β}}_{2} + (1 - w) {\hat{β}}_{1}) = A v a r (w ({\hat{β}}_{2} - {\hat{β}}_{1}) + {\hat{β}}_{1}) = V_{1} + w^{2} (V_{2} - V_{1})

$V^\ast = \mathbb{Avar}(w \hat{\beta}_2 + (1 - w) \hat{\beta}_1) = \mathbb{Avar}(w (\hat{\beta}_2 - \hat{\beta}_1) + \hat{\beta}_1 ) = V_1 + w^2 (V_2 - V_1)$ Папір Хаусмана . Маємо

тому спостерігається поліпшення асимптотичного ризику (немає термінів зміщення). Таким чином , ми знайшли метод усадки , що дає деяку асимптотику (і тому ми сподіваємося , кінцевий зразок) поліпшення над

. Тим НЕ менше, немає ні одного схожою усадки оцінки

, що випливає з цієї процедури.

V_{2} - V^{*} = V_{2} (1 - w^{2}) - V_{1} (1 - w^{2}) \geq 0

$V_2 - V^\ast = V_2(1-w^2) - V_1(1-w^2) \geq 0$

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}^{*}

$\hat{\beta}_1^\ast$

Сенс тут, звичайно, полягає в тому, що усадка проводиться до ефективного оцінювача і тому не застосовується до самого ефективного оцінювача. На високому рівні це здається досить очевидним, але я б припустив, що в конкретному прикладі це не так очевидно ( Оцінювач MLE та Метод Моментів для рівномірного розподілу може бути прикладом?).

— Маттіас Шмідтлахер
джерело

Дякую за цікавий приклад! (+1) Тим НЕ менше, це не для мене ясно , що це слід розглядати зустрічний приклад: це як асимптотический і не показує , що

не може бути поліпшена , щоб мати такий же або менший ризик. (Насправді, ваш

автоматично має, в кращому випадку , такий же ризик , як

.) Для того , щоб забезпечити контрприклад, ризик модифікованої оцінки

повинні бути менше , ніж ризик

, і не ясно , що це можливо з допомогою цієї схеми.

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

{\hat{β}}_{1}

$\hat\beta_1$

— користувач795305

Дякуємо та вжиті пункти. Дозвольте мені , проте відзначити, що ніде в питанні не вказано , що він СКО модифікованого

повинні бути нижче , ніж

. Таким чином ,

є допустимими методами усадки в цьому контексті. Але я погоджуюся, що це лише часткова відповідь, і я з нетерпінням чекаю, що інші люди мають відповісти на це питання.

{\hat{β}}_{2}

$\hat{\beta}_2$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{2}^{⋆}

$\hat{\beta}^\star_2$

— Маттіас Шмідтлайчер

В абзаці, що починається "Припустимо, я знайшов ...", ОП, здається, це вказує. Я нерозумію? Надалі, нехай зірки позначають модифіковані оцінювач так , що

для деяких (можливо , усадки) функції

. Припустимо , ми знаходимо

, так що

{\hat{β}}_{j}^{*} = f_{j} ({\hat{β}}_{j})

$\hat\beta_j^* = f_j(\hat\beta_j)$

f_{j}

$f_j$

{\hat{β}}_{2}^{*}

$\hat\beta_2^*$

r i s k ({\hat{β}}_{2}) \geq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_2) \ge risk(\hat\beta_2^*)$ . У посилального пункті О.П. запитує , чи можемо ми знайти деякі

, так що

f_{1}

$f_1$

r i s k ({\hat{β}}_{1}^{*}) \leq r i s k ({\hat{β}}_{2}^{*})

$risk(\hat\beta_1^*) \le risk(\hat\beta_2^*)$

— користувач795305

Я бачу. Якщо це питання,

- просто ідентичність, а відповідь ствердна в прикладі. Я прочитав питання про те , «Якщо ми зможемо знайти функцію

, так що

, чи існує

щоб

f_{1}

$f_1$

f (β, x)

$f(\beta, x)$

r i s k (f ({\hat{β}}_{2}, x)) < r i s k ({\hat{β}}_{2})

$risk(f(\hat{\beta}_2,x)) < risk(\hat{\beta}_2)$

g (β, x)

$g(\beta, x)$

«?

r i s k (g ({\hat{β}}_{1}, x)) < r i s k ({\hat{β}}_{1})

$risk(g(\hat{\beta}_1,x)) < risk(\hat{\beta}_1)$

— Маттіас Schmidtblaicher

дякую за те, що поділилися цими кредитами, хоча я не дуже відповів на ваше запитання ...

— Matthias Schmidtblaicher

-2

Це цікаве питання, де я спершу хочу зазначити деякі основні моменти.

Два оцінники послідовні
є більш ефективнимніжтак як він досягає менше варіацій $\hat{\beta}_1$ $\hat\beta_2$
Функції втрати неоднакові
один метод усадки застосовується до одного, щоб зменшити варіацію, яка сама по собі стає кращою оцінкою
Питання : Іншими словами, якщо усадка застосовується розумно, чи завжди це працює краще для більш ефективних оцінювачів?

Принципово можна вдосконалити оцінювач у певних рамках, наприклад, об'єктивний клас оцінювачів. Однак, як ви зазначили, різні функції втрат ускладнюють ситуацію, оскільки одна функція втрати може мінімізувати квадратичну втрату, а інша мінімізує ентропію. Більше того, використання слова "завжди" є дуже складним, оскільки якщо один оцінювач найкращий у класі, ви не можете вимагати кращого оцінювача, логічно кажучи.

Для простого прикладу (у тій же самій рамці) дозвольте два оцінки, а саме Брідж (пенізована регресія з нормою штрафу) та Лассо (перша норма пеналізованої ймовірності) та розріджений набір параметрів, а саме , лінійна модель , нормальність члена помилки, , відома , квадратична функція втрат (найменші квадратні помилки) та незалежність коваріатів у . Нехай вибираємо для $l_p$ $\beta$ $y=x\beta+e$ $e\sim N(0,\sigma^2<\infty)$ $\sigma$ $x$ $l_p$ $p=3$ для першого оцінювача і для другого. Тоді ви можете вдосконалити оцінювачі, вибравши що закінчується кращим оцінником із меншою дисперсією. Тоді в цьому прикладі є шанс покращення оцінки. $p=2$ $p\rightarrow 1$

Тож моя відповідь на ваше запитання - так, якщо ви припускаєте те саме сімейство оцінювачів і ту саму функцію втрат, як і припущення.

— TPArrow
джерело

p \to 1

$p \to 1$

p = 3

$p=3$

p = 2

$p=2$

ℓ_{p}

$\ell_p$

l_{p}

$l_p$

l_{1}

$l_1$

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$

ℓ_{p}

$\ell_p$

{\hat{α}}_{j}^{p} = \arg min_{α} ‖ α - {\hat{β}}_{j} ‖_{2}^{2} + λ ‖ α ‖_{p}

$\hat\alpha^p_j = \arg\min_\alpha \|\alpha-\hat\beta_j\|_2^2 + \lambda \|\alpha\|_p$

j \in {1, 2}

$j \in \{1,2\}$

p = 2, 3

$p=2,3$

дякую @Ben, я вважаю, що ми не маємо єдиної думки щодо визначення усадки. Ви сприймаєте це як пост-процес, але мене як вбудовану обробку. Я думаю, що ми обидва праві, оскільки питання не враховує тип усадки. PS: Я здогадуюсь, що ви маєте на увазі під термоусадкою, як жорсткий поріг.

— TPArrow

{\hat{β}}_{1}

$\hat\beta_1$

{\hat{β}}_{2}

$\hat\beta_2$ , потім просить застосувати техніку усадки, до якої слід застосувати

{\hat{β}}_{1}

$\hat\beta_1$ або

{\hat{β}}_{2}

$\hat\beta_2$ . Думаю, варто переглянути це питання з огляду на це.

— користувач795305