Розкладання MSE до варіації та квадратичного зміщення

Показавши, що MSE можна розкласти на дисперсію плюс квадрат Біаса, доказ у Вікіпедії має крок, виділений на малюнку. Як це працює? Як очікування підштовхується до продукту від 3-го до 4-го кроку? Якщо два терміни незалежні, чи не слід застосовувати очікування до обох термінів? а якщо їх немає, чи дійсний цей крок? введіть тут опис зображення

random-variable expected-value mse

— statBeginner
джерело

Відповіді:

Фокус в тому , що $\mathbb{E}(\hat{\theta}) - \theta$ є константою.

— АдамО
джерело

О Я бачу. Єдиний невідомий тут оцінювач. Правильно?

— statBeginner

Так. Беручи очікування означає , що оцінка йде до того , що це оцінки, це те, що робить

перейти на 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— Adamo

Вибачте, це речення не має для мене особливого сенсу. Якщо оцінювач перейшов до того, що оцінював, чи не зробить це об'єктивним? Чи можна пояснити тим

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

= 0?

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— користувач1158559

@ user1158559 Термін продукту в середині - це постійний час, щось із очікуваним значенням 0. Навіть якщо тета-капелюх є упередженим, це все ще постійні рази 0.

— AdamO

є змінною і не є постійною. Крім, фокустомуменш тривіальним і

константою не стає 0 за замовчуванням (наприклад

). Справжня хитрість полягає в тому, що

є постійною (і може бути виведена з цілісного), так

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

Відповідь Адама правильно про трюк , що є константою. Однак це допомагає знайти кінцевий результат і не чітко пояснює питання про конкретний крок у статті вікіпедії (редагувати: що я бачу зараз, було неоднозначним щодо висвітлення та кроку від першого рядка до четвертого рядка). $E(\hat{\theta}) - \theta$

(Зверніть увагу , що мова йде про змінної , який відрізняється відпостійноїу відповіді Адама я написав це неправильно в моєму коментаріщо розширюють умови для більшої ясності: .. змінна оцінне , константи очікування цієї оцінки і справжнє значення) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Трюк 1: Поміркуйте

змінна $x=\hat{\theta}$

константа $a=\mathbb{E}\left[ \hat{\theta} \right]$

а константа $b = \theta$

Тоді відношення можна легко записати, використовуючи правила перетворення, що виражають моменти змінної про в термінах моментів змінної про . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Трюк 2: На другий момент у наведеній формулі є три доданки в підсумовуванні. Ми можемо виключити один з них (випадок ) , тому що $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Тут також можна зробити аргумент, коли щось є постійним. А саме якщо - константа, використовуючи , яка є константою, ви отримуєте . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Більш інтуїтивно: ми зробили момент про , рівний центральному моменту (а непарні центральні моменти - нулю). Ми отримуємо трохи тавтології. За віднімаючи середнє з , ми створюємо змінну з нульовим середнім. І, середнє значення 'змінної із середнім нулем' дорівнює нулю. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

У статті вікіпедії використовуються ці два хитрощі відповідно у третьому та четвертому рядках.

Вкладене очікування в третьому рядку

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

спрощується, приймаючи постійну частину поза ним (трюк 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Термін вирішуються (рівна нулю), використовуючи той фактщо зміннамає середній нуль (трик 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Секст Емпірік
джерело

не є постійною величиною. $E(\hat{\theta}) - \theta$

Коментар @ user1158559 насправді правильний:

Е [\hat{θ} - Е (\hat{θ})] = Е (\hat{θ}) - Е [Е (\hat{θ})] = Е (\hat{θ}) - Е (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— маленький Монстер
джерело

Я не бачу, що ти намагаєшся показати. Також ухил може бути не нульовим, але це не означає, що він не є постійним.

— Майкл Р. Черник

Це не константа, тому що

де

є заданої тренування даних, яка також є випадковою величиною. Таким чином, його очікування не є постійним.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

Також факт, що це не константа або не може пояснити, як можливий етап 4 з кроку 3. З іншого боку, коментар @ user1158559 пояснює це.

— little_monster

@Michael, в питанні виникло плутанина. Виділена частина містить цей вислів

, але в тексті питання згадуєтьсящо замістьпро перехід від третьої лінії до четвертої лінії, змінюючи вкладеність очікування.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Секст Емпірік