Математична інтуїція рівняння зміщення-варіації

Нещодавно я задав питання, що шукав математичну інтерпретацію / інтуїцію за елементарним рівнянням, що стосується середньої вибірки та дисперсії: , геометрична чи інша.$E[X^2] = Var(X) +(E[X])^2$

Але зараз мені цікаво поверхнево подібне рівняння компромісії відхилення.

$$\begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray}$$ (формули з Вікіпедії )

Для мене існує поверхнева подібність з рівнянням зміщення відхилення зміщення для регресії: три доданки з квадратами і два додавання до іншого. Дуже піфагорійський вигляд. Чи існує подібний векторний зв’язок, включаючи ортогональність для всіх цих елементів? Або є якась інша пов'язана математична інтерпретація, яка застосовується?

Я шукаю математичну аналогію з деякими іншими математичними об'єктами, які можуть пролити світло. Я не шукаю аналогії точності та точності, яка тут добре висвітлена. Але якщо існують нетехнічні аналогії, які люди можуть надати між компромісом відхилення відхилення та набагато більш базовим середньо-різницевим співвідношенням, це теж було б чудово.

Подібність більш ніж поверхнева.

"Компромісія дисперсії зміщення" може бути інтерпретована як теорема Піфагора, застосована до двох перпендикулярних евклідових векторів: довжина одного є стандартним відхиленням, а довжина іншого - зміщення. Довжина гіпотенузи - це середньоквадратична помилка у квадраті.

Фундаментальні відносини

В якості точки відправлення розглянемо цей виявляючий обчислення, дійсний для будь-якої випадкової величини з кінцевим другим моментом і будь-яким реальним числом . Оскільки другий момент є кінцевим, має кінцеве середнє для якого , звідкиa X μ = E ( X ) E ( X - μ ) = $X$$a$$X$$\mu=\mathbb{E}(X)$$\mathbb{E}(X-\mu)=0$

$$\eqalign{ \mathbb{E}((X-a)^2) &= \mathbb{E}((X-\mu\,+\,\mu-a)^2) \\ &= \mathbb{E}((X-\mu)^2) + 2 \mathbb{E}(X-\mu)(\mu-a) + (\mu-a)^2 \\ &= \operatorname{Var}(X) + (\mu-a)^2.\tag{1} }$$

Це показує , як середній квадрат відхилення між і будь-який «базової лінії» значення змінюється з : вона є квадратичною функцією з мінімумом , де середній квадрат відхилення дисперсія .a a a μ $X$$a$$a$$a$$\mu$$X$

Зв'язок з оцінювачами та зміщенням

Будь-який оцінювач є випадковою змінною, оскільки (за визначенням) це (вимірювана) функція випадкових змінних. Дозволяючи йому грати роль у попередньому, а дозволяючи оцінці (річ повинна оцінюватися) бути , у нас є ; Х & thetas$\hat \theta$$X$$\hat\theta$$\theta$

$$\operatorname{MSE}(\hat\theta) = \mathbb{E}((\hat\theta-\theta)^2) = \operatorname{Var}(\hat\theta) + (\mathbb{E}(\hat\theta)-\theta)^2.$$

Повернемось до тепер, коли ми побачили, як твердження про зміщення + дисперсія для оцінювача буквально є випадком . Питання шукає "математичні аналогії з математичними об'єктами". Ми можемо зробити більше, показавши, що випадкові змінні, що інтегруються в квадрат, природним чином можуть бути перетворені в евклідовий простір.$(1)$$(1)$

Математичний фон

У дуже загальному сенсі випадкова величина - це (вимірювана) реально оцінена функція на просторі ймовірностей . Сукупність таких функцій, які є квадратною інтеграцією, яку часто записують (з розумінням заданої структури ймовірностей), майже є простором Гільберта. Для того, щоб зробити це в єдине ціле, ми повинні прирівнювати будь-які дві випадкові величини і , які на насправді не відрізняються з точки зору інтеграції: тобто, ми говоримо і є еквівалентними , коли$(\Omega, \mathfrak{S}, \mathbb{P})$$\mathcal{L}^2(\Omega)$$X$$Y$$X$$Y$

$$\mathbb{E}(|X-Y|^2) = \int_\Omega |X(\omega)-Y(\omega)|^2 d\mathbb{P}(\omega) = 0.$$

Це просто , щоб перевірити , що це справжнє ставлення еквівалентності: найголовніше, коли еквівалентний і еквівалентно , то обов'язково буде еквівалентний . Таким чином, ми можемо розділити всі квадратні інтегруючі випадкові величини на класи еквівалентності. Ці класи утворюють множину . Крім того, успадковує векторний простір , структура визначається поточечного складання значень і точково скалярного множення. На цьому векторному просторі функція$X$$Y$$Y$$Z$$X$$Z$$L^2(\Omega)$$L^2$$\mathcal{L}^2$

$$X \to \left(\int_\Omega |X(\omega)|^2 d\mathbb{P}(\omega)\right)^{1/2}=\sqrt{\mathbb{E}(|X|^2)}$$

- норма , часто пишеться . Ця норма перетворює у простір Гільберта. Подумайте про простір Гільберта як про "нескінченний розмірний евклідовий простір". Будь-яке кінцевовимірне підпростір успадковує норму з а , з цією нормою, є евклідовим простором: ми можемо робити в ньому евклідову геометрію.$||X||_2$$L^2(\Omega)$$\mathcal{H}$$V\subset \mathcal{H}$$\mathcal{H}$$V$

Нарешті, нам потрібен один факт, який є особливим для просторів ймовірностей (а не просторів загальної міри): оскільки є ймовірністю, він обмежений (на ), звідси постійні функції (для будь-яких фіксоване дійсне число ) - квадратні інтегрувані випадкові величини з кінцевими нормами.$\mathbb{P}$$1$$\omega\to a$$a$

Геометрична інтерпретація

Розглянемо будь-яку квадратну інтегральну випадкову змінну , яку вважають представником класу її еквівалентності в . Він має середній , які (як можна перевірити) залежить тільки від класу еквівалентності . Нехай - клас постійної випадкової величини.$X$$L^2(\Omega)$$\mu=\mathbb{E}(X)$$X$$\mathbf{1}:\omega\to 1$

$X$ і генерують евклідовий підпростір , розмір якого не більше . У цьому підпросторі, являє собою квадрат довжини і є довжина квадрата постійної випадкової величини . Основоположним є те, що перпендикулярно до . (Одне визначення полягає в тому, що це унікальне число, для якого це так.) Зв'язок може бути записаний$\mathbf{1}$$V\subset L^2(\Omega)$$2$$||X||_2^2 = \mathbb{E}(X^2)$$X$$||a\,\mathbf{1}||_2^2 = a^2$$\omega\to a$$X-\mu\mathbf{1}$$\mathbf{1}$$\mu$$(1)$

$$||X - a\mathbf{1}||_2^2 = ||X - \mu\mathbf{1}||_2^2 + ||(a-\mu)\mathbf{1}||_2^2.$$

Це дійсно саме теорема Піфагора, фактично в тій же формі, відомі 2500 років тому. Об'єкт є гіпотенузою прямого трикутника з ніжками і .

$$X-a\mathbf{1} = (X-\mu\mathbf{1})-(a-\mu)\mathbf{1}$$ $X-\mu\mathbf{1}$$(a-\mu)\mathbf{1}$

Якщо ви хочете математичних аналогій, то ви можете використовувати все, що може бути виражено через гіпотенузу прямого трикутника в евклідовому просторі. Гіпотенуза буде представляти "помилку", а ноги представлятимуть зміщення та відхилення від середнього.

Це спосіб візуально подумати про точність та зміщення відхилень. Припустимо, ви дивитесь на ціль і робите багато пострілів, які всі розкидані близько до центру мішені таким чином, щоб не було упередженості. Тоді точність визначається виключно дисперсією, а коли дисперсія невелика, стрілець точний.

Тепер розглянемо випадок, коли велика точність, але велика упередженість. У цьому випадку кадри розкидані навколо точки, далеко від центру. Щось псує ціль, але навколо цієї мети кожен постріл близький до нової точки цілі. Стрілець точний, але дуже неточний через упередженість.

Є й інші ситуації, коли постріли точні через невелику упередженість та високу точність. Те, що ми хочемо, - це не зміщення та невелика дисперсія або невелика дисперсія з малим ухилом. У деяких статистичних проблемах ви не можете мати обох. Таким чином, MSE стає мірою точності, яку ви хочете використовувати, яка відтворює зміщення відхилення дисперсії та мінімізацію MSE повинна стати метою.