Декомпозиція дисперсії зміщення: термін для очікуваної помилки прогнозу в квадраті за вирахуванням помилки

Хасті та ін. "Елементи статистичного навчання" (2009) розглядають процес формування даних

$$Y = f(X) + \varepsilon$$ з $\mathbb{E}(\varepsilon)=0$ і $\text{Var}(\varepsilon)=\sigma^2_{\varepsilon}$.

Вони представляють наступне розмежування дисперсійної дисперсії очікуваної помилки прогнозу в квадраті в точці $x_0$ (с. 223, формула 7.9):

$$\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + \text{Var}(\hat f(x_0)) \\ &= \text{Irreducible error} + \text{Bias}^2 + \text{Variance} .\\ \end{aligned}$$ У власній роботі я не вказую $\hat f(\cdot)$ але прийміть довільний прогноз $\hat y$натомість (якщо це актуально).
Питання: Я шукаю термін для $$\text{Bias}^2 + \text{Variance}$$ або, точніше, $$\text{Err}(x_0) - \text{Irreducible error}.$$

Я пропоную зменшити помилку . Це також термінологія, прийнята в пункті 2.1.1 Гарета, Віттена, Хасті і Тібшірані, «Вступ до статистичного навчання» , що в основному є спрощенням ESL + деяких дуже крутих лабораторій коду R (за винятком того, що вони використовують attach, але, ей, ніхто не ідеальний). Я перерахую нижче причини плюсів і мінусів цієї термінології.

---

Перш за все, ми повинні згадати, що ми не тільки припускаємо $\epsilon$мати значення 0, але також бути незалежним від$X$(див. параграф 2.6.1, формула 2.29 ESL, 2- ^е видання, 12- ^е друк). Тоді звичайно$\epsilon$ не можна оцінити з $X$незалежно від того, який клас гіпотези $\mathcal{H}$(сімейство моделей), яку ми обираємо, і наскільки великий зразок ми використовуємо для вивчення своєї гіпотези (оцінюємо нашу модель). Це пояснює, чому$\sigma^2_{\epsilon}$ називається непридатною помилкою .

За аналогією видається, що залишилася частина помилки, природно, $\text{Err}(x_0)-\sigma^2_{\epsilon}$, помилка , що зменшується . Тепер ця термінологія може здатися дещо заплутаною: насправді, з припущення, яке ми зробили для процесу генерації даних, ми можемо довести, що

$$f(x)=\mathbb{E}[Y\vert X=x]$$

Таким чином, помилка, що зменшується, може бути зведена до нуля, якщо і лише тоді $\mathbb{E}[Y\vert X=x]\in \mathcal{H}$(якщо, звичайно, у нас є послідовний оцінювач). Якщо$\mathbb{E}[Y\vert X=x]\notin \mathcal{H}$, ми не можемо привести помилку, що приводиться до 0, навіть в межах нескінченного розміру вибірки. Однак це все-таки єдина частина нашої помилки, яку можна зменшити, якщо не усунути, змінивши розмір вибірки, ввівши регуляризацію (усадку) в наш оцінювач тощо. Іншими словами, вибираючи іншу$\hat{f}(x)$ в нашій родині моделей.

В основному, зводиться мається на увазі не в сенсі нульових ( юк !), А в сенсі тієї частини помилки, яку можна зменшити, навіть якщо не обов'язково зробити довільно малою. Також зауважте, що в принципі цю помилку можна зменшити до 0 шляхом збільшення$\mathcal{H}$ поки вона не включає $\mathbb{E}[Y\vert X=x]$. У контрасті,$\sigma^2_{\epsilon}$ не можна зменшити, незалежно від величини $\mathcal{H}$ є, тому що $\epsilon\perp X$.

У системі, для якої всі фізичні події були правильно змодельовані, ліворуч буде шумом. Однак, як правило, в помилках моделі даних більше структури, ніж просто шум. Наприклад, моделювання зміщення та шуму поодинці не пояснює криволінійних залишків, тобто немодельовану структуру даних. Сукупність нез'ясованих фракцій становить$1-R^2$, яка може полягати у хибному представленні фізики, а також упередженості та шуму відомої структури. Якщо під ухилом ми маємо на увазі лише помилку в оцінці середнього$y$Під "невідмінною помилкою" ми маємо на увазі шум, а під різницею маємо на увазі системну фізичну помилку моделі, тоді сума зміщення (у квадраті) та системна фізична помилка не є особливим нічого, це просто помилка, яка не є шумом . Термін (квадрат) неправильної реєстрації може бути використаний для цього в конкретному контексті, див. Нижче. Якщо ви хочете сказати помилку незалежно від$n$, проти помилки, яка є функцією $n$, сказати, що. ІМХО, жодна помилка не зводиться, так що властивість невідводимості вводить в оману настільки, що вона плутає більше, ніж висвітлює.

Чому мені не подобається термін "скорочуваність"? Це відтіняє самореференційну тавтологію, як в Аксіомі приводимості . Я погоджуюся з Расселом 1919 р., Що "я не бачу жодних причин вважати, що аксіома приводимості є логічно необхідною, що було б означати, якщо сказати, що це правда у всіх можливих світах. Прийняття цієї аксіоми до системи Таким чином, логіка є дефектом ... сумнівним припущенням ".

Нижче наводиться приклад структурованих залишків через неповне фізичне моделювання. Це являє собою залишки від звичайних найменших квадратів, що відповідають масштабному гамма-розподілу, тобто гамма-змінному (GV), для зразків плазми крові радіоактивності ниркових клубочково-фільтрованих радіофармацевтичних препаратів [ 1 ]. Зауважте, що більше даних, які відкидаються ($n=36$ для кожного зразка часу), тим краще модель стає такою, що зменшуваність спростує з більшим діапазоном вибірки.

Примітно, що коли випадає перший зразок за п’ять хвилин, фізика поліпшується, як це відбувається послідовно, оскільки один продовжує випускати ранні зразки до 60 хв. Це свідчить про те, що, хоча врешті-решт GV формує хорошу модель для концентрації препарату в плазмі, протягом раннього часу відбувається щось інше.

Дійсно, якщо один охоплює два гамма-розподіли, один для раннього часу, доставку препарату в кровообіг та один для кліренсу, цей тип помилок, помилка фізичного моделювання, може бути зменшений до менше $1\%$[ 2 ]. Далі - ілюстрація цієї згортки.

З цього останнього прикладу для квадратного кореня рахується проти часового графіка, $y$-осі відхилення - це стандартизовані відхилення в розумінні помилки Пуассона. Такий графік - це зображення, для якого помилки придатності є неправильною реєстрацією зображення від спотворення або викривлення. У цьому контексті, і лише в цьому контексті, неправильна реєстрація - це упередження плюс помилка моделювання, а повна помилка - це неправильна реєстрація плюс помилка шуму.