Як оцінювач, що мінімізує зважену суму квадратичного зміщення та дисперсії, вписується в теорію рішення?

Гаразд - моє оригінальне повідомлення не вдалося отримати відповідь; так, дозвольте мені поставити питання по-іншому. Почну з пояснення свого розуміння оцінки з теоретичної точки зору рішення. Я не маю жодної формальної підготовки, і це не здивувало б мене, якщо моє мислення якимось чином має помилки.

Припустимо, у нас є деяка функція втрати . Очікувана втрата - (частість) ризику: $L(\theta,\hat\theta(x))$

R (θ, \hat{θ} (х)) = \int L (θ, \hat{θ} (х)) L (θ, \hat{θ} (х)) г х,

$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$

де - вірогідність; а ризик Байєса - це очікуваний частофілістський ризик: $\mathcal{L}(\theta,\hat\theta(x))$

r (θ, \hat{θ} (х)) = \int \int R (θ, \hat{θ} (х)) π (θ) г х г θ,

$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$

де - наш пріоритет. $\pi (\theta)$

Загалом, ми знаходимо які зводять до мінімуму і все це чудово виходить; крім того, застосовується теорема Фубіні, і ми можемо змінити порядок інтеграції, щоб будь-який заданий який мінімізує не залежав від усіх інших. Таким чином, принцип ймовірності не порушується, і ми можемо почувати себе добре, як бути баєсами і так далі. $\hat\theta(x)$ $r$ $\hat\theta(x)$ $r$

Наприклад, враховуючи звичну втрату помилок у квадраті, наш частістський ризик - це середня квадратична помилка або сума квадратичного зміщення та дисперсії, а ризик Байеса - це очікувана сума зсуву в квадраті та відхилення з урахуванням нашої попередньої - тобто, післяочікуваної очікуваної втрати. $L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

Мені це здається розумним поки що (хоча я можу бути абсолютно неправильним); але, у будь-якому випадку, речі мають для мене набагато менший сенс для якихось інших цілей. Наприклад, припустимо, що замість мінімізації суми рівномірно зваженого квадратичного зміщення та дисперсії я хочу мінімізувати неоднаково зважену суму - тобто я хочу, щоб мінімізував: $\hat\theta(x)$

(Е [\hat{θ} (х)] - θ)^{2} + к Е [(\hat{θ} (х) - Е [\hat{θ} (х)])^{2}],

$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$

де - деяка позитивна реальна константа (крім 1). $k$

Я зазвичай називаю таку суму як "об'єктивну функцію", хоча можливо, я неправильно вживаю цей термін. Моє запитання не в тому, як знайти рішення - пошук який мінімізує цю цільову функцію, можна виконати чисельно, а моє запитання двояке: $\hat\theta(x)$

Чи може така об'єктивна функція вписатися в парадигму теорії рішень? Якщо ні, чи є інша основа, в яку вона вписується? Якщо так, то як? Схоже, що пов'язана функція втрати була б функцією , та , яка - через очікування - є ( Я вважаю) не належним. $\theta$ $\hat\theta(x)$ $\mathbb{E}[\hat\theta(x)]$
Така об'єктивна функція порушує принцип ймовірності, оскільки будь-яка дана оцінка залежить від усіх інших оцінок (навіть гіпотетичних). Тим не менш, бувають випадки, коли торгувати збільшенням відхилення помилок для зменшення упередженості бажано. Враховуючи таку мету, чи існує концептуалізація проблеми такою, щоб вона відповідала принципу ймовірності? $\hat\theta(x_{j})$ $\hat\theta(x_{i\neq j})$

Я припускаю, що я не зрозумів деяких фундаментальних концепцій теорії / оцінювання / оптимізації рішень. Заздалегідь дякую за будь-які відповіді. Будь ласка, припустіть, що я нічого не знаю, оскільки я не маю ніякої підготовки в цій галузі та математики загалом. Крім того, будь-які запропоновані посилання (для наївного читача) цінуються.

— користувач153935
джерело

Це досить цікаве та нове питання! На формальному рівні за допомогою функції частого ризику означає використовувати (наприклад) функцію втрати, визначену оскільки немає жодних підстав забороняти очікування, такі як відображатись у функції втрат. Те, що вони залежать від усього розподілу - це особливість, яка може здатися дивною, але весь розподіл встановлюється як функція і отримана втрата, таким чином, є функцією

(Е_{θ} [\hat{θ} (Х)] - θ)^{2} + к Е_{θ} [(\hat{θ} (Х) - Е [\hat{θ} (Х)])^{2}],

$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$

L (θ, \hat{θ}) = (Е_{θ} [\hat{θ} (Х)] - θ)^{2} + к (\hat{θ} - Е_{θ} [\hat{θ} (Х)])^{2}

$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$

E_{θ} [\hat{θ} (X)]

$\mathbb{E}_\theta[\hat\theta(X)]$

\hat{θ} (X)

$\hat{\theta}(X)$

θ

$\theta$

θ

$\theta$ , і розподіл .

\hat{θ}

$\hat{\theta}$

\hat{θ} (X)

$\hat{\theta}(X)$

Я чудово спрогнозую заперечення, що функція втрати в принципі є функцією стану природи, , і дії, , що відбувається, наприклад, у просторі параметрів , отже, не передбачає жодного розподілу припущень. Що правильно з точки зору теорії ігор. Але враховуючи, що це теорія статистичного рішення, де рішення буде залежати від спостереження випадкової величини , я не бачу причини, чому узагальнення, де функція втрати залежить від розподілу , індексується $L(\theta,\delta)$ $\theta$ $\delta$ $\Theta$ $\delta$ $x$ $X$ $X$ $\theta$ , не можна було розглянути. Те, що він може порушити принцип ймовірності, не викликає безпосереднього занепокоєння в теорії рішень і не перешкоджає формальному виведенню оцінки Байєса.

— Сіань
джерело