Проблема щодо оцінюваності параметрів

Нехай і - чотири випадкові величини, такі, що , де - невідомі параметри. Припустимо також, що ,Тоді яка з них справжня? $Y_1,Y_2,Y_3$ $Y_4$ $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ $\theta_1,\theta_2,\theta_3$ $Var(Y_i)=\sigma^2$ $i=1,2,3,4.$

A. є . $\theta_1,\theta_2,\theta_3$

B. є . $\theta_1+\theta_3$

C. є , а є найкращою лінійною неупередженою оцінкою . $\theta_1-\theta_3$ $\dfrac{1}{2}(Y_1+Y_3)$ $\theta_1-\theta_3$

D. є оцінним. $\theta_2$

Відповідь дана С, що мені здається дивним (бо я отримав D).

Чому я отримав D? Оскільки, . $E(Y_2-Y_4)=2\theta_2$

Чому я не розумію, що C може бути відповіддю? Гаразд, я бачу, є неупередженим оцінювачем , а його "дисперсія менша, ніж . $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ $\theta_1-\theta_3$ $\dfrac{Y_1+Y_3}{2}$

Скажіть, будь ласка, де я роблю неправильно.

Також розміщено тут: /math/2568894/a-problem-on-estimability-of-parameters

self-study estimation inference

— Stat_prob_001
джерело

Поставте self-studyтег, або хтось підійде і закриє ваше запитання.

— Карл

@Carl це зроблено, але чому?

— Stat_prob_001

Це правила для сайту, а не мої правила, правила сайту.

— Карл

Є ?

Y_{1} \neq Y_{3}

$Y_1\neq Y_3$

— Карл

@Carl можна подумати таким чином: де - rv із середнім значенням та дисперсією . І, де - rv із середнім значенням та дисперсією

Y_{1} = θ_{1} - θ_{3} + ϵ_{1}

$Y_1=\theta_1-\theta_3+\epsilon_1$

ϵ_{1}

$\epsilon_1$

0

$0$

σ^{2}

$\sigma^2$

Y_{3} = θ_{1} - θ_{3} + ϵ_{3}

$Y_3=\theta_1-\theta_3+\epsilon_3$

ϵ_{3}

$\epsilon_3$

0

$0$

σ^{2}

$\sigma^2$

— Stat_prob_001

Ця відповідь підкреслює перевірку достовірності. Властивість мінімальної дисперсії є моїм другорядним моментом.

Для початку підсумовуємо інформацію за матричною формою лінійної моделі наступним чином: де(для обговорення оцінюваності припущення про сферичність не потрібне. Але для обговорення властивості Гаусса-Маркова нам потрібно припустити сферичність).

\begin{aligned} (1) & Y := [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] = [\begin{matrix} 1 & 0 & - 1 \\ 1 & 1 & - 1 \\ 1 & 0 & - 1 \\ 1 & - 1 & - 1 \end{matrix}] [\begin{matrix} θ_{1} \\ θ_{2} \\ θ_{3} \end{matrix}] + [\begin{matrix} ε_{1} \\ ε_{2} \\ ε_{3} \\ ε_{4} \end{matrix}] := X β + ε, \end{aligned}

$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$

E (ε) = 0, Var (ε) = σ^{2} I

$E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$

ε

$\varepsilon$

Якщо конструкція матриці має повний ранг, то параметр оригінал допускає унікальні найменших квадратів оцінки . Отже, будь-який параметр , визначається як лінійна функція з є поважна в тому сенсі , що вона може бути однозначно оцінена з допомогою даних по методу найменших квадратів оцінки , як . $X$ $\beta$ $\hat{\beta} = (X'X)^{-1}X'Y$ $\phi$ $\phi(\beta)$ $\beta$ $\hat{\beta}$ $\hat{\phi} = p'\hat{\beta}$

Тонкість виникає, коли не є повноцінним. Щоб детально обговорити, ми спочатку виправляємо деякі позначення та терміни (я дотримуюсь конвенції Безкоординатного підходу до лінійних моделей , Розділ 4.8. Деякі терміни звучать без потреби технічно). Крім того, обговорення стосується загальної лінійної моделі з і . $X$ $Y = X\beta + \varepsilon$ $X \in \mathbb{R}^{n \times k}$ $\beta \in \mathbb{R}^k$

Регресійний колектор являє собою сукупність середніх векторів , як ; змінюється в : $\beta$ $\mathbb{R}^k$ $M = {X β : β \in R^{k}} .$ $M = \{X\beta: \beta \in \mathbb{R}^k\}.$

Параметричний функціонал являє собою лінійний функціонал , $\phi = \phi(\beta)$ $\beta$ $ϕ (β) = p^{'} β = p_{1} β_{1} + \dots + p_{k} β_{k} .$ $\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$

Як було сказано вище, коли , не кожен параметричний функціонал піддається оцінці. Але зачекайте, яке технічне визначення терміна оцінюється ? Здається, важко дати чітке визначення, не турбуючи трохи лінійної алгебри. Одне визначення, яке, на мою думку, є найбільш інтуїтивним, таке (з тієї ж вищезгаданої посилання): $\text{rank}(X) < k$ $\phi(\beta)$

Визначення 1. Параметричний функціонал оцінюється, якщо він однозначно визначається в тому сенсі, що коли задовольняють . $\phi(\beta)$ $X\beta$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1,\beta_2 \in \mathbb{R}^k$ $X\beta_1 = X\beta_2$

Інтерпретація. Вищенаведене визначення передбачає, що відображення від регресійного колектора до простору параметрів повинно бути однозначним, що гарантується при (тобто, коли сам по собі). Коли , ми знаємо, що існує такий, що $M$ $\phi$ $\text{rank}(X) = k$ $X$ $\text{rank}(X) < k$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$ . Вищеозначене визначення, яке описано вище, фактично виключає ті структурно-дефіцитні параметричні функціонали, які призводять до самих різних значень навіть з однаковим значенням на , що не має сенсу природно. З іншого боку, оціночний параметричний функціонал дійсно дозволяє випадок з , доки виконується умова . $M$ $\phi(\cdot)$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$

Існують й інші еквівалентні умови для перевірки оцінювання параметричного функціоналу, наведеного в тій же посиланні, Пропозиція 8.4.

Після такого багатослівного вступу на тлі повернемося до вашого питання.

A. сам по собі не оцінюється з тієї причини, що , що тягне за собою з . Хоча наведене вище визначення дано для скалярних функціоналів, воно легко узагальнюється до функціональних значень, що оцінюються векторними. $\beta$ $\text{rank}(X) < 3$ $X\beta_1 = X\beta_2$ $\beta_1 \neq \beta_2$

B. не піддається оцінці. Для доцільності розглянемо і , що дає але $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$ $\beta_1 = (0, 1, 0)'$ $\beta_2 = (1, 1, 1)'$ $X\beta_1 = X\beta_2$ . $\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C. оцінюється. Оскільки тривіально означає , тобто $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$ $X\beta_1 = X\beta_2$ $\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ . $\phi_2(\beta_1) = \phi_2(\beta_2)$

D. також оцінюється . Виведення від до також тривіальне. $\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$ $X\beta_1 = X\beta_2$ $\phi_3(\beta_1) = \phi_3(\beta_2)$

Після перевірки оцінюваності теорема (пропозиція 8.16, та ж посилання) стверджує властивість Гаусса-Маркова . Виходячи з цієї теореми, друга частина варіанту С неправильна. Найкраща лінійна неупереджена оцінка - , згідно з теоремою, наведеною нижче. $\phi(\beta)$ $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$

Теорема. Нехай бути поважний параметричний функціонал, то її найкращою лінійної несмещенной оцінкою (ака, Гаусса-Маркова оцінка) є для будь-якого рішення до нормальних рівнянь . $\phi(\beta) = p'\beta$ $\phi(\hat{\beta})$ $\hat{\beta}$ $X'X\hat{\beta} = X'Y$

Доказ полягає в наступному:

Доказ. Безпосередні обчислення показують , що нормальні рівняння є який, після спрощення, це
$[\begin{matrix} 4 & 0 & - 4 \\ 0 & 2 & 0 \\ - 4 & 0 & 4 \end{matrix}] \hat{β} = [\begin{matrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & - 1 \\ - 1 & - 1 & - 1 & - 1 \end{matrix}] Y,$ $\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$ тобто, . $[\begin{matrix} ϕ (\hat{β}) \\ {\hat{θ}}_{2} / 2 \\ - ϕ (\hat{β}) \end{matrix}] = [\begin{matrix} \bar{Y} \\ (Y_{2} - Y_{4}) / 4 \\ - \bar{Y} \end{matrix}],$ $\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$ $\phi(\hat{\beta}) = \bar{Y}$

Тому варіант D - єдина правильна відповідь.

Додаток: Зв'язок оцінюваності та ідентифікованості

Коли я навчався в школі, професор коротко зазначив, що оцінюваність параметричного функціоналу відповідає ідентифікації моделі. Я прийняв цю претензію як належне. Однак рівновагу потрібно прописати більш чітко. $\phi$

Відповідно до монографії А. В. Девісона Статистичні моделі с.144,

$\theta$

$(1)$ $\text{Var}(\varepsilon) = \sigma^2 I$

\begin{matrix} (2) & E [Y] = X β, β \in R^{k} . \end{matrix}

$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$

$Y$ $\text{rank}(X) = k$ $(2)$ $\beta_1 \neq \beta_2$ $X\beta_1 \neq X\beta_2$ $(2)$

$\text{rank}(X) < k$ $\phi(\beta) = p'\beta$

$\phi(\beta)$ $(2)$ $\phi = \phi(\beta) = p'\beta$ $X$ $\phi(\beta)$ $X\beta_1 = X\beta_2$ $p'\beta_1 = p'\beta_2$ $\phi_1 = \phi_2$ $(3)$ $\phi$ $(3)$ $X\beta_1 = X\beta_2$ $\phi_1 = \phi_2$ $\phi_1(\beta) = \phi_2(\beta)$

$X$ $\beta$

$\phi_2(\beta) = \theta_1 - \theta_3$ $\phi_3(\beta) = \theta_2$ $(1)$ $(\phi_2, \phi_3)'$

E [Y] = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{matrix}] [\begin{matrix} ϕ_{2} \\ ϕ_{3} \end{matrix}] = \tilde{X} γ .

$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$

$\tilde{X}$ $\gamma$

— Чжансіонг
джерело

Якщо вам знадобиться доказ другої частини варіанту С, я доповню свою відповідь.

— Жансіонг

\frac{1}{4} (Y_{1} + Y_{2} + Y_{3} + Y_{4})

$\dfrac{1}{4}(Y_1+Y_2+Y_3+Y_4)$

(Y_{1} + Y_{2} + Y_{3} + Y_{4}) / 4

$(Y_1 + Y_2 + Y_3 + Y_4)/4$

Застосуйте визначення.

$Y_i$

Визначення

t_{λ} (Y) = \sum_{i = 1}^{4} λ_{i} Y_{i}

$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$

λ = (λ_{i})

$\lambda = (\lambda_i)$

$\theta_1-\theta_3$ $\theta_1-\theta_3$

\begin{aligned} θ_{1} - θ_{3} & = E [t_{λ} (Y)] = \sum_{i = 1}^{4} λ_{i} E [Y_{i}] \\ = λ_{1} (θ_{1} - θ_{3}) + λ_{2} (θ_{1} + θ_{2} - θ_{3}) + λ_{3} (θ_{1} - θ_{3}) + λ_{4} (θ_{1} - θ_{2} - θ_{3}) \\ = (λ_{1} + λ_{2} + λ_{3} + λ_{4}) (θ_{1} - θ_{3}) + (λ_{2} - λ_{4}) θ_{2} . \end{aligned}

$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$

$\theta_i$

\begin{matrix} (1) & λ_{2} - λ_{4} = 0 and λ_{1} + λ_{2} + λ_{3} + λ_{4} = 1. \end{matrix}

$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$

$t_\lambda$

Var (t_{λ}) = \sum_{i = 1}^{4} λ_{i}^{2} Var (Y_{i}) + \sum_{i \neq j}^{4} λ_{i} λ_{j} Cov (Y_{i}, Y_{j}) .

$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$

$Y_i$

$\operatorname{Var}(Y_i)=\sigma^2,$

\begin{matrix} (2) & Var (t_{λ}) = σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) . \end{matrix}

$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$

$(2)$ $(1)$

Рішення

$(1)$ $\lambda_i$ $u=\lambda_1-\lambda_3$ $v=\lambda_1+\lambda_3$ $\lambda_1$ $\lambda_3$ $\lambda_2$ $\lambda_4$ $(2)$

σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) = \frac{σ^{2}}{4} (2 u^{2} + (2 v - 1)^{2} + 1) .

$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$

$(u,v)$ $\sigma^2 \ne 0$ $u^2$ $(2v-1)^2$ $u=2v-1=0$

λ = (λ_{1}, λ_{2}, λ_{3}, λ_{4}) = (1 / 4, 1 / 4, 1 / 4, 1 / 4) .

$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$

Варіант (C) помилковий, оскільки він не дає найкращого об'єктивного лінійного оцінювача. Варіант (D), хоча і не дає повної інформації, проте є правильним, оскільки

θ_{2} = E [t_{(0, 1 / 2, 0, - 1 / 2)} (Y)]

$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$

- очікування лінійного оцінювача.

$\{\theta_2, \theta_1-\theta_3\}$ $\theta_1,\theta_3,$ $\theta_1+\theta_3$

Отже (D) - єдина правильна відповідь.

— дзижчати
джерело