Обмежена максимальна ймовірність із меншим, ніж повним рангом стовпця

Це питання стосується оцінки обмеженої максимальної вірогідності (REML) у певній версії лінійної моделі, а саме:

Y = X (α) β + ϵ, ϵ \sim N_{n} (0, Σ (α)),

$Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)),$

де - матриця ( ), параметризована , як і . - невідомий вектор неприємних параметрів; інтерес полягає в оцінці , і ми маємо . Оцінка моделі за максимальною вірогідністю не є проблемою, але я хочу використовувати REML. Добре відомо, див., Наприклад, Ламотт , що ймовірність , де - будь-яка напів-ортогональна матриця така, що можна записати $X(\alpha)$ $n \times p$ $\alpha \in \mathbb R^k$ $\Sigma(\alpha)$ $\beta$ $\alpha$ $k\leq p\ll n$ $A'Y$ $A$ $A'X=0$

L_{REML} (α ∣ Y) \propto | X^{'} X |^{1 / 2} | Σ |^{- 1 / 2} | X^{'} Σ^{- 1} X |^{- 1 / 2} \exp {- \frac{1}{2} r^{'} Σ^{- 1} r}, r = (I - X (X^{'} Σ^{- 1} X)^{+} X^{'} Σ^{- 1}) Y,

$L_{\text{REML}}(\alpha\mid Y) \propto\vert X'X\vert^{1/2} \vert \Sigma\vert^{-1/2}\vert X'\Sigma^{-1}X\vert^{-1/2}\exp\left\{-\frac{1}{2} r'\Sigma^{-1}r \right\}, \\ r = (I - X(X'\Sigma^{-1}X)^+X'\Sigma^{-1})Y,$

коли $X$ - повна колона рангів .

Моя проблема полягає в тому, що для деяких ідеально розумних і науково цікавих, $\alpha$ матриця $X(\alpha)$ не має повного рангового стовпця. Всі висновки , які я бачив в обмеженою ймовірності вище використовує детермінантних равенствами, які не застосовні при $\vert X'X\vert=0$ , тобто вони беруть на себе повний ранг стовпця $X$ . Це означає, що вищевказана обмежена ймовірність є правильною лише для мого налаштування на частини простору параметрів, і, отже, це не те, що я хочу оптимізувати.

Питання: Чи існують більш загальні обмежені ймовірності, виведені в статистичній літературі чи в інших місцях, без припущення, що $X$ є повним рангом стовпців? Якщо так, як вони виглядають?

Деякі зауваження:

Виведення експоненціальної частини не є проблемою для жодного і воно може бути записане у зворотному напрямку Мура-Пенроуза, як описано вище $X(\alpha)$
Стовпці - це (будь-яка) ортонормальна основа для $A$ $C(X)^\bot$
Для відомого ймовірність може бути легко записана для кожного , але, звичайно, кількість базових векторів, тобто стовпців, в залежить від стовпця $A$ $A'Y$ $\alpha$ $A$ $X$

Якщо хтось, хто цікавиться цим питанням, вважає, що точна параметризація допоможе, дайте мені знати, і я запишу їх. На даний момент мене найбільше цікавить REML для загального правильних розмірів. $X,\Sigma$ $X$

Більш детальний опис моделі випливає тут. Нехай - -вимірний векторний авторегресія першого порядку [VAR (1)], де . Припустимо, процес запускається в якомусь фіксованому значенні в момент . $y_t = \mu + Ay_{t - 1} + v_t, t = 1, \dots, T$ $r$ $v_t \overset{iid}{\sim}N(0, \Omega)$ $y_0$ $t = 0$

Визначте . Модель може бути записана у формі лінійної моделі використовуючи такі визначення та позначення: $Y = [y_1', \dots, y_T']'$ $Y = X\beta + \varepsilon$

\begin{aligned} X & = [1_{T} \otimes I_{r}, C^{- 1} B] \\ β & = [μ^{'}, y_{0}^{'} - μ^{'}]^{'} \\ v a r (ε)^{- 1} & = C^{'} (I_{T} \otimes Ω^{- 1}) C \\ C & = [\begin{matrix} I_{r} & 0 & 0 & \dots \\ - A & I_{r} & 0 & \dots \\ 0 & - A & I_{r} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{matrix}] \\ B & = e_{1, T} \otimes A, \end{aligned}

$\begin{align} X &= [1_T \otimes I_r, C^{-1}B] \\ \beta &= [\mu', y_0' - \mu']' \\ \mathrm{var}(\varepsilon)^{-1} &= C'(I_T \otimes \Omega^{-1})C \\ C &= \begin{bmatrix} I_r & 0 & 0 & \cdots \\ -A & I_r & 0 & \cdots \\ 0 & -A & I_r & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{bmatrix} \\ B &= e_{1, T} \otimes A, \end{align}$

де позначає мірний вектор з одиниць і перший стандарт базисний вектор . $1_T$ $T-$ $e_{1,T}$ $\mathbb R^T$

Позначимо . Зауважте, що якщо не повний ранг, то не є повним рангом стовпця. Це включає, наприклад, випадки, коли один із компонентів не залежить від минулого. $\alpha = \mathrm{vec}(A)$ $A$ $X(\alpha)$ $y_t$

Ідея оцінки VAR за допомогою REML добре відома, наприклад, в літературі про прогнозування регресії (див., Наприклад, Phillips and Chen та посилання на неї).

Можливо, варто уточнити, що матриця не є дизайнерською матрицею у звичайному розумінні, вона просто випадає з моделі, і якщо немає апріорних знань про , наскільки я не можу сказати, немає можливості перераметомеризувати це буде повний ранг. $X$ $A$

Я розмістив запитання на math.stackexchange, яке пов'язане з цим, в тому сенсі, що відповідь на математичне питання може допомогти визначити ймовірність, яка відповість на це питання.

— еквалл
джерело

Можливо, одним із способів вирішити питання є запитати, що відбувається в лінійних змішаних моделях, коли матриця моделі не є повною мірою стовпця?

— Грінпаркер

Дякуємо за нагороду @Greenparker. І так, якщо обмежена ймовірність могла бути записана для лінійної змішаної моделі з меншою, ніж повною мірою, матрицею дизайну фіксованих ефектів рангового стовпця, це допоможе.

— еквалл

Виведення експоненціальної частини не є проблемою для жодного X (α) X (α), і це може бути записано у зворотному напрямку Мура-Пенроуза, як описано вище

Я сумніваюся, що це спостереження є правильним. Узагальнене обернене фактично поставило додаткове лінійне обмеження на ваші оцінки [Рао та Мітра], тому нам слід розглядати спільну ймовірність у цілому, а не здогадуватися, що "інверсія Мура-Пенроуза працюватиме за експоненціальну частину". Це здається формально правильним, але ви, мабуть, неправильно розумієте змішану модель.

$\blacksquare$ (1) Як правильно мислити моделі змішаних ефектів?

Ви повинні по-іншому подумати про модель змішаного ефекту, перш ніж намагатися механічно підключити g-інверсію (АБО інверсія Мура-Пенроуза, яка є особливим видом рефлексивного g-інверсії [Rao & Mitra]) у формулу, задану RMLE (обмежений) Оцінювач максимальної ймовірності, те саме нижче.)

X = (\begin{array}{cc} f i x e d e f f e c t \\ r a n d o m e f f e c t \end{array})

$\boldsymbol{X}=\left(\begin{array}{cc} fixed\quad effect\\ & random\quad effect \end{array}\right)$

Поширений спосіб мислення змішаного ефекту полягає в тому, що частина випадкового ефекту в проектній матриці вводиться помилкою вимірювання, яка носить іншу назву "стохастичний предиктор", якщо нас більше хвилює прогнозування, а не оцінка. Це також одна історична мотивація вивчення стохастичної матриці при встановленні статистики.

Моя проблема полягає в тому, що для деякого цілком розумного і науково цікавого αα матриця X (α) X (α) не є повною в ранжирі стовпців.

Враховуючи ймовірність такого способу мислення, ймовірність того, що не є повноцінним, дорівнює нулю. Це тому, що визначальна функція є неперервною у записах матриці, а нормальний розподіл - це безперервний розподіл, який присвоює нульовій ймовірності одній точці. Ймовірність дефектного ранжу є позитивною, якщо ви параметризували його таким патологічним способом, як . $X(\alpha)$ $X(\alpha)$ $\left(\begin{array}{ccc} \alpha & \alpha\\ \alpha & \alpha\\ & & random\quad effect \end{array}\right)$

Тож рішення вашого питання також досить прямо вперед, ви просто заважаєте матриці дизайну (турбує лише частину фіксованого ефекту), і використовуйте збурену матрицю (яка є повною мірою) для здійснення всіх похідних. Якщо ваша модель не має складних ієрархій або є поруч сингулярним, я не бачу, що існує серйозна проблема, коли ви берете в кінцевий результат, оскільки визначальна функція є безперервною, і ми можемо взяти межа всередині визначальної функції. . А в збуренні утворюють обернену $X_\epsilon(\alpha)=X(\alpha)+\epsilon\left(\begin{array}{cc} I & 0\\ 0 & 0 \end{array}\right)$ $X$ $\epsilon\rightarrow 0$ $lim_{\epsilon\rightarrow 0}|X_\epsilon|=|lim_{\epsilon\rightarrow 0}X_\epsilon|$ $X_\epsilon$ може бути отримана теоремою Шермана-Моріссіона-Вудбері. А детермінанта матриці наведена в стандартній лінійній книзі алгебри типу [Хорн та Джонсон]. Звичайно, ми можемо записати визначник з точки зору кожного запису матриці, але обурення завжди віддається перевазі [Горн та Джонсон]. $I+X$

$\blacksquare$ (2) Як ми маємо мати справу з параметрами неприємностей у моделі?

Як бачите, для розгляду частини випадкового ефекту в моделі ми повинні розглядати це як свого роду "параметр неприємності". Проблема полягає в тому, чи є RMLE найбільш підходящим способом усунення параметра неприємності? Навіть у моделях GLM та змішаних ефектів, RMLE далеко не єдиний вибір. [Басу] вказував, що багато інших способів усунення параметрів при встановленні оцінки. Сьогодні люди схильні вибирати між моделями RMLE та Bayes, оскільки вони відповідають двом популярним комп'ютерним рішенням: EM та MCMC відповідно.

На мою думку, безумовно, більше підходить ввести пріоритет у ситуації дефектного рангу у частині фіксованого ефекту. Або ви можете перевзначити модель для того, щоб перетворити її в повний ранг.

Крім того, у випадку, якщо ваш фіксований ефект не має повного рангу, ви можете потурбуватися вище неправильно заданої структури коваріації, оскільки ступінь свободи у фіксованих ефектах повинна перейти в частину помилки. Щоб зрозуміти цей момент більш чітко, ви можете розглянути MLE (також LSE) для GLS (Загальний найменший сквер) де - структура коваріації терміна помилки для випадку, коли не є повним рангом. $\hat{\beta}=(X\Sigma^{-1} X')^{-1}\Sigma^{-1}y$ $\Sigma$ $X(\alpha)$

$\blacksquare$ (3) Подальші коментарі

Проблема полягає не в тому, як ви модифікуєте RMLE, щоб він працював у тому випадку, якщо частина матриці з фіксованим ефектом не є повною; проблема полягає в тому, що в такому випадку ваша модель може бути проблематичною, якщо випадок, що не є повноцінним, має позитивну ймовірність.

Один з відповідних випадків, з якими я стикався, - це те, що в просторовому випадку люди можуть захотіти зменшити ранг частини з фіксованим ефектом за рахунок обчислювального врахування [Wikle].

Я не бачив жодної «науково цікавої» справи у такій ситуації, чи можете ви вказати на деяку літературу, де випадок, що не є повноцінним, викликає найбільше занепокоєння? Я хотів би дізнатися і обговорити далі, дякую.

$\blacksquare$ Довідка

[Рао і Мітра] Рао, Кальямпаді Радхакришна та Суджіт Кумар Мітра. Узагальнена обернена матриця та її застосування. Вип. 7. Нью-Йорк: Вілі, 1971.

[Басу] Басу, Дебабрата. "Про усунення неприємних параметрів." Журнал Американської статистичної асоціації 72.358 (1977): 355-366.

[Хорн та Джонсон] Хорн, Роджер А. та Чарльз Р. Джонсон. Матричний аналіз. Кембриджська університетська преса, 2012.

[Wikle] Wikle, Крістофер К. "Представлення низького рангу для просторових процесів". Довідник просторової статистики (2010): 107-118.

— Генрі.Л
джерело

Дякуємо за ваш інтерес та дуже продуману відповідь, +1 за зусилля. Я прочитаю його більш докладно і повернусь із деякими уточненнями. Я думаю, що перше, що мені доведеться уточнити, - це те, що в цій моделі немає випадкових ефектів, а матриця зовсім не є матрицею дизайну, за винятком, можливо, назви fr відсутності кращого слова; це дуже нелінійна функція (детермінована) параметра яка складається з (векторизації) коефіцієнта матриці в векторному авторегресивному процесі, тому концепція ймовірності бути низько-ранговою не має сенсу.

X

$X$

α

$\alpha$

— еквалл

@ Student001 Так, не соромтеся робити будь-які роз’яснення, оскільки я також відчуваю це більше як GLM замість змішаної моделі. Спробую відповісти ще раз, якщо зможу :)

— Генрі.L

@ Student001 Якщо ви можете, напишіть всю модель, і я хотів би вивчити такий випадок, можливо, AR (1) у просторовій обстановці, я думаю.

— Генрі.L

"Враховуючи ймовірність такого способу мислення, ймовірність того, що не є повноцінним, дорівнює нулю." Правильна відповідь, неправильна проблема. Ймовірність того, що вона буде чисельно не повною, з обмеженою точністю, не дорівнює нулю.

X (α)

$X(\alpha)$

— Марк Л. Стоун

@ MarkL.Stone Я вже надав збурення як рішення, якщо уважно читати рядки, що є стандартним рішенням числової сингулярності. І ОП сказав, що оновить опис, тож, мабуть, ми досягнемо певного консенсусу щодо правильно сформульованої проблеми.

— Генрі.L