Питання про нормальне підтвердження рівняння

Як можна довести, що нормальні рівняння: мають один чи більше розв’язків без припущення, що X є незворотним? $(X^TX)\beta = X^TY$

Єдина моя здогадка - це щось спільне з узагальненим зворотним, але я повністю втрачений.

regression proof

— ряті
джерело

Ви набираєте бали, задаючи питання, які провокують дивовижні відповіді.

— Nikana Reklawyks

Можна спокуситись глібом і зазначити це тому, що квадратична форма

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

є позитивним напіввизначеним, існує для якого він мінімальний, і цей мінімум знайдений (встановивши градієнт відносно до нуля) з нормальними рівняннями $\beta$ $\beta$

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

звідки має бути принаймні одне рішення , незалежно від рангу $X'X$ . Однак, здається, цей аргумент не відповідає духу питання, який, як видається, є суто алгебраїчним твердженням. Можливо, цікаво зрозуміти, чому таке рівняння повинно мати рішення та за яких саме умов. Тож почнемо спочатку і зробимо вигляд, що ми не знаємо зв’язку з найменшими квадратами.

Це все зводиться до значення , транспонованою . Це виявиться питанням простого визначення, відповідного позначення та концепції невідродженої напівлінійної форми. Нагадаємо, що - "матриця проектування" з рядків (по одному для кожного спостереження) та стовпців (по одній для кожної змінної, включаючи постійну, якщо така є). Отже, це являє собою лінійне перетворення з векторного простору в . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

Транспонування , що розглядається як лінійне перетворення , є лінійним перетворенням подвійних просторів . Для того , щоб мати сенс композиції , як , то необхідно визначити з . Це те, що звичайне скалярний твір (сума квадратів) на робить. $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

Насправді є два внутрішні добутки і визначені на і відповідно. Це дійсні значення білінеарних симетричних функцій, які не вироджуються . Останнє означає, що $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

з аналогічною звітністю за . Геометрично ці внутрішні вироби дозволяють нам вимірювати довжину та кут. Умова можна розглядати як будучи «перпендикулярно» до . Невиродженість означає, що тільки нульовий вектор перпендикулярний до всього векторного простору. (Ця спільність означає , що отримані тут результати будуть застосовуватися до узагальненим методом найменших квадратів , що встановлюють, для яких не обов'язково звичайне скалярний твір дається як сума добутків компонент, але деяка довільна невироджених форма. Ми могли б обійтися без $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ взагалі, визначаючи , але я очікую, що багато читачів будуть незнайомими або незручними з подвійними пробілами, і тому вирішують уникати цієї формулювання.) $g_V$ $X':\mathbb W\to\mathbb V^*$

З цими внутрішніми продуктами в русі перенесення будь-якого лінійного перетворення визначається через $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

для всіх і . Що існує насправді вектор з цією властивістю, можна встановити, виписавши речі з підстав для і ; що цей вектор унікальний випливає з не виродженості внутрішніх продуктів. Бо якщо і - два вектори, для яких $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ для всіх , тоді (від лінійності в першому компоненті) для всіх що означає . $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

Коли запис для безлічі всіх векторів , перпендикулярних до кожного вектору в . Крім того, напишіть для зображення , визначеного як множина . Фундаментальне співвідношення між та його транспонтом є $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

Тобто, знаходиться в ядрі тоді і тільки тоді , коли перпендикулярно до образу . $w$ $X'$ $w$ $X$ Це твердження говорить про дві речі:

Якщо , то для всіх , що просто означає, що перпендикулярно до . $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
Якщо перпендикулярно , це означає лише для всіх , але це еквівалентно і не виродженість означає . $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

Ми фактично закінчили зараз. Аналіз показав, що розкладається як прямий добуток . Тобто, ми можемо взяти будь-який довільний і записати його однозначно як з і . Це означає, що $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ має вигляд принаймні один . Зверніть увагу, що $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

Фундаментальне співвідношення говорить, що те саме, що ліва сторона знаходиться в ядрі : $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

$\beta$ $X'X\beta = X'y.$

$n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ $X$ $\mathbb V$ $\mathbb W$

$\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Один цікавий результат цієї абстрактної алгебраїчної демонстрації - це те, що ми можемо розв’язати нормальні рівняння у довільних векторних просторах. Результат справедливий, скажімо, для складних просторів, для просторів над кінцевими полями (де мінімізація суми квадратів має мало сенсу), і навіть над нескінченномірними просторами, які підтримують відповідні послідовні форми.

— дзижчати
джерело

У мене ніколи не було представника, щоб прийняти цю відповідь набагато пізніше. Я просто натрапив на це і хотів ще раз подякувати вам!

— ryati

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Майкл Харді

@Michael У вашому коментарі має бути помилка друку. Чи проти зауважити, що ви мали на увазі?

— whuber

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Майкл Харді

@Michael Пробач, що не бачив цієї відзнаки, незважаючи на багато прочитаних. Незалежно від мене перша стрілка стосується ін'єкційної функції, тоді як друга стосується будь-якої функції, але я підозрюю, що це не те, що ви маєте намір. Ви не проти пояснити свою нотацію?

— whuber

$n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Лукозаде
джерело

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

X^{'} X

$X'X$

У типовій регресії X є худим і тому, безумовно, не оберненим (хоча це може бути залишено зворотним.) Нескладно довести (запитайте, чи потрібна вам допомога), що якщо X худий і лівий незворотній, то X ^ T * X є незворотним. У цьому випадку тоді буде рівно одне рішення. І якщо X не має повного рангового стовпця, то X ^ T * X не буде повним рангом, і тому у вас буде недостатньо визначена система.

— користувач542833
джерело

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

whuber: звичайно, вони вирішують питання: один soln, якщо X повна стовпчаста колонка (як я вже згадував), і нескінченні рішення, якщо це

— недостатньо визначена

Той факт, що система "недостатньо визначена", не означає, що вона взагалі не має ніяких рішень. Питання полягає у існуванні рішень.

— whuber