Як NumPy вирішує найменші квадрати для недостатньо визначених систем?

Скажімо, у нас є X форми (2, 5)
і y форми (2,)

Це працює: np.linalg.lstsq(X, y)

Ми очікуємо, що це спрацює лише в тому випадку, якщо X має форму (N, 5), де N> = 5 Але чому і як?

Ми отримуємо назад 5 ваг, як очікувалося, але як вирішується ця проблема?

Хіба це не так, як у нас є 2 рівняння та 5 невідомих?
Як нуме може вирішити це?
Він повинен зробити щось на зразок інтерполяції, щоб створити більше штучних рівнянь? ..

least-squares linear-algebra numpy

— Джордж Плігоропулос
джерело

Чому він не повинен працювати? Не визначена система має багато рішень.

— Меттью Ганн

Чи може у вас є посилання на відповідну теорію? ..

— Джордж Плігоропулос

пов’язано: stackoverflow.com/questions/46879411/…

— Буратіно

Я розумію, що numpy.linalg.lstsq покладається на LAPACK рутинного dgelsd .

Проблема полягає у вирішенні:

minimize (over x) ‖ A x - b ‖_{2}

$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$

Звичайно, це не має унікального рішення для матриці A, чий ранг менше довжини вектора . У випадку невизначеної системи надає рішення таке, що: $\mathbf{b}$ dgelsd $\mathbf{z}$

$A\mathbf{z} = \mathbf{b}$
$\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ для всіх які задовольняють . (тобто - рішення мінімальної норми невизначеної системи. $\mathbf{x}$ $A\mathbf{x} = \mathbf{b}$ $\mathbf{z}$

Наприклад, якщо система , numpy.linalg.lstsq поверне . $x + y = 1$ $x = .5, y = .5$

Як працює dgelsd?

Рутина dgelsdобчислює сингулярне розкладання значення (SVD) А.

Я просто змалюю ідею використання SVD для вирішення лінійної системи. Розкладання сингулярного значення - це факторизація де і - ортогональні матриці, а - діагональна матриця, де діагональні записи відомі як сингулярні значення. $U \Sigma V' = A$ $U$ $V$ $\Sigma$

Ефективним рангом матриці буде кількість сингулярних значень, які фактично не є нульовими (тобто досить різняться від нуля відносно машинної точності тощо). Нехай - діагональна матриця ненульових сингулярних значень. Таким чином, SVD: $A$ $S$

A = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'}

$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$

Псевдообернених з визначається за формулою: $A$

A^{†} = V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'}

$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$

Розглянемо рішення . Потім: $\mathbf{x} = A^\dagger \mathbf{b}$

\begin{aligned} A x - b & = U [\begin{matrix} S & 0 \\ 0 & 0 \end{matrix}] V^{'} V [\begin{matrix} S^{- 1} & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \\ = U [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] U^{'} b - b \end{aligned}

$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$

Тут в основному два випадки:

Кількість ненульових сингулярних значень (тобто розмір матриці ) менше довжини . Рішення тут не буде точним; ми вирішимо лінійну систему в сенсі найменших квадратів. $I$ $\mathbf{b}$
$A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Ця остання частина трохи хитра ... потрібно слідкувати за розмірами матриці та використовувати, що - ортогональна матриця. $U$

Еквівалентність псевдо-зворотної

Коли має лінійно незалежні рядки (наприклад, у нас є жирова матриця), тоді: $A$

A^{†} = A^{'} {(A A^{'})}^{- 1}

$A^\dagger = A'\left(AA' \right)^{-1}$

Для невизначеної системи можна показати, що псевдоінверсія дає вам рішення мінімальної норми.

Коли має лінійно незалежні стовпці (наприклад, у нас є скинна матриця), тоді: $A$

A^{†} = {(A^{'} A)}^{- 1} A^{'}

$A^\dagger = \left(A'A \right)^{-1}A'$

— Меттью Ганн
джерело

dgelsd використовує SVD, але R lm використовує QR?

— Haitao Du

@ hxd1011R lmвикористовує QR-факторизацію за замовчуванням, але ви можете вказати альтернативи.

— Sycorax каже, що повернеться до Моніки