Нульовий простір прямокутної щільної матриці

Дано щільну матрицю який найкращий спосіб знайти основу нульового простору в межах деякого допуску ?

A \in R^{m \times n}, m >> n; m a x (m) \approx 100000

$A \in R^{m \times n}, m >> n; max(m) \approx 100000$

ϵ

$\epsilon$

Виходячи з цієї основи, чи можу я потім сказати, що певна кількість лінійно залежить від ? Іншими словами, обчисливши нульовий простір основи, які стовпці потрібно видалити, щоб отримати несинулярну матрицю? $\epsilon$ $A$

Довідники високо оцінені.

linear-algebra

— Олександр
джерело

Відповіді:

Стандартними методами визначення нульового простору матриці є використання QR-розкладання або SVD. Якщо точність є першорядною, перевага віддається SVD; Розкладання QR відбувається швидше.

$A = U\Sigma V^{H}$ $V$ $\Sigma$ $\max(m,n) \cdot \varepsilon$ $\varepsilon$

Використовуючи QR-розкладання, якщо , а ранг дорівнює , то останні стовпці складають нульовий простір , припускаючи, що розкладання QR є рейтинговим. Для визначення обчисліть кількість записів на головній діагоналі , величина якої перевищує допуск (подібний до використовуваного у підході SVD). $A^{T} = QR$ $A$ $r$ $n-r$ $Q$ $A$ $r$ $R$

Не використовуйте LU розкладання. У точній арифметиці - це життєздатний підхід, але при арифметиці з плаваючою комою накопичення числових помилок робить його неточним.

Вікіпедія висвітлює ці теми тут .

— Джефф Оксберрі
джерело

Джефф, говорячи з точки зору QR, припустимо, у мене є розкладання, як я потім співвідносити нульовий простір основи та стовпців у оригінальній матриці? Іншими словами, які стовпці потрібно видалити з

, щоб позбутися нульового простору? Сенс тут полягає в роботі з самим

, а не з його розкладанням.

A

$A$

A

$A$

— Олександр

Рутини, які обчислюють QR-розкладання, зазвичай містять опцію повернення перестановочного вектора, що вказує, як перестановлені стовпці для отримання QR-факторизації. Останні

записів цього перестановочного вектора відповідали б рядкам

(стовпці

), які знаходяться в просторі нулів. Перші

записи цього вектора відповідають стовпцям

, лінійно незалежним. Я не впевнений, що ви маєте на увазі під "позбутися нульового простору". Ви маєте на увазі, що хочете видалити стовпці з

щоб отримати несовісну матрицю?

n - r

$n-r$

A

$A$

A^{T}

$A^{T}$

r

$r$

A^{T}

$A^{T}$

A

$A$

— Джефф Оксберрі

Так, я маю на увазі це. Я перегляну перестановку, дякую.

— Олександр

Це вже інше питання. Що ви б тоді зробити замість цього обчислити QR - розкладання (або СВД) з

. Якщо обчислити QR-декомпозицію

, ви можете обчислити ранг

як у відповіді вище (не потрібно переносити матрицю), а потім відповідають перші записи

(де

- ранг

) вектора перестановки для незалежних стовпців

. Такий же алгоритм застосовується до SVD; якщо ви можете повернути вектор перестановки разом з розкладанням, це повинно надати необхідну інформацію.

A

$A$

A

$A$

A

$A$

r

$r$

r

$r$

A

$A$

A

$A$

— Джефф Оксберрі

Якщо , так як ваше запитання вказує на те , ви можете заощадити роботу першого вибору індексу набір з (скажімо) випадкових рядків і з допомогою ортогональної факторизации . (QR-факторизація - це та, де є sqare, а прямокутний з рангом , а решта стовпців дорівнюють нулю. Використання перестановленої QR-факторизації підвищить стабільність; перестановку потрібно враховувати в більш детальний рецепт.) $m\gg n$ $I$ $p\approx 5n$ $A_{I:}^T=QR$ $Q$ $R$ $r$ $n-r$ $R$

Як правило, це дасть вам набагато нижче мірне підпростір , натягнуте на стовпці , останньої стовпців . Це підпростір містить нульове простір . Тепер вибрати інший, непересічний випадковий набір індексів і обчислити QR розкладання . Помножте отриманий нульовий простір зліва на щоб отримати вдосконалений можливо, навіть нижчого розміру. Ітерайте, поки розмірність більше не зменшиться. Тоді ви, мабуть, маєте правильний нульовий простір і можете перевірити, обчисливши $N$ $n-r$ $Q$ $A$ $(A_{I:}N)^T$ $N$ $N$ $N$ $AN$ . Якщо це ще не незначно, зробіть подальші ітерації з найбільш значущими рядками.

Редагувати: Після того як ви отримаєте , ви можете знайти максимальний набір лінійно незалежних стовпців шляхом ортогональної факторизації з поворотом. Дійсно, множина індексів, не обраних як опорні, матиме це властивість. $N$ $J$ $A$ $N^T=QR$ $J$

— Арнольд Ноймаєр
джерело

+1 - ефективний спосіб визначення нульового простору великої матриці. Мені доведеться пам’ятати, щоб ознайомитися з цією відповіддю пізніше, коли мені це потрібно.

— Джефф Оксберрі

Дійсно, це звучить розумно, однак мої матриці вписуються в 16 ГБ оперативної пам’яті, тому я б залишився зі стандартним matlab qr.

— Олександр

Професор Ноймаєр, я вирішив перевірити цей алгоритм, але я не розумію, що саме означає

і що означає "обчислити QR-факторизацію

"? Поясніть, будь ласка, трохи більше.

N

$N$

(A_{I :} N)^{T}

$(A_{I:}N)^T$

— Олександр

Я трохи відредагував свою відповідь.

обчислюється за рецептом Джеффа Оксберрі.

N

$N$

— Арнольд Ноймаєр

Дякую. Я його реалізував. Однак, наскільки я бачу, цей алгоритм не дозволяє визначити мені безліч лінійно незалежних стовпців

(так як ми розкладемо

замість

), а просто допомагає оцінити сам базис нуль - простору?

A

$A$

A_{I :}^{T}

$A_{I:}^T$

A_{I :}

$A_{I:}$

— Олександр