Основні статті про матричні декомпозиції

Нещодавно я прочитав книгу Skillicorn про матричні розклади та був трохи розчарований, оскільки був орієнтований на студентську аудиторію. Я хотів би скласти (для себе та інших) коротку бібліографію істотних статей (опитування, але також проривні статті) про матричні розклади. Я маю на увазі насамперед щось на SVD / PCA (і надійні / розріджені варіанти) та NNMF, оскільки вони, безумовно, найбільш використовувані. У вас є якісь рекомендації / пропозиції? Я тримаю своє, щоб не упереджувати відповіді. Я б просив обмежити кожну відповідь 2-3 статтями.

PS: Ці два розклади я називаю найбільш використовуваними в аналізі даних . Звичайно, QR, Холеський, LU і полярний дуже важливі в числовому аналізі. Але це не в центрі уваги мого питання.

Звідки ви знаєте, що SVD та NMF на сьогодні є найбільш часто використовуваними матричними декомпозиціями, а не LU, Cholesky та QR? Мій особистий улюблений "прорив" повинен бути гарантованим QR-алгоритмом, що розкриває рейтинг,

• Чан, Тоні Ф. "Ранг, що виявляє QR-фактори". Лінійна алгебра та її застосування Томи 88-89, квітень 1987, Сторінки 67-82. DOI: 10.1016 / 0024-3795 (87) 90103-0

... розробка попередньої ідеї QR з обертанням стовпців:

• Бусінгер, Пітер; Голуб, Джин Х. (1965). Лінійні розв'язки найменших квадратів шляхом перетворень домочадців. Numerische Mathematik том 7, номер 3, 269-276, DOI: 10.1007 / BF01436084

A ( ?) Класичний підручник:

• Голуб, Гена Н .; Ван Кредит, Чарльз Ф. (1996). Матричні обчислення (3-е видання), Джон Хопкінс, ISBN 978-0-8018-5414-9 .

(я знаю, що ви не просили підручників, але я не можу чинити опір)

Редагувати: Трохи більше гуглінг знаходить папір, анотація дозволяє припустити, що ми можемо трохи перехреститися. Мій вище текст надходив з точки зору "числової лінійної алгебри" (NLA); можливо, ви більше стурбовані перспективою "прикладної статистики / психометрії" (AS / P)? Не могли б ви уточнити?

• Лоуренс Юбер, Жаклін Мелман та Віллем Хайзер. Дві цілі факторизації матриці: історична оцінка. Огляд SIAM Vol. 42, № 1 (березень, 2000 р.), Стор 68-82

Для NNMF Лі та Seung описують ітеративний алгоритм, який дуже просто здійснити. Насправді вони дають два аналогічних алгоритми, один для мінімізації норми Фробеніуса залишкового, інший для мінімізації дивергенції Кулбека-Лейблера наближення та оригінальної матриці.

• Даніель Лі, Х. Себастьян Сеунг, Алгоритми не негативної матричної факторизації, досягнення в системах обробки нейронної інформації 13: Матеріали конференції 2000 року. MIT Press. С. 556–562.

Можливо, ви можете знайти цікаве

1. [Навчання за допомогою матричних чинників] Кандидатська дисертація Натана Сребро,
2. [Дослідження різних методів факторизації матриць для великих систем рекомендування] , Gábor Takács et.al. і майже та сама техніка, описана тут

Останні два посилання показують, як розріджені матричні факторизації використовуються при спільній фільтрації. Однак я вважаю, що алгоритми факторизації, подібні до SGD, можуть бути корисні ще десь (принаймні, їх надзвичайно просто кодувати)

Віттен, Тібшірані - Розкладання матричної матриці

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - Randomized SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

Цьогоріч у NIPS з'явився короткий документ про розподілений, дуже масштабний SVD, який працює за один прохід над потоковою вхідною матрицею .

Стаття більш орієнтована на реалізацію, але вона ставить перспективу в реальному часі настінних годин. Таблиця на початку також є хорошим опитуванням.