Навіщо турбуватися з наближеннями низького рангу?

Якщо у вас є матриця з n рядками та m стовпцями, ви можете використовувати SVD або інші методи для обчислення наближення низького рангу даної матриці.

Однак наближення низького рангу все одно матиме n рядків та m стовпців. Як низькі рангові наближення можуть бути корисними для машинного навчання та обробки природних мов, враховуючи, що у вас залишилася однакова кількість функцій?

Низьке наближення рангу Х з X можна розкласти в матрицю , як квадратний корінь G = U г λ 1$\hat{X}$$X$де розкладання власне зXєUЛUТ, тим самим зменшуючи кількість функцій, які можуть бути представленідопомогоюGна основі рангу г апроксимації якX=GGT. Зауважимо, що індексіндексує кількість власних векторів та власних значень, використаних у наближенні. Отже, це зменшує кількість функцій для представлення даних. У деяких прикладах наближення низького рангу розглядаються як розширення оригінальних даних на основі базисної або прихованої змінної (словника), під особливими обмеженнями, такими як ортогональність, негативність (негативна матрична факторизація) тощо.$G=U_{r}\lambda_{r}^\frac{1}{2}$$X$$U\lambda U^T$$G$$\hat{X}=GG^T$$r$

Точка наближення низького рангу не обов'язково стосується лише зменшення розмірності.

Ідея полягає в тому, що на основі знань про домен, дані / записи матриці якимось чином зробить матрицю низьким. Але це в ідеальному випадку, коли на записи не впливає шум, пошкодження, відсутні значення тощо. Спостережна матриця, як правило, матиме набагато вищий ранг.

Таким чином, наближення низького рангу - це спосіб відновити "початкову" ("ідеальну" матрицю до того, як її заплутав шум тощо) матрицю низького рангу, тобто знайти матрицю, яка є найбільш послідовною (з точки зору спостережуваних записів) з поточною матрицею і є низькорозрядним, щоб її можна було використовувати як наближення до ідеальної матриці. Відновивши цю матрицю, ми можемо використовувати її як заміну шумної версії та сподіваємось отримати кращі результати.

Ще дві причини, які до цього часу не згадуються:

1. Зменшення узгодженості. Я вважаю, що більшість із цих методів усувають узгодженість, що може бути корисним для подальшої обробки.

2. Наші уявлення низькопотужні, тому це може бути корисним для вивчення відносин низького рангу.

Після того, як ви визначили ранг наближення (скажімо $r<m$), ви збережете лише $r$ базові вектори для подальшого використання (скажімо, як провісники проблеми регресії чи класифікації), а не оригінали $m$.

Згідно з "Сучасними багатоваріантними статистичними методами (Ізенман)" регресія зниженого рангу охоплює декілька цікавих методів як особливих випадків, включаючи PCA, факторний аналіз, канонічний варіативно-кореляційний аналіз, LDA та аналіз кореспонденції