Що відбувається, коли ви застосуєте SVD до проблеми спільної фільтрації? Яка різниця між ними?

У процесі спільної фільтрації у нас є значення, які не заповнені. Припустимо, користувач не переглянув фільм, тоді ми мусимо поставити "na" туди.

Якщо я збираюсь взяти SVD цієї матриці, тоді мені потрібно ввести якесь число - скажімо 0. Тепер, якщо я розбиваю на матрицю, у мене є спосіб знайти подібних користувачів (з'ясувавши, хто з користувачів ближче один до одного в зменшений розмірний простір). Але сама передбачувана перевага - для користувача для елемента буде дорівнює нулю. (тому що це ми ввели у невідомих стовпцях).

Тому я застряг у проблемі спільної фільтрації проти SVD. Вони здаються майже однаковими, але не зовсім.

Яка різниця між ними і що відбувається, коли я застосую SVD до спільної проблеми фільтрації? Я це зробив, і результати здаються прийнятними з точки зору пошуку прилеглих користувачів, що чудово, але як?

$\DeclareMathOperator*{\argmin}{arg\,min}$ Гаразд, коли ви говорите SVD, імовірно, ви говорите про усічений SVD (де ви зберігаєте лише найбільші значення однини). Існує два різні способи розгляду усіченого SVD матриці. Одне - стандартне визначення:$k$

$\underset{n\times m}{X} = \underset{n\times n}{U} \overset{n\times m}{\Sigma} \underset{m\times m}{V^T}$$U$$V$$\Sigma$$k$$k$$X \approx \tilde{X} = \underset{n\times k}{\tilde{U}} \overset{k\times k}{\tilde{\Sigma}} \underset{k\times m}{\tilde{V}^T}$

$k$$k$

$\tilde{X} = \argmin_{B : rank(B)=k} \displaystyle\sum\limits_{i,j} (X_{ij} - B_{ij})^2$

$k$$k$

$k$$X_{ij}$$\tilde{X}_{ij}$

Схоже, існує багато підходів щодо того, як поводитися з відсутніми значеннями. Наступний документ з оглядом у Розділі 1.3 може стати хорошою відправною точкою.

Мені потрібна більша репутація, щоб коментувати відповідь Ступня Джо Піта, тому я публікую це як відповідь.

Stumpy дякую за відповідь, хоча я думаю, що їй потрібно трохи уточнити. Особливо я маю на увазі це речення:

В основному ви шукаєте матрицю k-rank, яка мінімізує середньоквадратичну помилку у квадраті серед відомих записів оригінальної матриці.

По-перше - хіба найвищий ранг завжди мінімізував це чи фактично реконструював оригінальну матрицю X? По-друге - чому б ви брали лише відомі записи. Інтуїтивно це має сенс, але процедура насправді також підганяє порожні місця, які були замінені на кілька розумних цифр.

Мій підхід полягає в тому, щоб здійснити щось на зразок перехресної перевірки:

1. Заповнюйте порожні місця 0 або засобами або іншим розумним числом.
2. Замініть один з n відомих елементів на 0 або розумне число
3. Провести реконструкцію SVD рангу k
4. Перевірте значення відомого реконструйованого елемента.
5. повторити для всіх можливих відомих елементів і обчислити MSE
6. повторіть для всіх можливих k і виберіть той, що має найменший MSE.