Чому неагрегативність важлива для систем спільної фільтрації / рекомендування?

У всіх сучасних системах рекомендацій, які я бачив, які покладаються на матричну факторизацію, на матриці фільму користувача-фільму проводиться негативна факторизація матриці. Я можу зрозуміти, чому негативність має важливе значення для інтерпретації та / або якщо ви хочете розріджувати фактори. Але якщо ви дбаєте лише про ефективність прогнозування, як, наприклад, у призовому конкурсі netflix, навіщо накладати обмеження на негатив? Здавалося б, це суворо гірше, ніж допускати негативні значення також у вашій факторизації.

Ця стаття є одним з високо цитованих прикладів використання негативної матричної факторизації при спільній фільтрації.

— Лембік
джерело

Я не дуже знайомий із системами рекомендацій (можливо, ви могли б включити до свого запитання кілька прикладних статей?). Якщо шаблон NNMF-уподобання, який ви вважаєте, правдивий, то найімовірнішою відповіддю є поліпшення узагальнення. Іншими словами, може бути, що емпірично відсутність "інтерпретаційності / розрідженості" пов'язана з надмірною придатністю . Однак розріджене кодування (тобто регуляризація L1 / LASSO) може виконати ці вимоги також, наскільки я знаю. (Можливо, NNMF має більшу інтерпретаційність.)

— GeoMatt22,

Я не фахівець із систем рекомендування, але, наскільки я розумію, передумова цього питання неправильна.

Негативність не так важлива для спільної фільтрації.

Приз Netflix був виграний у 2009 році командою BellKor. Ось документ, що описує їх алгоритм: Рішення BellKor 2008 до премії Netflix . Як легко зрозуміти, вони використовують підхід на основі SVD:

Основи нашого прогресу протягом 2008 року викладені в документі KDD 2008 [4]. [...] У роботі [4] ми наводимо докладний опис трьох факторних моделей. Перша - це проста SVD [...] Друга модель [...] ми будемо називати цю модель як "Асиметрична-SVD". Нарешті, більш точна факторна модель, яка отримала назву "SVD ++" [...]

Дивіться також цю більш популярну підписання тієї ж команди методики факторизації матриць для систем рекомендацій . Вони багато говорять про SVD, але взагалі не згадують про NNMF.

Дивіться також цю популярну публікацію в блозі Netflix Update: Спробуйте це вдома з 2006 року, також пояснюючи ідеї SVD.

Звичайно, ви маєте рацію, і є певна робота щодо використання NNMF для спільної фільтрації. То що краще працює, SVD чи NNMF? Я поняття не маю, але ось висновок порівняльного дослідження алгоритмів спільної фільтрації з 2012 року:

Методи на основі матриці-факторизації, як правило, мають найвищу точність. Зокрема, регульовані SVD, PMF та його варіанти найкращі, ніж MAE та RMSE, за винятком дуже рідкісних ситуацій, коли NMF працює найкраще.

— амеби
джерело

Взагалі це хороша відповідь. Але лише для виправлення деяких фактів рішення BellKor 2008 отримало приз прогресу. Загальний алгоритм виграшу представляв собою суміш понад 100 прогнозів (Töscher et al., 2009). NMF також був його частиною.

— dpelisek