Які статистичні методи є, щоб рекомендувати такий фільм, як на Netflix?

Я хочу реалізувати динамічну модель, щоб рекомендувати фільм користувачеві. Рекомендацію слід оновлювати щоразу, коли користувач дивиться фільм або оцінює його. Щоб зробити це просто, я думаю врахувати два фактори:

• минулі рейтинги інших фільмів користувачем
• час, коли користувач переглядав певні минулі фільми

Як можна створити таку модель та що рекомендує наукова література?

Я новачок у цій галузі і здогадуюсь, що лінійна модель регресії може забезпечити хороший результат, а не уявляти собі складніші методи, щоб уникнути зайвої невизначеності в оцінках параметрів. Але, можливо, вже є усталені методи, які зазвичай застосовуються на практиці?

Це насправді відносно відома проблема в галузі машинного навчання. У ~ 2006 році Netflix запропонував $ 1 млн алгоритму, який забезпечив найкраще розумне вдосконалення їх системи рекомендацій. Теорія виграшного рішення коротко обговорена в цьому підручнику Caltech про вступне машинне навчання.

В основному використовувався ансамблевий метод навчання . Зокрема, застосовували тип змішування чи укладання . Це нетривіально, але своєрідно інтуїтивно. Щоб зрозуміти інтуїцію використання гармонійно різних статистичних підходів, розгляньте різні причини, яким різні люди люблять однакові фільми: тобто Джо може подобатися Топгун, тому що він любить бойовики 80-х, а Джейн подобається Топгун, тому що їй подобаються фільми з саундтреками Кенні Логінс. Тож той факт, що обидва глядачі переглядали (і оцінили фільм високо), не обов'язково означає, що вони сподобаються іншим фільмам з високою ймовірністю. Алгоритм прогнозування в ідеалі міг би врахувати ці відмінності, принаймні в якійсь якості.

Це може зробити рішення рішення досить простим, але врівноваження конкуруючих алгоритмів та визначення пріоритетності найкращої здогадки для кожного випадку, безумовно, не просте. Той факт, що Netflix запропонував таку велику винагороду, повинен зробити масштабність виклику досить очевидною.

Якщо ви тільки починаєте з машинного навчання, перевірка вищезазначених ресурсів може бути корисною залежно від рівня інтересів та вашого математичного досвіду. Тож регресія, ймовірно, спрацювала б добре, але можливі значно кращі показники.

Половина проблеми в цих проблемах - це знати, що шукати.

Можливо, ви додали тег, не усвідомлюючи його, але ви насправді шукаєте інформацію про системи рекомендацій . Ви можете почати з спільної фільтрації , а ще краще - Введення в посібник із систем рекомендацій Річі, Рокача та Шапіри, цитованого на цій сторінці.

Ви повинні ознайомитись з курсом Ендрю Нґ на Coursera: https://www.coursera.org/learn/machine-learning У ньому є урок з побудови систем рекомендацій, який, здається, є тим, що ви шукаєте. По суті це форма лінійної регресії, яка вивчає синтетичні атрибути для фільмів у людей, які оцінили фільми, і використовує їх для прогнозування рекомендацій для людей, які не оцінювали / не переглядали фільми.

У програмі Netflix Challenge (жовтень 2006 - вересень 2009 р.) Дуже великий ансамбль (107 окремих підмоделей) виграв головний приз у розмірі 1 мільйонів доларів, але доречно зазначити, що перші прості (не зібрані) алгоритми перемогли Netflix Cinematch орієнтир базувався на узагальненому (розрідженій матриці) SVD. Ця перша віха побиття Cinematch була досягнута лише через 6 днів після змагань, розпочатих командою WXYZConsulting.

SVD (сингулярне значення декомпозиції) - алгоритм розподілу матриць, де ви починаєте з 2d [user, movie]матриці з оцінкою (від 1 до 5 зірок) у кожній [u, m]позиції (*) і розбиваєте її на 3 матриці, де середня матриця є квадратною матрицею латентна взаємодія між користувачами та фільмами.

Ви можете зробити ранг квадратної матриці меншим або більшим, щоб відповідно включати більше або менше таких прихованих факторних взаємодій.

Існує кілька реалізацій безкоштовного програмного забезпечення швидкого / ефективного рідкого SVD. Наприклад, redsvd або vowpal-wabbit, тому перед тим, як написати свій, ви можете спробувати їх.

(*) Більшість цих записів нульові, оскільки більшість користувачів не оцінили більшість фільмів. тобто матриця дуже рідка.

Список літератури:

• Як було виграно приз від Netflix
• Приз Netflix, запис у Вікіпедії
• Рішення TheBellKor до премії Netflix: Роберт Белл, Єгуда Корен та Кріс Волинський
• RedSVD: рандомізоване розкладання сингулярного значення
• vowpal wabbit: приклад матричної факторизації