Як порівняти два алгоритми ранжування?

12

Я хочу порівняти два алгоритми ранжування. У цих алгоритмах клієнт вказує деякі умови у своєму пошуку. Відповідно до вимог клієнта, цей алгоритм повинен призначити бал для кожного елемента в базі даних та отримати елементи з найвищими балами.

Я читав різні теми, пов'язані з моїм запитанням на цьому веб-сайті, і шукав у мережі. Згідно з моїми пошуками, найбільш релевантною статтею, яка пояснює деякі показники для порівняння алгоритмів ранжирування, була така: Брайан Макфі та Герт Р.Г. Ланкрієт, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr .pdf ). Я думаю, що prec @ k, MAP, MRR та NDCG - це хороші показники для використання, але у мене є проблема:

Мій алгоритм сортує результати, тому перший пункт у моєму списку результатів - найкращий із найвищим балом, другий - другий найкращий бал тощо. Я обмежую свій алгоритм пошуку, наприклад, щоб знайти 5 найкращих результатів. Результати - це найкращі 5 найпопулярніших результатів. Отже, точність буде 1. Коли я обмежую свій пошук, щоб знайти найкращий результат, він знаходить найкращий. Знову ж таки, точність буде 1. Але проблема в тому, що це неприйнятно для людей, які бачать цей результат.

Що я можу зробити? Як я можу порівняти ці алгоритми і показати, що один кращий за інший?

machine-learning precision-recall average-precision

— МК
джерело

6

Знижений накопичувальний приріст (DCG) - одна з найпопулярніших показників, яка використовується для оцінки ранжирування будь-якої пошукової системи. Це показник якості ранжування. У пошуку інформації його часто використовують для вимірювання ефективності веб-пошукової системи.

Він ґрунтується на таких припущеннях:

Високорелевантні документи є більш корисними, якщо вони з’являються раніше в результатах пошуку.
Високорелевантні документи є більш корисними, ніж незначно релевантні документи, які кращі за невідповідні документи.

Формула DCG йде наступним чином:

\begin{matrix} (1) & D С Г_{p} = \sum_{i = 1}^{p} \frac{r е л_{i}}{л о г_{2} (i + 1)} = r е л_{1} + \sum_{i = 2}^{p} \frac{r е л_{i}}{л о г_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {rel_i} {log_2 (i+1)} = rel_1 + \sum_{i=2}^p \frac {rel_i} {log_2 (i+1)} \tag{1}$

Де:

i - повернене положення документа в результаті пошуку.
$rel_i$
підсумовування по p (кількість повернутих результатів), отже, накопичений накопичувальний прибуток дає показники ефективності повернутого результату.

DCG є похідним від CG (сукупний приріст) , заданий:

\begin{matrix} (2) & С Г_{p} = \sum_{i = 1}^{p} r е л_{i} \end{matrix}

$CG_p = \sum_{i=1}^p rel_i \tag{2}$

$CG_p$

\begin{matrix} (3) & D С Г_{p} = \sum_{i = 1}^{p} \frac{2^{r е л_{i}} - 1}{л о г_{2} (i + 1)} \end{matrix}

$DCG_p = \sum_{i=1}^p \frac {2^{rel_i} - 1} {log_2 (i+1)} \tag{3}$

$p$ $DCG_p$

Для подолання цього питання пропонується нормалізований DCG (nDCG) . Це дано,

н D С Г_{p} = \frac{D С Г_{p}}{Я D С Г_{p}}

$nDCG_p = \frac {DCG_p} {IDCG_p}$

$IDCG_p$ $DCG_p$

Я D С Г_{p} = \sum_{i = 1}^{| R Е L |} \frac{2^{r е л_{i}} - 1}{л о г_{2} (i + 1)}

$IDCG_p = \sum_{i=1}^{|REL|} \frac {2^{rel_i} - 1} {log_2 (i+1)}$

Де | REL | - це перелік документів, упорядкований за релевантністю у корпусі до позиції p.

Для ідеального алгоритму ранжування,

D С Г_{p} = Я D С Г_{p}

$DCG_p = IDCG_p$

Оскільки значення nDCG масштабуються в межах [0,1], порівняння перехресних запитів можливе за допомогою цих показників.

Недоліки: 1. nDCG не скасовує отримання поганих документів у результаті. Це можна виправити, скоригувавши значення релевантності, що приписуються документам. 2. nDCG не карає відсутні документи. Це можна виправити, встановивши розмір пошуку та використовуючи мінімальний бал для відсутніх документів.

Зверніться до цього, щоб побачити приклад обчислень nDCG.

Довідково

— m1cro1ce
джерело

0

Корисні ресурси:

http://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt
http://www.nii.ac.jp/TechReports/05-014E.pdf
http://www.stanford.edu/class/cs276/handouts/EvaluationNew-handout-6-per.pdf
http://hal.archives-ouvertes.fr/docs/00/72/67/60/PDF/07-busa-fekete.pdf
Навчитися оцінювати інформацію для пошуку інформації (Ті-Ян Лю)

— Рено
джерело