Чому показник f beta визначає бета так?

10

Це показник F бета:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

У статті Вікіпедії зазначено, що . $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Я не здобув ідеї. Чому так визначати ? Чи можу я визначити так: $\beta$ $F_\beta$

F_{β} = (1 + β) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β \cdot p r e c i s i o n) + r e c a l l}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

А як показати β times as much importance?

machine-learning precision-recall model-evaluation

— охайний
джерело

2

Ознайомтеся з новою відповіддю нижче, яка включає диференційне числення, яке стосується "чому бета- квадрат, а не бета-версія".

— javadba

19

Нехай - вага у першому наданому вами визначенні, а - вага у другому; два визначення є еквівалентними, коли ви встановлюєте , тому ці два визначення представляють лише нотаційні відмінності в визначення показника . Я бачив, як він визначав як перший спосіб (наприклад, на сторінці вікіпедії ), так і другий (наприклад, тут ). $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

міра виходять, якщо взяти середні гармонійну точність і відкликання, а саме зворотні середнього значення зворотної точності і зворотний виклику: $F_1$

\begin{aligned} F_{1} & = \frac{1}{\frac{1}{2} \frac{1}{precision} + \frac{1}{2} \frac{1}{recall}} \\ = 2 \frac{precision \cdot recall}{precision + recall} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

Замість того, щоб використовувати в знаменнику ваги, що дорівнюють та дорівнюють 1 ( для виклику та для точності), ми можемо замість цього призначити ваги, які все ще дорівнюють 1, але для яка вага при відкликанні рази більша, ніж вага з точністю ( для відкликання та для точності). Це дає ваше друге визначення показника : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} F_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{precision} + \frac{β}{β + 1} \frac{1}{recall}} \\ = (1 + β) \frac{precision \cdot recall}{β \cdot precision + recall} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

Знову ж таки, якби ми використовували замість тут, ми б дійшли до вашого першого визначення, тому відмінності між двома визначеннями є просто умовними. $\beta^2$ $\beta$

— джослібер
джерело

1

чому вони помножили на термін точності замість терміна відкликання?

β

$\beta$

— Анварвіч

1

Диференціальне обчислення, яке стосується "чому бета- квадратик, а не бета-версія", включено в нову відповідь нижче.

— javadba

@Anwarvic Вони множили із зворотним відкликанням. Після факторизації і розширюється з є термін вліво

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

Причиною визначення показника F-beta за допомогою є саме цитата, яку ви надаєте (тобто, бажаючи надавати рази більше значення, щоб нагадати як точність), даючи конкретне визначення того, що означає додавати в рази більше важливості згадати, ніж точність. $\beta^{2}$ $\beta$ $\beta$

Конкретний спосіб визначення відносної важливості двох метрик, що призводить до формулювання можна знайти у пошуку інформації (Van Rijsbergen, 1979): $\beta^{2}$

Визначення: відносне значення, яке користувач надає точності та відкликання, має відношення при якому , де - міра ефективності, заснована на точності та відкликанні. $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

Мотивація цього є:

Найпростіший спосіб, який я можу визначити, це вказати співвідношення при якому користувач готовий точно торгувати приріст для рівної втрати при відкликанні. $P/R$

Для того, щоб бачити , що це призводить до препарат можна почати із загальною формулою для зваженого гармонійного середнього і , і обчислити їх приватні похідні по відношенню до і . Джерело привів користей (для «ефективності заходів»), який знаходиться всього і пояснення еквівалентно , чи розглядається або . $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

Тепер, встановивши похідні дорівнюють один одному накладає обмеження на взаємозв'язку між і співвідношення . З огляду на те, що ми хочемо надати кратню величину, щоб нагадати як точність, ми розглянемо співвідношення¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

Визначення як цього співвідношення та перестановка для дає зважування у виразі : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

Ми отримуємо:

F = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{P} + \frac{β^{2}}{β^{2} + 1} \frac{1}{R})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

Які можна переставити, щоб надати форму у вашому запитанні.

Таким чином, з урахуванням цитованого визначення, якщо ви хочете надати разів більше значення, щоб нагадати як точність, тоді слід використовувати формулу . Ця інтерпретація не дотримується, якщо використовується . Еквівалентною, менш інтуїтивно зрозумілою інтерпретацією у випадку, що ми просто використовуємо було б те, що ми хочемо надати разів більше значення, щоб нагадати як точність. $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

Ви можете визначити результат, як ви пропонуєте, однак ви повинні знати, що в цьому випадку або обговорювана інтерпретація більше не відповідає, або ви маєте на увазі якесь інше визначення для кількісного визначення компромісу між точністю та відкликанням.

Виноски:

$P/R$ використовується в пошуку інформації, але це, здається, друкарня, див . Істину F-міри (Саскі, 2007).

Список літератури:

— Особа
джерело

1

Це має бути прийнятою відповіддю.

— javadba

3

Щоб швидко вказати на щось.

Це означає, що в міру збільшення бета-значення ви точно оцінюєте точність.

Насправді я думаю, що це навпаки - оскільки вищий кращий при оцінці F-β, ви хочете, щоб знаменник був малим. Отже, якщо ви зменшите β, то модель карається менше за хороший показник точності. Якщо ви збільшуєте β, то показник F-β карається більше, коли висока точність.

Якщо ви хочете зважити показник F-β так, щоб він визначав точність, β повинен бути 0 <β <1, де β-> 0 значить лише точність (чисельник стає дуже малим, і єдине, що в знаменнику - це нагадування, тому показник F-β зменшується у міру збільшення виклику).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— H Froedge
джерело

0

Причина того, що β ^ 2 множиться з точністю, - це саме спосіб визначення F-балів. Це означає, що в міру збільшення бета-значення ви точно оцінюєте точність. Якщо ви хочете помножити його на виклик, який також би спрацював, це просто означатиме, що при збільшенні бета-значення ви більше нагадуєте.

— Махмуд
джерело

0

Значення бета-версії більше 1 означає, що ми хочемо, щоб наша модель приділяла більше уваги моделі Recall порівняно з Precision. З іншого боку, значення менше 1 надає більше уваги точності.

— Мохіт Шарма
джерело