Усереднення точності та відкликання при використанні перехресної перевірки

Я здійснив класифікацію, використовуючи декілька класифікаторів для даних, позначених двома класами, і використовував 5-кратну перехресну перевірку. На кожну складку я обчислював tp, tn, fp і fn. Тоді я підрахував точність, точність, відкликання та F-бал для кожного тесту. Моє запитання полягає в тому, що, коли я хочу оцінити результати, я взяв середнє значення точності, але чи можу я оцінити точність, згадку і F-бал? Або це було б математично неправильно? PS Набори даних, що використовуються у кожному складі, добре збалансовані за кількістю примірників на клас.

Дякую.

classification cross-validation precision-recall

— Каладжі
джерело

Я зіткнувся з вашою тією ж проблемою щодо обчислення вимірювальної величини F (середня гармонічна точність та відкликання) за допомогою перехресної перевірки. У цій роботі вони фактично продемонстрували, що обчислення F-міри на комплектації, а не усереднення, є менш упередженим методом. Я сподіваюся, що це може допомогти

— papafe

@markusian Будь ласка, додайте це як відповідь! Це, безумовно, найважливіше на цій сторінці !!

— drevicko

$F$

Ж_{1} = 2 \cdot \frac{точність \cdot згадати}{точність + згадати}

$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$

F_{β}

$F_\beta$

β

$\beta$

Ж_{β} = (1 + β^{2}) \frac{точність \cdot згадати}{(β^{2} \cdot точність) + згадати}

$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$

F

$F$

$t$ $F$ $F$

— Метт Краузе
джерело

Так, я використав першу формулу. Це означає, що усереднення F-балів у різних тестах дає аналогічні результати, як усереднення точності та згадування, а потім обчислення F-балу з них. Я спробував це на результатах, які у мене є, і це було майже однакове. Дякую.

— Kalaji