Я намагаюся отримати глобальну точку зору на деякі найважливіші ідеї машинного навчання, і мені було цікаво, чи існує комплексне трактування різних понять втрат (квадрат, журнал, шарнір, проксі тощо). Я думав про щось більш чітке, формальне представлення чудового посту Джона Ленгфорда на тему « Семантика функцій втрат» .
Відповіді:
Підручник з енергетики на основі навчання по LeCun і ін. може отримати вам добру частину шляху туди. Вони описують ряд функцій втрат та обговорюють, що робить їх «добрими чи поганими» для моделей на основі енергії.
Функція втрат задається задачею. Це може бути що завгодно. Наприклад, ви також можете покарати використаний час та простір процесора.
У навчанні підкріплення функція втрат - це невідома недетермінована функція. Ви не можете переосмислити це, не змінивши проблему.
Я знаю, що це питання є своєрідним, але мене це зараз цікавить.
Дуже хорошим документом на тему опуклих функцій втрат та послідовності класифікаторів є " Статистична поведінка та послідовність методів класифікації на основі мінімізації випуклих ризиків " Тонг Чжан.