Цільова функція, функція витрат, функція втрат: чи це одне і те ж?

У машинному навчанні люди говорять про об'єктивну функцію, функцію витрат, функцію втрат. Це просто різні назви одного і того ж? Коли їх використовувати? Якщо вони не завжди посилаються на одне й те саме, які відмінності?

Це не дуже строгі умови, і вони дуже пов'язані. Однак:

• Функція втрати - це звичайно функція, визначена в точці даних, передбаченні та мітці, і вимірює штраф. Наприклад:
  • квадратні втрати , що використовується в лінійній регресії$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • втрата шарніра , що використовується у SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 втрата , що використовується в теоретичному аналізі та визначенні точності$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• Функція витрат зазвичай більш загальна. Це може бути сума функцій втрат за ваш навчальний набір плюс деяка сума складності штрафу (регуляризація). Наприклад:
  • Середня помилка у$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Функція вартості (є додаткові обмеження, що з'єднують з і з навчальним набором)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• Цільова функція - найзагальніший термін для будь-якої функції, яку ви оптимізуєте під час тренувань. Наприклад, ймовірність створення навчальної програми, встановленої в підході до максимальної ймовірності, є чітко визначеною цільовою функцією, але це не функція збитків, ані функція витрат (однак ви можете визначити функцію еквівалентної вартості). Наприклад:
  • MLE - це тип об'єктивної функції (яку ви максимізуєте)
  • Розбіжність між класами може бути об'єктивною функцією, але це ледве функція витрат, якщо ви не визначите щось штучне, наприклад 1-дивергенцію, і не назвете це вартістю

Короткий огляд, я б сказав, що:

Функція втрат - це частина функції витрат, яка є типом об'єктивної функції.

За словами професора Ендрю Нг (див. Слайди на стор. 11),

Функція h (X) представляє вашу гіпотезу. Для фіксованих параметрів підгонки тета - це функція функції X. Я б сказав, що це також можна назвати цільовою функцією.

Функція витрат J - це функція theta параметрів підгонки. J = J (тета).

Відповідно до підручника Hastie et al. "Елементи статистичного навчання" , на с.37:

"Ми шукаємо функцію f (X) для прогнозування Y заданих значень входу X." [...] функція втрати L (Y, f (X)) "є функцією для покарання помилок у передбаченні",

Тож здається, що "функція втрати" є дещо більш загальним терміном, ніж "функція витрат". Якщо ви шукаєте "втрати" в цьому PDF-файлі, я думаю, що вони використовують "функцію витрат" та "функцію втрати" дещо синонімічно.

Справді, с. 502

"Ситуація [в кластері] дещо схожа на конкретизацію функції збитків або витрат у задачах передбачення (контрольоване навчання)".

Можливо, ці терміни існують, оскільки вони розвивалися незалежно в різних академічних спільнотах. "Об'єктивна функція" - це старий термін, що використовується в дослідженні операцій та інженерній математиці. "Функція втрати" може бути більш вживаною серед статистиків. Але я спекулюю тут.

За словами Ендрю Н.Г.,

"Нарешті, функція втрат була визначена стосовно єдиного прикладу навчання. Він вимірює, наскільки добре ви працюєте на одному прикладі навчання. Зараз я буду визначати щось, що називається функцією витрат, яка визначає, наскільки ви добре виконуючи цілий навчальний набір. Таким чином, функція витрат J, яка застосовується до ваших параметрів W і B, буде середньою з одним із m суми функції втрат, застосованої до кожного з навчальних прикладів, і повернути. "

Із розділу 4.3 в "Поглибленому навчанні" - Йен Гудфлоу, Йошуа Бенджо, Аарон Курвіль http://www.deeplearningbook.org/

"Функція, яку ми хочемо мінімізувати або максимізувати, називається цільовою функцією або критерієм. Коли ми її мінімізуємо, ми можемо також назвати її функцією витрат, функцією втрати або функцією помилки. У цій книзі ми використовуємо ці терміни взаємозамінно, хоча деякі публікації машинного навчання надають особливого значення деяким із цих термінів ".

Принаймні, у цій книзі втрати та вартість однакові.

Щоб дати вам коротку відповідь, на мою думку, вони є синонімами. Однак функція витрат більше використовується в задачі оптимізації, а функція втрат використовується при оцінці параметрів.

Терміни вартість і втрати функції є синонімами, деякі люди також називають це функцією помилок. Більш загальним сценарієм є спочатку визначення цільової функції, яку ми хочемо оптимізувати. Ця об'єктивна функція могла би бути

1. максимізувати задню ймовірність (наприклад, наївний Байєс)
2. максимізувати фітнес-функцію (генетичне програмування)
3. максимізувати функцію загальної винагороди / цінності (підкріплення навчання)
4. максимізувати приріст інформації / мінімізувати домішки дочірнього вузла (класифікація дерева рішень CART) 5.мінімізувати середню функцію вартості (або втрати) в квадраті (CART, регресія дерева рішень, лінійна регресія, адаптаційні лінійні нейрони,…
5. максимізувати ймовірність журналу або мінімізувати перехресну ентропію втрати (або витрати), мінімізувати втрати шарнірів (векторна машина підтримки)

Насправді, щоб бути простим Якщо у вас є такі дані тренувань, як це (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Ми використовуємо функцію втрат L (ycap, y), щоб знайти втрати між ycap та y одного навчального набору. Якщо ми хочемо знайти втрати між ycap та y цілого навчального набору, ми використовуємо функція витрат.

Примітка: - ycap означає вихід з нашої моделі, а y означає очікуваний вихід

Примітка: - Кредит йде на Ендрю з ресурсу: нейронна мережа курсу та глибоке навчання

Функція втрати обчислює помилку для одного прикладу навчання, тоді як функція витрат - це середнє значення функцій втрат усього навчального набору.