Чим відрізняється функція втрати від функції прийняття рішень?

Я бачу, що обидві функції є частиною методів видобутку даних, таких як градієнтні бустерні регресори. Я бачу, що це теж окремі об’єкти.

Якими є взаємини між обома загалом?

Функція прийняття рішення - це функція, яка приймає набір даних як вхідний дані і дає рішення як вихід. Яким може бути рішення, залежить від проблеми. Приклади включають:

• Проблеми з оцінкою : "рішення" - це оцінка.
• Проблеми тестування гіпотез: рішення полягає у відхиленні чи не відхиленні нульової гіпотези.
• Проблеми з класифікацією: рішення полягає в тому, щоб класифікувати нове спостереження (або спостереження) на категорію.
• Проблеми вибору моделі: рішення полягає у виборі однієї з кандидатських моделей.

Зазвичай існує нескінченна кількість функцій прийняття рішення щодо проблеми. Якщо нас, наприклад, цікавить оцінка висоти шведських самців на основі десяти спостережень , ми можемо використовувати будь-яку з наступних функцій рішення :$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• Вибірка означає: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• Медіана вибірки:$d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• Середнє геометричне значення вибірки:$d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• Функція, яка завжди повертає 1: , незалежно від значення . Дурне, так, але це все-таки дійсна функція прийняття рішення.$d(\mathbf{x})=1$$\mathbf{x}$

Як тоді ми можемо визначити, яку з цих функцій прийняття рішення використовувати? Один із способів - використовувати функцію збитків , яка описує втрати (або вартість), пов'язані з усіма можливими рішеннями. Різні функції прийняття рішень, як правило, призводять до помилок різного типу. Функція втрати вказує нам на те, який тип помилок нас би турбує більше. Найкраща функція рішення - це функція, яка приносить найменші очікувані втрати . Що мається на увазі під очікуваними втратами, залежить від налаштування (зокрема, чи ми говоримо про статистику частої чи байесівської ).

Підсумовуючи:

• Функції прийняття рішень використовуються для прийняття рішень на основі даних.
• Функції втрати використовуються для визначення, яку функцію прийняття рішення використовувати.

Функція втрат - це те, що зводиться до мінімуму для отримання моделі, яка є оптимальною в певному сенсі. Сама модель має функцію прийняття рішення, яка використовується для прогнозування.

Наприклад, у класифікаторах SVM:

• $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• функція рішення: підписана відстань до роздільної гіперплани:$f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$