Як розробити та реалізувати асиметричну функцію втрат для регресії?

Проблема

У регресії звичайно обчислюється середня помилка у квадраті (MSE) для вибірки: для вимірювання якості прогноктора.

MSE = \frac{1}{n} \sum_{i = 1}^{n} {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$

Зараз я працюю над проблемою регресії, де мета полягає в тому, щоб передбачити ціну, яку клієнти готові платити за товар з урахуванням ряду числових особливостей. Якщо прогнозована ціна зависока, замовник не купуватиме товар, але грошові втрати низькі, оскільки ціну можна просто зменшити. Звичайно, воно не повинно бути занадто високим, оскільки тоді продукт може довго не купуватися. З іншого боку, якщо передбачувана ціна буде занадто низькою, товар буде куплений швидко без шансу скорегувати ціну.

Іншими словами, алгоритм навчання повинен передбачати трохи більш високі ціни, які при необхідності можна зменшити, а не занижувати справжню ціну, що призведе до негайної грошової втрати.

Питання

Як би ви створили метрику помилок, що включає цю асиметрію витрат?

Можливе рішення

Способом визначення асиметричної функції втрат було б просто помножити на вагу: причому параметр може бути відрегульований для зміни ступеня асиметрії. Я знайшов це тут . Це здається найбільш прямим вперед, зберігаючи квадратичну втрату.

\frac{1}{n} \sum_{i = 1}^{n} | α - 1_{(g (x_{i}) - \hat{g} (x_{i})) < 0} | \cdot {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$

regression error loss-functions

— Кіуде
джерело

@MichaelChernick, FTR, я вважаю, що це хороше питання, яке було чітко і чітко визначено, і визнаю, що я трохи прискіпливий. Те, що я отримую, - це (як ви знаєте) встановлення регресії (тобто рішення для ) робиться (за замовчуванням), мінімізуючи функцію втрати OLS , SSE. Ви маєте рацію, що MSE може використовуватися рівномірно розподілом на постійну величину на постійну, не впливатиме на впорядкування бета-версії кандидата.

β

$\boldsymbol{\beta}$

— gung - Відновіть Моніку

Інший факт полягає в тому, що MSE (частіше RMSE) часто використовується для оцінки якості вбудованої моделі (хоча, знову ж таки, SSE можна було б використовувати в рівній мірі). Вся справа в тому, що це питання (як би мені не було) стосується того, як думати про / переробляти функцію втрати , щоб придатні бета-файли відрізнялися від стандартних, ніж вони, а не про те, як по-іншому думати про якість моделі, яка вже підходила.

— gung - Відновіть Моніку

@Kiudee, якщо моє тлумачення вашого Q правильне, що ви думаєте про його редагування, щоб додати тег втрат-функцій та, можливо, переглянути заголовок на щось на кшталт: "Як створити та реалізувати асиметричну функцію втрати для регресії"? Я не буду редагувати сам, якщо ви не погоджуєтесь з ними.

— gung - Відновіть Моніку

Для довідки, я бачив кількісну регресію, запропоновану, коли потрібно асиметричні функції втрат, див. Berk, 2011 , PDF тут .

— Енді Ш

Оскільки я використовую різноманітні алгоритми навчання для вирішення цієї проблеми, функція повинна бути диференційованою хоча б один раз.

— Кіуде

Як було сказано в коментарях вище, квантильна регресія використовує асиметричну функцію втрат (лінійна, але з різними нахилами для позитивних і негативних помилок). Квадратний (квадратичний збиток) аналог квантильної регресії - експетильна регресія.

Для посилань можна переглянути квантильну регресію google. Для швидкої регресії див. Пакет очікування R та посилання у посібнику з посилань.

— Іннуо
джерело

Таке нерівномірне зважування часто робиться в задачах класифікації двох класів. Правило Байєса можна змінити, використовуючи функцію втрат, яка важить втрати вище однієї помилки, ніж інша. Це призведе до правила, яке створює неоднакові показники помилок.

При регресії, безумовно, можна було б побудувати вагову функцію, таку як зважена сума квадратів, яка дасть деяку вагу негативним помилкам, а більша вага - позитивним. Це було б подібно до найменш зважених квадратів, але трохи відрізняється, оскільки зважені найменші квадрати призначені для проблем, коли дисперсія помилок не є постійною у просторі можливих значень змінних прогноктора. У цьому випадку ваги є вищими для точок, де, як відомо, відхилення помилок є малими, і вище, коли дисперсія помилок є великою. Це, звичайно, призведе до значень параметрів регресії, що відрізняються від тих, які дав би вам OLS.

— Майкл Р. Черник
джерело