Що таке регуляризація простою англійською мовою?

На відміну від інших статей, я визнав, що цей текст у Вікіпедії для цієї теми не читається для людини, яка не має математики (як я).

Я зрозумів основну думку, що ви віддаєте перевагу моделям з меншою кількістю правил. Що я не отримую - це як ви перейдете від набору правил до «балів регуляризації», які можна використовувати для сортування моделей від мінімум до більшості нарядів.

Чи можете ви описати простий метод регуляризації?

Мене цікавить контекст аналізу статистичних торгових систем. Було б чудово, якби ви могли описати, чи / як я можу застосувати регуляризацію для аналізу наступних двох прогнозних моделей:

Модель 1 - ціна зростає, коли:

• exp_moving_avg (ціна, період = 50)> exp_moving_avg (ціна, період = 200)

Модель 2 - ціна зростає, коли:

• ціна [n] <ціна [n-1] 10 разів поспіль
• exp_moving_avg (ціна, період = 200) зростає

Але мені більше цікаво почути, як ти робиш регуляризацію. Тож якщо ви знаєте кращі моделі для пояснення, будь ласка, зробіть це.

Простіше кажучи, регуляризація налаштовує або вибирає бажаний рівень складності моделі, щоб ваші моделі краще прогнозували (узагальнювали). Якщо ви цього не зробите, ваші моделі можуть бути занадто складними і витонченими або занадто простими і недостатніми, в будь-якому випадку даючи погані прогнози.

Якщо у вас найменші квадрати підходять під складною моделлю до невеликого набору даних про тренування, які ви, ймовірно, перевиконаєте, це найчастіша ситуація. Оптимальна складність моделі залежить від виду процесу, який ви моделюєте, та якості даних, тому а апріорі правильної складності моделі немає.

Для регуляризації вам потрібно 2 речі:

1. Спосіб тестування того, наскільки хороші ваші моделі при прогнозуванні, наприклад, за допомогою перехресної перевірки або набору даних валідації (ви не можете використовувати для цього помилку пристосування ).
2. Параметр настройки, що дозволяє змінювати складність або плавність моделі, або вибір моделей різної складності / плавності.

Зауважте, що оптимізована помилка регуляризації не буде точною оцінкою загальної помилки передбачення, тому після регуляризації вам, нарешті, доведеться використовувати додатковий набір перевірок або виконати додатковий статистичний аналіз, щоб отримати об'єктивну помилку прогнозування.

Альтернативою використанню (перехресного) перевірки валідації є використання Байєсових Пріорів або інших методів для покарання складності або негладкості, але вони вимагають більшої статистичної складності та знання проблеми та особливостей моделі.

Припустимо, ви здійснюєте навчання за допомогою емпіричного мінімізації ризиків.

Точніше:

• $L(\text{actual value},\text{ predicted value})$
• Ви хочете підходити до своєї моделі таким чином, щоб її прогнози мінімізували середнє значення втрат, розраховане лише на дані тренувань (єдині дані, які у вас є)

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model}))$

Але якщо у вас недостатньо даних і у вашій моделі є велика кількість змінних, дуже ймовірно знайти таку модель, яка не тільки пояснює шаблони, але й пояснює випадковий шум у ваших даних. Цей ефект називається перевиконанням і призводить до погіршення здатності узагальнення вашої моделі.

$\text{Model} = \text{argmin} \sum L(\text{actual}, \text{predicted}(\text{Model})) + \lambda R(\text{Model})$

$R(\text{Model})$$R$$R$$R$

$R$$\bar a$

Простіше кажучи, регуляризація - це користь для рішень, які ви очікуєте отримати. Як ви вже згадували, наприклад, ви можете скористатися "простими" рішеннями для певного визначення простоти. Якщо у вашій проблемі є правила, на одне визначення може бути менше правил. Але це залежить від проблеми.

Однак ви ставите правильне запитання. Наприклад, у підтримці векторних машин ця "простота" випливає з розриву зв'язків у напрямку "максимального запасу". Цей запас - це те, що можна чітко визначити з точки зору проблеми. У статті SVM у Вікіпедії є дуже гарна геометрична деривація . Виявляється, термін регуляризації - це, мабуть, «секретний соус» СВМ.

Як робити регуляризацію? Загалом, це стосується методу, який ви використовуєте, якщо ви використовуєте SVM, ви робите регуляризацію L2, якщо ви використовуєте LASSO, ви здійснюєте регуляризацію L1 (дивіться, що говорить Hairybeast). Однак, якщо ви розробляєте свій власний метод, вам потрібно знати, як розповісти бажані рішення від небажаних, і мати функцію, яка це оцінює. Зрештою, у вас буде термін витрат і термін регуляризації, і ви хочете оптимізувати суму обох.

Методи регуляризації - це прийоми, застосовані до моделей машинного навчання, які роблять більш прийнятним рішення / обмеження моделі. Ці прийоми допомагають запобігти перенапруження.

$C$

Простіше кажучи, регуляризація - це техніка, що дозволяє уникнути переналагодження при навчанні алгоритмів машинного навчання. Якщо у вас є алгоритм з достатньо вільними параметрами, ви можете детально інтерполювати свій зразок, але приклади, що виходять за межі вибірки, можуть не слідувати цій інтерполяції деталей, оскільки вона просто захоплювала шум або випадкові нерівності у вибірці замість справжньої тенденції.

Перевищення розмірів дозволяє уникнути обмеження абсолютного значення параметрів у моделі. Це можна зробити, додавши до функції витрат термін, який накладає штраф на основі величини параметрів моделі. Якщо величина вимірюється в нормі L1, це називається "регуляризація L1" (і, як правило, призводить до розріджених моделей), якщо вона вимірюється в нормі L2, це називається "регуляризація L2" тощо.