Запитання
- Це залежить від того, чи є дерево дрібним чи глибоким? Або ми можемо сказати це незалежно від глибини / рівнів дерева?
- Чому ухил низький і дисперсія висока? Будь-ласка, поясніть інтуїтивно та математично
Запитання
Відповіді:
Трохи запізнюємось на партію, але я вважаю, що на це питання можна відповісти конкретними прикладами.
Я напишу резюме цієї чудової статті: упередженість-відхилення-компроміс , яка допомогла мені зрозуміти тему.
Помилка передбачення для будь-якого алгоритму машинного навчання може бути розбита на три частини:
Неприпустима помилка
Як випливає з назви, це компонент помилки, який ми не можемо виправити, незалежно від алгоритму та його вибору параметрів. Неприпустима помилка пояснюється складностями, які просто не фіксуються у навчальному наборі. Це можуть бути атрибути, яких у нас немає в навчальному наборі, але вони впливають на відображення результату незалежно.
Помилка зміщення
Помилка зміщення пояснюється нашими припущеннями щодо цільової функції. Чим більше припущень (обмежень) ми робимо щодо цільових функцій, тим більше упередженості ми вводимо. Моделі з великим ухилом менш гнучкі, оскільки ми наклали більше правил на цільові функції.
Похибка варіації
Похибка варіації - це мінливість форми цільової функції стосовно різних навчальних наборів. Моделі з невеликою помилкою дисперсії сильно не зміняться, якщо замінити пару зразків у навчальному наборі. Моделі з великою дисперсією можуть вплинути навіть при невеликих змінах у навчальному наборі.
Розглянемо просту лінійну регресію:
Y=b0+b1x
Очевидно, що це досить обмежувальне визначення цільової функції, і тому ця модель має високий ухил.
З іншого боку, через низьку дисперсію, якщо ви зміните пару зразків даних, навряд чи це призведе до великих змін у загальному відображенні цільової функції, яку виконує. З іншого боку, такі алгоритми, як k-найближчі сусіди, мають велику дисперсію та низький ухил. Неважко уявити, як різні зразки можуть впливати на поверхню рішення KNN.
Як правило, параметричні алгоритми мають високу зміщення та низьку дисперсію, і навпаки.
Однією з проблем машинного навчання є пошук правильного балансу помилки зміщення та помилки дисперсії.
Дерево рішень
Тепер, коли у нас є ці визначення, ми також просто бачимо, що дерева рішень є прикладом моделі з низьким ухилом та великою дисперсією. Дерево майже не передбачає припущень щодо цільової функції, але воно дуже чутливе до розходження даних.
Існують алгоритми ансамблю, такі як агрегація завантажувального завантаження та випадковий ліс, які спрямовані на зменшення дисперсії при невеликій вартості зміщення в дереві рішень.
Якщо кількість рівнів занадто велика, тобто складне дерево рішень, модель має тенденцію перевищувати.
Інтуїтивно це можна зрозуміти таким чином. Коли існує занадто багато вузлів прийняття рішень, перш ніж досягти результату, тобто кількість вузлів, які потрібно пройти, перш ніж дійти до листових вузлів, висока, умови, щодо яких ви перевіряєте, стають мультиплікаційними. Тобто обчислення стає (умова 1) && (умова 2) && (умова 3) && (умова 4) && (умова5) .
Тільки якщо всі умови будуть виконані, рішення приймається. Як бачите, це буде дуже добре для навчального набору, оскільки ви постійно звужуєте дані. Дерево дуже налаштоване на дані, присутні в навчальному наборі.
Але коли буде подано нову точку даних, навіть якщо один із параметрів трохи відхилиться, умова не буде виконана, і вона прийме неправильну гілку.
Дерево складного рішення (наприклад, глибоке) має низький ухил і велику дисперсію. Коефіцієнт зміщення відхилення залежить від глибини дерева.
Дерево рішень чутливе до того, де воно розбивається і як воно розбивається. Тому навіть невеликі зміни вхідних змінних значень можуть призвести до дуже різної структури дерева.
Чому дерево рішень має низький ухил та велику дисперсію? Це залежить від того, чи є дерево дрібним чи глибоким? Або ми можемо сказати це незалежно від глибини / рівнів дерева? Чому ухил низький і дисперсія висока? Будь-ласка, поясніть інтуїтивно та математично.
Зміщення проти варіації
Більше зміщення = помилка від спрощення моделі (не дуже добре підходить до даних)
Більше відхилення = помилка від того, що модель є більш складною (надто добре підходить до даних, і вивчає шум на додаток до властивих шаблонам даних)
Все відносно
Хочу почати з того, що все відносно. Дерево рішень взагалі має низький ухил і велику дисперсію, що скажімо, випадкові ліси. Аналогічно, більш дрібне дерево буде мати більш високий ухил і меншу дисперсію, ніж те саме дерево з більшою глибиною.
Порівняння дисперсії дерев рішень та випадкових лісів
Тепер, випрашивши це, давайте подумаємо, чому дерева рішень будуть гіршими у відмінність (більша дисперсія та менший ухил), ніж скажімо випадкові ліси. Спосіб алгоритму дерева рішень полягає в тому, що дані розбиваються знову і знову, коли ми спускаємося в дерево, тому фактичні прогнози будуть зроблені меншою кількістю менших точок даних. Порівняно з цим, випадкові ліси агрегують рішення декількох дерев, і що також менш корельовані дерева через рандомізацію, отже, модель узагальнюється краще (=> працює більш надійно для різних наборів даних = менша дисперсія). Аналогічно, ми робимо більш спрощені припущення щодо випадкових лісів, щоб проконсультуватися лише з підмножиною даних та функцій, щоб підходити до одного дерева, отже, і більші ухили. Дорога, подібне,