Чи існує стратегія вибору кількості дерев в ГБМ? Зокрема, ntreesаргумент у R's gbmфункції.
Я не бачу, чому ви не повинні встановлювати ntreesмаксимальне розумне значення. Я помітив, що більша кількість дерев явно знижує мінливість результатів від кількох ГБМ. Я не думаю, що велика кількість дерев призведе до надмірного вбрання.
Будь-які думки?
Відповіді:
Це GBM:
" Я не думаю, що ... " була небезпечною першою частиною багатьох речень.
Достатньо хороший безглуздий без міри добра, рубрики.
Які заходи доброти для будь-якого іншого методу?
Як і нейронна мережа, або сплайн, ви можете виконати кульову лінійну інтерполяцію даних та отримати модель, яка не може узагальнити. Вам потрібно відмовитися від деяких «низьких помилок» в обмін на загальну застосовність - узагальнення.
Більше посилань:
Я знайшов деяке розуміння проблеми: http://cran.r-project.org/web/packages/dismo/vignettes/brt.pdf
gbm.stepФункція може бути використана для визначення оптимальної кількості дерев. Я досі не впевнений, що викликає збільшення відхилення моделі після певної кількості дерев, тому я все ще готовий прийняти відповідь, яка відповідає на цю частину питання!
Це робоча інструкція щодо посилених регресійних дерев від Elith et al .: http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2656.2008.01390.x/full Дуже корисно!
Ви повинні принаймні використовувати 1000 дерев. Наскільки я зрозумів, ви повинні використовувати поєднання швидкості навчання, складності дерев та кількості дерев, що досягає мінімальної помилки передбачення. Менші значення коефіцієнта навчання призводять до збільшення ризику навчання за однакової кількості повторень, тоді як кожна ітерація знижує ризик навчання. Якщо кількість дерев досить велика, ризик можна зробити довільно невеликим (див.: Hastie et al., 2001, «Елементи статистичного навчання, обмін даними, умовиводи та прогнозування» ).
Як часто зустрічається в деяких алгоритмах машинного навчання, Boosting підлягає компромісії з ухилом відхилення щодо кількості дерев. Якщо говорити про це, то це говорить про те, що: (i) слабкі моделі, як правило, мають велику упередженість та низьку дисперсію: вони занадто жорсткі, щоб захопити мінливість у навчальному наборі даних, тому також не будуть добре працювати в тестовому наборі (високий тест помилка) (ii) дуже сильні моделі, як правило, мають низький ухил і велику дисперсію: вони занадто гнучкі і вони переповнюють навчальний набір, тому в тестовому наборі (оскільки точки даних відрізняються від навчального набору) вони також не будуть добре працювати (висока помилка тесту)
Концепція розширення дерев - починати з неглибоких дерев (слабких моделей) і продовжувати додавати більше дрібних дерев, які намагаються виправити попередні слабкості дерев. Під час цього процесу помилка тесту має тенденцію до зменшення (оскільки загальна модель стає більш гнучким / потужним). Однак якщо ви додасте занадто багато цих дерев, ви почнете переробляти дані тренувань, і тому помилка тесту збільшується. Перехресне підтвердження допомагає знайти солодке місце