Запитання з тегом «bagging»

У чому подібність та відмінності між цими 3 методами: Баггінг, Підвищення, Укладання? Який найкращий? І чому? Чи можете ви надати мені приклад для кожного?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Коротке визначення стимулювання : Чи може набір слабких учнів створити одного сильного учня? Слабкий учень визначається як класифікатор, який лише трохи корелює з справжньою класифікацією (він може мітити приклади краще, ніж випадкові здогадки). Коротке визначення випадкових лісів : Випадкові ліси вирощують багато дерев класифікації. Щоб класифікувати новий об’єкт із вхідного …

51 machine-learning  random-forest  boosting  bagging 

Я спостерігаю за змаганнями за Kaggle довгий час, і я усвідомлюю, що багато виграшних стратегій передбачають використання принаймні однієї з "великих трійки": розстрілювання, підсилення та складання. Що стосується регресії, а не концентруватись на побудові однієї найкращої можливої ​​регресійної моделі, створюється кілька регресійних моделей, таких як (Узагальнена) лінійна регресія, випадкові лісові, …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Я точно не розумію, що розуміється під розміром вузла. Я знаю, що таке вузол рішення, але не той розмір вузла.

20 machine-learning  random-forest  bagging 

Загалом, у проблемі класифікації, де мета - точно передбачити вибіркову приналежність до класу, коли я не повинен використовувати класифікатор ансамблю? Це питання тісно пов'язане з тим, чому б не завжди використовувати ансамблеве навчання? . Це питання задає, чому ми не використовуємо ансамблі весь час. Хочеться знати, чи є випадки, коли …

17 classification  boosting  ensemble  bagging 

Я (приблизно) чув, що: пакетування - це методика зменшення дисперсії алгоритму прогнозування / оцінки / навчання. Однак я ніколи не бачив формального математичного підтвердження цього твердження. Хтось знає, чому це математично вірно? Це, мабуть, є таким широко прийнятим / відомим фактом, що я очікую прямого посилання на це. Я був …

17 machine-learning  mathematical-statistics  bagging 

Є багато повідомлень в блогах, відео на YouTube і т.д. про ідеях розфасовки або підвищення дерев. Моє загальне розуміння полягає в тому, що псевдокод для кожного такий: Мішок: Візьміть N випадкових вибірок x% зразків і y% ознак Встановіть свою модель (наприклад, дерево рішень) на кожен з N Прогнозуйте з кожним …

17 cart  boosting  xgboost  bagging 

Я аналізую набір даних, використовуючи модель змішаних ефектів з одним фіксованим ефектом (умовою) та двома випадковими ефектами (учасник, обумовлений в рамках проекту та пари). Модель була згенерована з lme4пакетом: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Далі я провів перевірку коефіцієнта ймовірності цієї моделі проти моделі без фіксованого ефекту (умови) і маю суттєву різницю. У моєму …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Під час використання завантажувальної програми для оцінки моделі, я завжди вважав, що зразки з мішків безпосередньо використовуються як тестовий набір. Однак, як видається, це не стосується застарілого підходу наукової роботиBootstrap , який, здається, будує тестовий набір із малювання із заміною із підмножини даних із пакета. Які статистичні міркування стоять за …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Щодо прискорення алгоритмів, я б сказав, що вони розвивалися досить добре. На початку 1995 року була представлена ​​AdaBoost, потім через деякий час це була градієнтна машина для підсилення (GBM). Нещодавно, близько 2015 року, було представлено XGBoost, який є точним, справляється з оснащенням і став переможцем кількох змагань Kaggle. У 2017 …

14 random-forest  boosting  bagging 

Випадковий ліс - це сукупність дерев рішень, що дотримуються концепції сміття. Коли ми переходимо від одного дерева рішень до наступного дерева рішень, то як інформація, отримана за останнім деревом рішення, рухається вперед до наступного? Тому що, наскільки я розумію, немає нічого подібного до навченої моделі, яка створюється для кожного дерева …

14 machine-learning  random-forest  cart  bagging 

Читаючи чудове статистичне моделювання: Дві культури (Брейман 2001) , ми зможемо використати всю різницю між традиційними статистичними моделями (наприклад, лінійною регресією) та алгоритмами машинного навчання (наприклад, Baging, Random Forest, Boosted дерева ...). Брейман критикує моделі даних (параметричні), оскільки вони ґрунтуються на припущенні, що спостереження породжуються відомою формальною моделлю, призначеною статистиком, …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Мені здається, що ансамблеве навчання завжди дасть кращі показники прогнозування, ніж лише одна гіпотеза навчання. То чому б ми не використовували їх постійно? Моя здогадка, можливо, через обчислювальні обмеження? (навіть тоді ми використовуємо слабкі предиктори, тому я не знаю).

13 boosting  ensemble  bagging 

Якщо ми розглянемо повне вирощене дерево рішень (тобто дерево без рішення), воно має велику дисперсію та низький ухил. Баггінг та випадкові ліси використовують ці моделі з високою дисперсією та агрегують їх, щоб зменшити дисперсію та, таким чином, підвищити точність прогнозування. І Baging, і випадкові ліси використовують вибірку Bootstrap, і як …

11 variance  random-forest  cart  bias  bagging 

Здається, Scikit використовує ймовірнісне прогнозування замість більшості голосів для методики моделювання агрегації без пояснення того, чому (1.9.2.1. Випадкові ліси). Чи є чітке пояснення чому? Далі є хороша стаття чи огляд статей для різних методів агрегації моделей, які можна використовувати для випадкового розпалювання лісу? Дякую!

10 random-forest  python  scikit-learn  aggregation  bagging