Запитання з тегом «boosting»

Нещодавно я працював над вивченням алгоритмів прискорення, таких як adaboost, gradient boost, і я знав той факт, що найпоширенішими слабовживаними є дерева. Мені дуже хочеться знати, чи є кілька останніх успішних прикладів (я маю на увазі деякі статті чи статті) для використання нейронних мереж як базового учня.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Я читав звіт про переможне рішення конкурсу Kaggle ( Класифікація зловмисних програм ). Звіт можна знайти у цьому дописі на форумі . Проблема була проблемою класифікації (дев'ять класів, метрика - логарифмічна втрата) із 10000 елементами в наборі поїздів, 10000 елементами в тестовому наборі. Під час змагань моделі оцінювались проти 30% …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Я читав різні (здавалося б) суперечливі твердження про те, чи AdaBoost (або інші прискорювальні методи) менш чи більше схильні до переозброєння порівняно з іншими методами навчання. Чи є вагомі підстави вірити тим чи іншим? Якщо це залежить, від чого це залежить? Які причини того, що AdaBoost менш / більше схильний …

20 machine-learning  boosting 

Я намагаюся зрозуміти, як працює XGBoost. Я вже розумію, як підсилені градієнти дерева працюють на склеарні Python. Що мені незрозуміло, це якщо XGBoost працює однаково, але швидше або якщо існують принципові відмінності між ним та реалізацією python. Коли я прочитав цей документ http://learningsys.org/papers/LearningSys_2015_paper_32.pdf Мені здається, що кінцевий результат, що виходить …

20 scikit-learn  boosting  gbm  xgboost 

Моя настройка така: Я дотримуюся вказівок у "Прикладному прогнозуванні". Таким чином, я відфільтрував відповідні функції та закінчив таке: 4900 балів даних у навчальному наборі та 1600 точок даних у тестовому наборі. У мене є 26 функцій, а ціль - це суцільна змінна. Я застосовую 5-кратну перехресну перевірку для тренування моделей …

20 machine-learning  boosting  overfitting 

Пень рішення - дерево рішень, що має лише один розкол. Він також може бути записаний як кусочно функція. Наприклад, припустимо, що - вектор, а - перший компонент , в регресійному режимі деякий пень рішення може бутих 1 ххxxх1x1x_1хxx f(x)={35x1≤2x1>2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ …

19 machine-learning  cart  linear  boosting 

Параметр швидкості навчання ( ) у Gradient Boosting скорочує внесок кожної нової базової моделі - типово неглибокого дерева -, яка додається у серії. Було показано, що різко підвищити точність тестового набору, що зрозуміло, оскільки при менших кроках мінімум функції втрат можна досягти більш точно. ν∈ [ 0 , 1 ]ν∈[0,1]\nu …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

У підручниках та лекціях на ютубі я дізнався багато про ітеративні моделі, такі як прискорення, але я ніколи нічого не бачив, як вивести інтервал передбачення. Перехресне підтвердження використовується для наступного: Вибір моделі : Спробуйте різні моделі та виберіть ту, яка найкраще підходить. У разі збільшення, використовуйте CV для вибору параметрів …

19 cross-validation  boosting  prediction-interval 

Я прочитав статтю Олександра Нікулеску-Мізіля та Річа Каруана " Отримання каліброваних ймовірностей від підвищення " та обговорення в цій темі. Однак у мене все ще виникають проблеми з розумінням та реалізацією логістичного чи масштабу Платта для калібрування результатів мого багатокласного прискорюючого класифікатора (ніжне підсилення з пнів). Я дещо знайомий з …

19 machine-learning  boosting 

Загалом, у проблемі класифікації, де мета - точно передбачити вибіркову приналежність до класу, коли я не повинен використовувати класифікатор ансамблю? Це питання тісно пов'язане з тим, чому б не завжди використовувати ансамблеве навчання? . Це питання задає, чому ми не використовуємо ансамблі весь час. Хочеться знати, чи є випадки, коли …

17 classification  boosting  ensemble  bagging 

Є багато повідомлень в блогах, відео на YouTube і т.д. про ідеях розфасовки або підвищення дерев. Моє загальне розуміння полягає в тому, що псевдокод для кожного такий: Мішок: Візьміть N випадкових вибірок x% зразків і y% ознак Встановіть свою модель (наприклад, дерево рішень) на кожен з N Прогнозуйте з кожним …

17 cart  boosting  xgboost  bagging 

Питання Я намагаюся зрозуміти, як прогноз зберігається в інтервалі [0,1][0,1][0,1] коли робимо бінарну класифікацію з підвищенням градієнта. Припустимо, що ми працюємо над проблемою бінарної класифікації, і наша цільова функція - втрата журналу, −∑yilog(Hm(xi))+(1−yi)log(1−Hm(xi))−∑yilog⁡(Hm(xi))+(1−yi)log⁡(1−Hm(xi))-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i)) , де yyy - цільова змінна ∈{0,1}∈{0,1}\in \{0,1\} а HHH - наша …

17 logistic  classification  boosting 

Чи може градієнтний прискорювач Фрідмана досягти кращих показників, ніж з випадковим лісом Бреймана ? Якщо так, то в яких умовах або який набір даних може покращити gbm?

16 machine-learning  data-mining  random-forest  boosting 

Я маю справу з контрольованим питанням бінарної класифікації. Я хотів би використовувати пакет GBM для класифікації людей як незаражених / інфікованих. У мене в 15 разів більше незаражених, ніж заражених. Мені було цікаво, чи страждають моделі GBM у разі незбалансованих розмірів класу? Я не знайшов жодних посилань, що відповідали б …

16 r  machine-learning  boosting  unbalanced-classes  gbm