Запитання з тегом «gbm»

Я намагаюся зрозуміти ключові відмінності між GBM та XGBOOST. Я спробував google це, але не міг знайти жодних хороших відповідей, що пояснювали б відмінності між двома алгоритмами та чому xgboost майже завжди працює краще, ніж GBM. Що робить XGBOOST настільки швидким?

40 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

Я намагаюся підготувати градієнтну модель для збільшення градієнта на 50 к. Прикладах із 100 числовими функціями. XGBClassifierобробляє 500 дерев протягом 43 секунд на моїй машині, тоді як GradientBoostingClassifierобробляє лише 10 дерев (!) за 1 хвилину і 2 секунди :( Я не намагався виростити 500 дерев, як це займе години. Я …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

В даний час я використовую XGBoost для набору даних з 21 функцією (вибрано зі списку з приблизно 150 функцій), потім однокольоровим кодуванням їх, щоб отримати ~ 98 функцій. Деякі з цих 98 особливостей є дещо зайвими, наприклад: змінна (функція) також з'являється як і .ААAБАБА\frac{B}{A}САСА\frac{C}{A} Мої запитання: Як ( якщо? ) …

23 feature-selection  correlation  xgboost  gbm 

Наскільки я знаю, щоб навчити навчання класифікувати моделі, у наборі даних потрібно мати три речі: етикетка або відповідність група або ідентифікатор запиту вектор функції Наприклад, набір даних Microsoft Learning to Rank використовує цей формат (мітка, ідентифікатор групи та функції). 1 qid:10 1:0.031310 2:0.666667 ... 0 qid:10 1:0.078682 2:0.166667 ... Я …

14 search  ranking  xgboost  gbm 

фон: в xgboost в ітераційним підганяє дерево ф т по всьому п прикладів , які зводять до мінімуму наступної мети:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] де спочатку порядок і похідні другого порядку над нашою попередньою кращої оцінки у (від ітерації т - 1 ):gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, \hat{y}) а - наша …

12 xgboost  gbm