Точність машини для підвищення градієнта зменшується зі збільшенням кількості ітерацій

Я експериментую з алгоритмом машини для підвищення градієнта через caretпакет в Р.

Використовуючи невеликий набір даних про вступ до коледжу, я застосував такий код:

library(caret)

### Load admissions dataset. ###
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

### Create yes/no levels for admission. ### 
mydata$admit_factor[mydata$admit==0] <- "no"
mydata$admit_factor[mydata$admit==1] <- "yes"             

### Gradient boosting machine algorithm. ###
set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

і я здивував, що точність крос-валідації моделі зменшилась, а не збільшилася, оскільки кількість ітерацій підсилення збільшувалась, досягаючи мінімальної точності приблизно в 599 при ~ 450 000 ітерацій.

Чи я неправильно реалізував алгоритм GBM?

EDIT: За пропозицією Underminer я перезаписав вищезгаданий caretкод, але зосередився на виконанні 100-000 прискорених ітерацій:

set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(100,5000,100), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

Отриманий графік показує, що точність насправді досягає майже .705 при ~ 1800 ітераціях:

Цікавим є те, що точність не плато на ~ .70, а натомість знизилася після 5000 ітерацій.

Загалом, помилка прискорення може збільшуватись із кількістю ітерацій, зокрема, коли дані шумно (наприклад, неправильно позначені випадки). Це може бути вашою проблемою, але я не зміг би сказати, не знаючи більше про ваші дані

В основному, прискорення може «зосередитись» на правильному прогнозуванні випадків, що містять дезінформацію, і в процесі цього погіршить середню ефективність в інших суттєвих випадках.

Це посилання ( Збільшення рівня шуму ) показує кращий опис, ніж я можу надати проблему.

У цьому документі ( Шум випадкової класифікації ) Лонг та Серведіо подано більше технічних деталей випуску.

Те, що ви показали, - це класичний приклад оздоблення. Невелика помилка помилки походить від меншої продуктивності на частині перевірки вашого перехресного набору даних. Більше ітерацій майже завжди повинно покращувати помилки на тренувальному наборі, але навпаки справедливо для валідації / тестового набору.

Коди для відтворення аналогічного результату без пошуку в сітці,

mod = gbm(admit ~ .,
      data = mydata[,-5],
      n.trees=100000,
      shrinkage=0.001,
      interaction.depth=2,
      n.minobsinnode=10,
      cv.folds=5,
      verbose=TRUE,
      n.cores=2)

best.iter <- gbm.perf(mod, method="OOB", plot.it=TRUE, oobag.curve=TRUE, overlay=TRUE)
print(best.iter)
[1] 1487
pred = as.integer(predict(mod, newdata=mydata[,-5], n.trees=best.iter) > 0)
y = mydata[,1]
sum(pred == y)/length(y)
[1] 0.7225

Пакет gbm має функцію для оцінки оптимальної # ітерацій (= # дерев або # базових функцій),

gbm.perf(mod, method="OOB", plot.it=TRUE, oobag=TRUE, overlay=TRUE)

Для цього вам не потрібен потяг карети.