Потрібна допомога з розумінням пропозиції приблизних розділених балів xgboost

12

фон:

в xgboost в ітераційним підганяє дерево по всьому прикладів , які зводять до мінімуму наступної мети: $t$ $f_t$ $n$

\sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i})]

$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$

де спочатку порядок і похідні другого порядку над нашою попередньою кращої оцінки (від ітерації ): $g_i, h_i$ $\hat{y}$ $t-1$

$g_i=d_{\hat{y}}l(y_i, \hat{y})$
$h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

а - наша функція втрат. $l$

Питання (нарешті):

Будуючи і розглядаючи конкретну особливість у конкретному розщепленні, вони використовують наступну евристику для оцінки лише деяких кандидатів на розкол: Вони сортують усі приклади за їх , передають відсортований список і підсумовують свою другу похідну . Вони розглядають розділеного кандидата лише тоді, коли сума змінюється більше ніж . Чому так??? $f_t$ $k$ $x_k$ $h_i$ $\epsilon$

Пояснення, яке вони дають, ухиляється від мене:

Вони стверджують, що ми можемо переписати попереднє рівняння так:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - g_{i} / h_{i}]^{2} + c o n s t a n t

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$

і я не дотримуюся алгебри - чи можете ви показати, чому вона дорівнює?

А потім вони стверджують, що "це точно зважена квадратна втрата з мітками та вагами " - заява, з якою я погоджуюся, але не розумію, як це стосується алгоритму розділеного кандидата, який вони використовують. .. $gi/hi$ $h_i$

Дякую і вибачте, якщо це занадто довго для цього форуму.

xgboost gbm

— іхаданні
джерело

8

Я не буду вникати в деталі, але наступне має допомогти вам зрозуміти цю ідею.

$\{x_1, \cdots, x_{100}\}$ $10$ $\{x_{10}, x_{20}, \cdots, x_{90}\}$ $\epsilon$ $\sim \epsilon N$ $\epsilon = 0.01$ $\sim 100$ $\{1\%, 2\%, ..., 99\%\}$ $\epsilon$ $\epsilon$

$10$ $10\%$ $10\%$

— Підморгує
джерело

Я ввійшов у систему лише для того, щоб дати вам голос. Дякуємо за зрозумілі пояснення.

— Pakpoom Tiwakornkit

3

Просто додавши алгебраїчну частину до відповіді @Winks:

Друге рівняння повинно мати зворотний знак, як у:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - (- g_{i} / h_{i})]^{2} + c o n s t a n t = \sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t}^{2} (x_{i}) + 2 \frac{f_{t} (x_{i}) g_{i}}{h_{i}} + (g_{i} / h_{i})^{2}] = \sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i}) + \frac{g i^{2}}{2 h_{i}}]

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$

$g_i$ $h_i$ $f_t$

$-gi/hi$ $h_i$

Заслуга Ярона та Аві від моєї команди за те, що вони мені це пояснили.

— іхаданні
джерело

0

А потім вони стверджують, що "це точно зважена квадратна втрата з мітками gi / higi / hi та вагами hihi" - заява, з якою я погоджуюся, але не розумію, як це стосується алгоритму розділеного кандидата, який вони використовують. .

$w$ $t-t_h$ $w* = -gi/hi$ $(ft - -(gi/hi))^2$
$w*$ $-avg(gi)/const$ $-sigma(gi)/sigma(hi)$ $w*$ $hi$ $gi$ $w*$ $hi$

$hi$

— xy.Z
джерело