Функція втрати біноміального відхилення Scikit

Це функція втрати біноміального відхилення від scikit GradientBoosting,

   def __call__(self, y, pred, sample_weight=None):
        """Compute the deviance (= 2 * negative log-likelihood). """
        # logaddexp(0, v) == log(1.0 + exp(v))
        pred = pred.ravel()
        if sample_weight is None:
            return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred))
        else:
            return (-2.0 / sample_weight.sum() *
                    np.sum(sample_weight * ((y * pred) - np.logaddexp(0.0, pred))))

Ця функція втрати не схожа між класом з 0 і класом з 1. Чи може хтось пояснити, як це вважається нормальним.

Наприклад, без ваги вибірки функцією втрат для класу 1 є

-2(pred - log(1 + exp(pred))

vs для класу 0

-2(-log(1+exp(pred))

Сюжет для цих двох не схожий за вартістю. Хтось може допомогти мені зрозуміти.

Для розуміння цієї реалізації потрібні два спостереження.

Перше - predце не вірогідність, це шанси на журнал.

Друга - це стандартна алгебраїчна маніпуляція біноміального відхилення, яка йде так. Нехай - коефіцієнт журналу, що викликає . Тоді визначення біноміального відхилення спостереження становить (до коефіцієнта )$P$sklearnpred$-2$

$$y \log(p) + (1-y) \log(1 - p) = \log(1 - p) + y \log \left( \frac{p}{1-p} \right)$$

Тепер зауважте, що і (швидка перевірка полягає у підсумовуванні їх в голові ви отримаєте ). Тому$p = \frac{e^{P}}{1 + e^{P}}$$1-p = \frac{1}{1 + e^{P}}$$1$

$$\log(1-p) = \log \left( \frac{1}{1 + e^{P}} \right) = - \log(1 + e^{P})$$

і

$$\log \left( \frac{p}{1-p} \right) = \log ( e^{P} ) = P$$

Таким чином, біноміальне відхилення дорівнює

$$y P - \log( 1 + e^{P} )$$

Яке рівняння sklearnвикористовує.