Логістична регресія - термін помилок та її розповсюдження

Про те, чи існує термін помилки в логістичній регресії (та її припущеному розподілі), я читав у різних місцях, що:

1. термін помилки не існує
2. термін помилки має біноміальний розподіл (відповідно до розподілу змінної відповіді)
3. термін помилки має логістичний розподіл

Може хтось, будь ласка, уточнить?

У лінійних регресійних спостереженнях передбачається, що слід розподіл Гаусса із середнім параметром, обумовленим значеннями предиктора. Якщо відняти середнє значення зі спостережень, ви отримаєте помилку : розподіл Гаусса із середнім нулем та незалежний від значень прогноктора - тобто помилки в будь-якому наборі значень прогноктора слідують за тим самим розподілом.

У логістичних регресійних спостереженнях передбачається, що слід розподіл Бернуллі ^† із середнім параметром (вірогідністю), що обумовлюється значеннями прогноктора. Отже, для будь-яких заданих значень прогноктора, що визначають середнє значення існують лише дві можливі помилки: що виникають з ймовірністю , і що виникають з вірогідністю . Для інших значень предиктора помилки будуть що виникають з ймовірністю , і виникають з вірогідністюπ 1 - π π 0 - π 1 - π 1 - π ′ π ′ 0 - π ′ 1 - π $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$$0-\pi'$$1-\pi'$. Таким чином, немає загального розподілу помилок, незалежного від значень предиктора, саме тому люди кажуть "немає терміна помилки" (1).

"Термін помилки має біноміальне розподіл" (2) - це просто неохайність - "Гауссові моделі мають гауссові помилки, ерго біноміальні моделі мають біноміальну помилку". (Або, як зазначає @whuber, це може означати "різниця між спостереженням і його очікуванням має біноміальне розподіл, переведене на очікування".)

"Термін помилки має логістичний розподіл" (3) виникає при виведенні логістичної регресії з моделі, де ви спостерігаєте, перевищує чи приховану змінну з помилками після логістичного розподілу деякий поріг. Отже, це не та сама помилка, яка визначена вище. (Здавалося б, дивна річ сказати IMO поза цим контекстом або без явного посилання на приховану змінну.)

† Якщо у вас є спостережень з однаковими значеннями предиктора, що дають однакову ймовірність для кожного, то їх сумаπ ∑ $k$$\pi$$\sum y$ слід двочленному розподілу з ймовірністю та ні. випробування k . Враховуючи ∑ y - k π, оскільки помилка призводить до тих же висновків.$\pi$$k$$\sum y -k\pi$

$[0,1]$$[0,1]$$n=1$$\theta$

Для мене об'єднання логістичної, лінійної, пуассонової регресії тощо ... завжди було в частині конкретизації середнього рівня та дисперсії в рамках Узагальненої лінійної моделі. Почнемо з вказівки розподілу ймовірності для наших даних, нормальної для безперервних даних, Бернуллі для дихотомічних, Пуассона для підрахунків тощо тощо. Потім ми визначаємо функцію посилання, яка описує, як середнє значення пов’язане з лінійним предиктором:

$g(\mu_i) = \alpha + x_i^T\beta$

$g(\mu_i) = \mu_i$

$g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

$g(\mu_i) = \log(\mu_i)$

Єдине, що можна було б врахувати з точки зору написання терміна про помилку, - це зазначити:

$y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$$E(e_i) = 0$$Var(e_i) = \sigma^2(\mu_i)$$\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$$e_i$

$e_i$

1. Немає помилок. Ми моделюємо середину! Середнє значення - просто справжнє число.
2. Це не має для мене сенсу.
3. Розгляньте змінну відповіді як приховану змінну. Якщо ви вважаєте, що термін помилки зазвичай розподіляється, то модель стає пробітною моделлю. Якщо ви вважаєте, що розподіл терміна помилки є логістичним, то модель є логістичною регресією.