Відмінності між логістичною регресією та перцептронами

Як я розумію, перцептрон / одношарова штучна нейронна мережа з функцією логістичної сигмоїдної активації є тією ж моделлю, що і логістична регресія. Обидві моделі задані рівнянням:

$F(x) = \frac{1}{1-e^{-\beta X}}$

Алгоритм навчання персептрон в Інтернеті та керований помилками, тоді як параметри логістичної регресії можна дізнатися, використовуючи різні алгоритми пакетної роботи, включаючи градієнтне зниження та BFGS з обмеженою пам’яттю, або онлайн-алгоритм, як стохастичний градієнтний спуск. Чи є інші відмінності між логістичною регресією та сигмоїдним перцептроном? Чи слід очікувати, що результати логістичного регресора, тренованого зі стохастичним градієнтом, будуть подібними до перцептрону?

Ви вже згадали про важливі відмінності. Тому результати не повинні сильно відрізнятися.

Я вважаю, що вам не вистачає однієї різниці в тому, що логістична регресія повертає принципову ймовірність класифікації, тоді як перцептрони класифікуються з жорсткою межею.

Про це йдеться у статті Wiki про мультиноміальну логістичну регресію .

Насправді існує велика істотна різниця, яка пов'язана з технічними відмінностями, про які ви згадали. Логістична регресія моделює функцію середнього розподілу Бернуллі як лінійне рівняння (середнє значення дорівнює p ймовірності події Бернуллі). Використовуючи посилання logit як функцію середнього ( p ), логарифм коефіцієнтів (log-odds) можна вивести аналітично і використовувати як відповідь на так звану узагальнену лінійну модель. Оцінка параметрів для цього GLM - це статистичний процес, який дає р-значення та довірчі інтервали для модельних параметрів. Крім прогнозування, це дозволяє інтерпретувати модель причинно-наслідкового висновку. Це те, чого ви не можете досягти за допомогою лінійного Perceptron.

Perceptron - це зворотний інженерний процес логістичної регресії: Замість того, щоб прийняти logit y, він бере функцію оберненої logit (логістичної) wx , і не використовує імовірнісних припущень ні для моделі, ні для оцінки її параметрів. Інтернет-навчання дасть вам точно такі ж оцінки для моделей ваг / параметрів, але ви не зможете інтерпретувати їх причинно-наслідковим висновком через відсутність p-значень, довірчих інтервалів та ну базової моделі ймовірностей.

Коротка, логістична регресія - короткий оповідання - це ГЛМ, яка може виконувати передбачення та умовиводи, тоді як лінійний рецептор може досягати лише прогнозування (у такому випадку він виконуватиметься так само, як логістична регресія). Різниця між ними - також принципова різниця між статистичним моделюванням та машинним навчанням.