Я читав у книзі машинного навчання, що параметри лінійної регресії можна оцінити (серед інших методів) за допомогою градієнтного спуску, тоді як параметри логістичної регресії зазвичай оцінюються за максимальною оцінкою ймовірності.
Чи можна пояснити новакові (мені), чому нам потрібні різні методи для лінійної / логістичної регресії. а чому б не MLE для лінійної регресії і чому не спуск градієнта для логістичної регресії?
Відповіді:
Ви плутаєте яблука з апельсинами. Це нормально, адже вони обоє смачні.
Максимальна оцінка ймовірності - це те, що ви мінімізуєте, градієнтний спуск - це те, як ви її мінімізуєте.
Чому б не MLE для лінійної регресії?
Насправді, лінійна регресія буде вирішена з максимальним правдоподібністю. Стандартний метод "мінімізувати суму помилок у квадраті" точно математично еквівалентний максимальній оцінці ймовірності з використанням умовного нормального розподілу.
Чому б не схилити градієнт для логістичної регресії?
Ви можете повністю вирішити логістичну регресію, мінімізувавши ймовірність функції за допомогою градієнтного спуску. Насправді це чудова вправа, і я б рекомендував усім зробити це хоча б раз.
Спуск градієнта - це не стандартний метод. Цей приз присуджується повторно зваженим найменшим квадратам / методу Ньютона , який є посиленням градієнтного спуску, який враховує і другу похідну. Цей метод, як виявляється, має набагато кращі властивості, ніж градієнтний спуск, але складніший для розуміння та реалізації.