Чому логістичну регресію називають алгоритмом машинного навчання?

Якщо я правильно зрозумів, в алгоритмі машинного навчання модель має вчитися на своєму досвіді, тобто коли модель дає неправильний прогноз для нових випадків, вона повинна адаптуватися до нових спостережень, і з часом модель стає все кращою . Я не бачу, щоб логістична регресія мала цю характеристику. То чому це все ще розглядається як алгоритм машинного навчання? Чим відрізняється логістична регресія від нормальної регресії в терміні "навчання"?

У мене те саме питання щодо випадкових лісів!

А яке визначення "машинне навчання"?

Машинне навчання - не чітко визначений термін.

Насправді, якщо ви "Визначення машинного навчання" від Google, перші дві речі ви отримаєте зовсім інші.

З WhatIs.com ,

Машинне навчання - це тип штучного інтелекту (AI), який надає комп’ютерам можливість навчатися, не будучи явно запрограмованими. Машинне навчання фокусується на розробці комп’ютерних програм, які можуть навчити себе рости та змінюватися при впливі нових даних.

З Вікіпедії ,

Машинне навчання вивчає побудову та вивчення алгоритмів, за якими можна вчитися та робити прогнози на даних.

Логістична регресія, безсумнівно, відповідає визначенню Вікіпедії, і ви можете заперечити, чи відповідає вона визначенню WhatIs.

Я особисто визначаю машинне навчання так само, як це робить Вікіпедія, і вважаю це набором статистичних даних.

Машинне навчання гаряче і там гроші. Люди називають речі, які намагаються продати все, що зараз є гарячим, і тому "продається". Це може бути продаж програмного забезпечення. Це може продавати себе як нинішніх співробітників, які намагаються отримати підвищення кваліфікації, як потенційних співробітників, як консультантів тощо. Це може бути менеджер, який намагається отримати бюджет, затверджений від компанії bigwig, щоб найняти людей і придбати речі, або переконати інвесторів інвестувати в його гарячий новий запуск, який робить машинне навчання ключовим фактором для вдосконалення програми для секстингу. Таким чином, програмне забезпечення займається машинним навчанням, і люди - це фахівці з машинного навчання, адже це те, що є гарячим, а отже, і продається ... принаймні поки що.

Я робив всі види лінійної та нелінійної статистичної моделі, що відповідає більше 30 років тому. Тоді це не називалося машинним навчанням. Зараз більшість це було б.

Так само, як усі та їх дядько, тепер Дані "Вчений". Це жарко, це нібито сексуально, тож саме так люди називають себе. І це те, що наймають менеджерів, які мають отримати бюджет, щоб найняти когось, як список. Тож той, хто не знає найперше про математику, ймовірність, статистику, оптимізацію чи обчислення чисельних / плаваючих точок, використовує пакет R або Python із сумнівною правильністю та надійністю реалізації, який позначений як алгоритм машинного навчання, звертатися до даних, які вони не розуміють, і називати себе науковцем даних, виходячи з їх досвіду в цьому.

Це може здатися легковажним, але я вважаю, що це суть ситуації.

Редагувати: 26 вересня 2019 року було написано наступне повідомлення:

https://twitter.com/daniela_witten/status/1177294449702928384

Даніела Віттен @daniela_witten "Коли ми збираємо гроші, це AI, коли ми наймаємо це машинне навчання, а коли ми виконуємо роботу, це логістичний регрес".

(Я не впевнений, хто придумав це, але це дорогоцінний камінь 💎)

Як уже згадували інші, між статистикою, машинним навчанням, штучним інтелектом тощо немає чіткого поділу, тому будь-яке визначення беремо із зерна солі. Логістична регресія, ймовірно, частіше позначається як статистика, а не машинне навчання, тоді як нейронні мережі зазвичай позначаються як машинне навчання (навіть незважаючи на те, що нейронні мережі часто є лише сукупністю моделей логістичної регресії).

На мою думку, машинне навчання вивчає методи, які можна якимось чином засвоїти з даних, як правило, будуючи модель в якійсь формі або формі. Логістична регресія, як SVM, нейронні мережі, випадкові ліси та багато інших методик, вчиться на основі даних при побудові моделі.

Якщо я правильно зрозумів, в алгоритмі машинного навчання модель має засвоїти свій досвід

Це не так, як зазвичай визначається машинне навчання. Не всі методи машинного навчання дають моделі, які динамічно адаптуються до нових даних (це підполе називається онлайн-навчання ).

Чим відрізняється логістична регресія від нормальної регресії в терміні "навчання"?

Багато методів регресії також класифікуються як машинне навчання (наприклад, SVM).

Логістичний регрес був винайдений статистиком Д. Р. Коксом у 1958 році і так передує галузі машинного навчання. Логістична регресія - це не метод класифікації, слава богу. Це модель прямої ймовірності.

Якщо ви вважаєте, що алгоритм повинен мати дві фази (початкова здогадка, то «виправити» прогнози «помилки»), врахуйте це: Логістична регресія отримує це правильно з першого разу. Тобто, у просторі аддитивних (у логіті) моделей. Логістична регресія є прямим конкурентом багатьох методів машинного навчання та перевершує багато з них, коли передбачувачі в основному діють адитивно (або коли знання предмета правильно попередньо визначають взаємодії). Деякі називають логістичну регресію типом машинного навчання, але більшість не хоче. Можна назвати деякі методи машинного навчання (нейронні мережі - приклади) статистичних моделей.

Мені доведеться не погодитися з більшістю відповідей тут і стверджувати, що Машинне навчаннямає дуже точний обсяг та чітке відмінність від статистики. ML - це підполі інформатики з багаторічною історією, яка лише в останні роки знайшла застосування поза її доменом. Офіційний домен ML та області застосування лежить в межах Штучного інтелекту (робототехніка, програмне забезпечення для розпізнавання образів тощо), тому це не просто "гарячий термін", як "Big Data" або "Data Science". З іншого боку, статистика (яка походить від слова "держава") розроблялася в рамках соціальних та економічних наук як інструмент для людини, а не машини. МЛ розвинувся окремо від статистики і, хоча десь по дорозі почав сильно покладатися на статистичні принципи, це аж ніяк не підполе статистики. ML та статистика є додатковими, а не перекриваються полями.

Довга відповідь :

Як випливає з назви, методи ML були виготовлені для програмного забезпечення / машин, а статистичні методи для людей. І МЛ, і статистика мають справу з прогнозами даних, однак методи МЛ дотримуються непараметричного автоматизованого підходу, тоді як статистичні методи вимагають великої роботи з побудови моделей вручну з додатковим пояснювальним фактором. Це має сенс, якщо ви вважаєте, що алгоритми ML були розроблені в дослідженні AI як засіб автоматизованого прогнозування, який повинен був бути інтегрований в програмне забезпечення робототехніки (наприклад, для розпізнавання голосу та обличчя). Коли "машина" робить передбачення, це не хвилює причин, що стоять за нею. Машині не важливо знати драйверів / провісників, що стоять за моделлю, яка класифікує електронну пошту як спам або не-спам, вона лише прагне мати найкращу точність прогнозування.чорні скриньки , це не тому, що у них немає моделі, це тому, що модель побудована алгоритмічно і не призначена бути видимою ні людині, ні машині.

Поняття "навчання" в МЛ спирається на обчислювальну потужність, тоді як побудова статистичної моделі з методами OLS-типу для оцінки параметрів покладається на знання людського експерта. У сценарії з декількома регресіями статистик суворо повинен використовувати своє експертне судження, щоб вибрати свою модель та перевірити всі необхідні статистичні припущення. Мета статистики - не просто знайти шаблони та використовувати їх для прогнозування, а й зрозуміти його дані та його проблему набагато більшою глибиною, ніж ML.

Звичайно, в деяких випадках ML та статистика перетинаються, як це відбувається у багатьох дисциплінах. Логістичний регрес - один із таких випадків; спочатку статистичний метод, який настільки схожий на простий Персептрон (одна з найбільш фундаментальних методик МЛ), що деякими його сприймають як метод МЛ.

Машинне навчання досить чітко визначене, і ви правильно вважаєте, що регресійні моделі - а не лише логістичні регресії - також "навчаються" на даних. Я не дуже впевнений, чи означає це машинне навчання справді статистикою, чи статистика справді машинне навчання - або якщо щось із цього має значення взагалі.

$k$

Однак, деякі алгоритми вчаться з помилок прогнозування - це особливо часто в навчанні підкріплення , коли агент вживає певних дій, спостерігає за його результатами, а потім використовує результат для планування майбутніх дій. Наприклад, робот-вакуум може починатися з моделі світу, де він однаково часто очищає всі місця, а потім навчиться пилососити брудні місця (де «винагороджується», знайшовши бруд) більше, а місця менше чистять.

Інтернет- або додаткові алгоритми можуть неодноразово оновлюватися новими навчальними даними. Це не обов'язково залежить від точності прогнозування моделі, але я міг би уявити алгоритм, де ваги оновлюються більш агресивно, якщо, наприклад, нові дані здаються дуже малоймовірними з огляду на поточну модель. Існують онлайн-версії для логістичної регресії: наприклад, McMahan і Streeeter (2012) .

Нарешті я зрозумів це. Зараз я знаю різницю між підходом до статистичної моделі та машинним навчанням.

• Якщо ви підходите до моделі (регресії), це підходить статистична модель
• Якщо ви вивчаєте модель (регресію), це машинне навчання

Тож якщо ви вивчите логістичну регресію, це алгоритм машинного навчання.

Коментар: Вибачте мене за те, що я старий мотоцикл, але щоразу, коли я чую, як люди говорять про те, щоб вивчити модель чи навчитися регресії, це змушує задуматися про Джетро: "Я зробив, навчився мені освіти".

Кінець нитки

Логістична регресія (і в цілому GLM) НЕ належить до машинного навчання! Вірніше, ці методи належать до параметричного моделювання.

Як параметрична, так і алгоритмічна (ML) моделі використовують дані, але різними способами. Алгоритмічні моделі дізнаються з даних, як прогнозувачі відображаються на передбачення, але вони не роблять жодного припущення щодо процесу, який породжував спостереження (ані будь-якого іншого припущення, власне). Вони вважають, що основні зв'язки між змінними вводу та виходу є складними та невідомими, і, таким чином, застосовують підхід, керований даними, щоб зрозуміти, що відбувається, а не нав'язувати формальне рівняння.

З іншого боку, параметричні моделі призначаються апріорі на основі певних знань про досліджуваний процес, використовують дані для оцінки їх параметрів і роблять безліч нереальних припущень, які рідко дотримуються на практиці (наприклад, незалежність, рівна дисперсія та Нормальний розподіл помилок).

Також параметричні моделі (як логістична регресія) є глобальними моделями. Вони не можуть зафіксувати локальні шаблони в даних (на відміну від методів ML, які використовують дерева як основні моделі, наприклад, RF або Boosted Trees). Дивіться цю паперову сторінку 5. В якості стратегії реабілітації, місцева (тобто непараметричної) GLM можна використовувати (дивіться, наприклад , в locfit R пакет).

Часто, коли мало відомо про основне явище, краще застосувати підхід, керований даними, та використовувати алгоритмічне моделювання. Наприклад, якщо ви використовуєте логістичну регресію у випадку, коли взаємодія між вхідними та вихідними змінними не є лінійною, ваша модель буде явно неадекватною і багато сигналу не буде захоплено. Однак, коли процес добре зрозумілий, параметричні моделі мають перевагу в наданні формального рівняння для узагальнення всього, що є потужним з теоретичної точки зору.

Для більш детального обговорення прочитайте цей чудовий документ Лео Бреймана.

Я думаю, що інші відповіді добре справляються з визначенням більш-менш того, що таке машинне навчання (як вони зазначають, це може бути нечіткою справою). Додам, що логістична регресія (і її більш загальна багаточленна версія) дуже часто використовується як засіб класифікації в штучних нейронних мережах (які, на мою думку, однозначно охоплені будь-яким розумним визначенням машинного навчання, яке ви виберете), і так, якщо ви згадаєте Логістична регресія до нейронної мережі, вони, ймовірно, негайно подумають про це в цьому контексті. Зв’язання з важким нападником у машинному навчанні - це хороший спосіб самостійно стати технікою машинного навчання, і я певною мірою думаю, що саме це сталося з різними методами регресії, хоча я не відкинув би їх від належної техніки машинного навчання. в собі і в собі.

Я думаю, що будь-яка процедура, яка є "ітеративною", може вважатися випадком машинного навчання. Регресію можна вважати машинним навчанням. Ми могли б зробити це вручну, але це займе багато часу, якщо це взагалі можливо. Отже, тепер у нас є ці програми, машини, які роблять для нас ітерації. Це все ближче і ближче до рішення, або до найкращого рішення чи найкращого підходу. Таким чином, «машинне навчання». Звичайно, такі речі, як нейронні мережі, приділяють найбільшу увагу у зв'язку з машинним навчанням, тому ми зазвичай пов'язуємо машинне навчання з цими сексуальними процедурами. Також тут актуальна різниця між "контрольованим" та "непідконтрольним" машинному навчанню

Це дуже поширена помилка, яку робить більшість людей, і я також бачу її тут (робиться майже всіма). Поясню це докладно ... Логістична регресія та лінійна модель регресії - це параметрична модель, а також техніка машинного навчання. Це просто залежить від методу, який ви використовуєте для оцінки параметрів моделі (тети). Існує 2 способи пошуку параметрів моделі в лінійній регресії та логістичній області.

1. Техніка градієнтного спуску : тут ми починаємо з присвоєння параметрам випадкових значень і знаходимо функцію витрат (помилка). У кожній ітерації ми оновлюємо наші параметри та мінімізуємо функціонування витрат. Після певної кількості ітерацій, функції витрат, зменшені до бажаних значень, і відповідні значення параметрів - це наші кінцеві значення. Це те, що повинно робити технічне машинне навчання. Отже, якщо ви використовуєте техніку Gradient Descent, логістична регресія може називатися технікою машинного навчання.

2. Використовуючи метод "Найменший квадрат": Тут ми маємо пряму формулу для пошуку наших параметрів (для розуміння виведення цієї формули потрібна деяка матрична алгебра), яка відома як нормальне рівняння.

Тут b представляє параметри X - це матриця проектування. Обидва методи мають свої переваги та обмеження. Щоб отримати детальнішу інформацію: слідкуйте за курсом машинного навчання, який все ще працює.

Сподіваюся, цей пост може бути корисним .. :-)