Чому кілька моделей можуть дати майже однакові результати?

Я аналізував набір даних ~ 400k записів і 9 змінних Залежна змінна є двійковою. Я встановив логістичну регресію, дерево регресії, випадковий ліс і дерево, підсилене градієнтом. Усі вони надають віртуальну ідентичну корисність підходящих номерів, коли я перевіряю їх в іншому наборі даних.

Чому це так? Я здогадуюсь, що це тому, що відношення моїх спостережень до змінних настільки велике. Якщо це правильно, при якому співвідношенні спостереження до змінної різні моделі почнуть давати різні результати?

Цей результат означає, що яким би методом ви не користуєтесь, ви зможете наблизитися до оптимального правила прийняття рішення (він же називається правилом Байєса ). Основні причини були пояснені в "Елементах статистичного навчання" Хасті, Тібшірані та Фрідмана . Вони продемонстрували, як працюють різні методи, порівнюючи рис. 2.1, 2.2, 2.3, 5.11 (у моєму першому виданні - у розділі про багатовимірні сплайни), 12.2, 12.3 (підтримуючі векторні машини) та, ймовірно, деякі інші. Якщо ви ще не прочитали цю книгу, вам потрібно кинути все ПРАВО ЗАРАЗ і прочитати її. (Я маю на увазі, не варто втрачати роботу, але варто пропустити домашнє завдання або два, якщо ви студент.)

Я не думаю, що пояснення до змінного відношення є поясненням. З огляду на моє обґрунтування, яке було запропоновано вище, саме такі методи, які ви намагалися, змогли визначити відносно простою формою межі, що розділяє ваші класи у багатовимірному просторі.

варто також подивитися на помилки тренувань.

в основному я не згоден з вашим аналізом. якщо логістична регресія і т.д. дають однакові результати, то це дозволить припустити, що «найкраща модель» є дуже простою (що всі моделі можуть однаково добре вміщуватися - наприклад, в основному лінійні).

Тож тоді може виникнути питання, чому найкраща модель - це проста модель ?: Це може припустити, що ваші змінні не дуже прогнозовані. Звичайно, важко проаналізувати, не знаючи даних.

Як запропонував @ seanv507, подібні показники можуть бути просто обумовлені тим, що дані найкраще відокремлюються лінійною моделлю. Але загалом твердження, що це тому, що "співвідношення спостережень до змінних настільки велике" є невірним. Навіть якщо ваше співвідношення розміру вибірки та кількості змінних доходить до нескінченності, не слід очікувати, що різні моделі можуть працювати майже однаково, якщо тільки вони не забезпечують однакового передбачуваного зміщення.

Я здогадуюсь, що це тому, що відношення моїх спостережень до змінних настільки велике.

Я думаю, що це пояснення має ідеальний сенс.

Якщо це правильно, при якому співвідношенні спостереження до змінної різні моделі почнуть давати різні результати?

Це, ймовірно, буде дуже залежати від ваших конкретних даних (наприклад, навіть від того, чи є ваші дев'ять змінних безперервними, чинниками, звичайними чи двійковими), а також будь-якими рішеннями про налаштування, які ви приймали під час встановлення вашої моделі.

Але можна пограти зі співвідношенням спостереження до змінної - не збільшуючи кількість змінних, а зменшуючи кількість спостережень. Випадково намалюйте 100 спостережень, підходимо до моделей і подивімося, чи дають різні моделі різні результати. (Я думаю, що вони будуть.) Зробіть це кілька разів, використовуючи різні зразки, отримані з вашої загальної кількості спостережень. Потім подивіться на підпробові групи 1000 спостережень ... 10000 спостережень ... і так далі.