Коли використовувати кілька моделей для прогнозування?

Це досить загальне питання:

Я, як правило, виявив, що використання декількох різних моделей випереджає одну модель, намагаючись передбачити часовий ряд із зразка. Чи є якісь хороші документи, які демонструють, що комбінація моделей перевершить одну модель? Чи є найкращі практики поєднання кількох моделей?

Деякі посилання:

• Хуей Зуа, Юйонг Ян "Поєднання моделей часових рядів для прогнозування" Міжнародний журнал прогнозування 20 (2004) 69–84

Іноді подібні моделі називають ансамблем. Наприклад, ця сторінка дає хороший огляд того, як вона працює. Також згадані там посилання дуже корисні.

Останній рік конкурсу на премію NetFlix (2009), здавалося, мені різко змінив загальну презумпцію загальної спільноти проти поєднання декількох алгоритмів навчання.

Наприклад, моє офіційне навчання (університетські курси) та пізніше нагляд за роботою на роботі / наставництво навчили нас уникати комбінації алгоритмів, якщо у нас не було чіткої причини для цього - і "для поліпшення вирішення мого поточного алгоритму", не було " t дійсно вважав вагомою причиною. (Інші можуть мати інший досвід - звичайно, я виводжу уявлення про загальну спільноту, засновані виключно на моєму власному досвіді, хоча мій досвід кодування неякісних алгоритмів ML є суттєвим.)

І все-таки було декілька "шаблонів", в яких поєднання алгоритмів так чи інакше було прийнято, і фактично покращило продуктивність. Для мене найчастіший приклад стосувався деякого алгоритму ML, налаштованого в машинному режимі (присвоєння мітки класу кожній точці даних) і в якому було більше двох класів (як правило, набагато більше). Наприклад, використовуючи алгоритм контрольованого навчання для розв’язання чотирьох класів, ми побачили б чудове розділення за винятком , скажімо, класу III проти класу IV. Отже, з цих шести меж рішення лише один вирішений нижче необхідного порогу. Зокрема, коли класи III та IV разом складали невеликий відсоток даних, додаючи додатковий алгоритм, оптимізований саме під роздільну здатність цих двох класів, було досить поширеним рішенням цього аналітичного типу проблеми. (Зазвичай це «сліпа пляма» є властивим обмеженням основного алгоритму - наприклад, це був лінійний класифікатор, а межа III / IV рішення була нелінійною.

Іншими словами, коли у нас був надійний алгоритм, відповідний оброблювальному середовищу (який, як правило, передає потокові дані) і який виконується в межах специфікації, за винятком однієї сліпої плями, яка призвела до того, що він не міг вирішити два (або більше) класи, які враховувались невелика частка даних, тоді завжди було краще «зафіксувати» інший спеціалізований алгоритм, щоб зрозуміти, що основний алгоритм систематично бракував.

Нарешті, з цієї теми я хотів би рекомендувати настійно розділ 17, Об’єднання декількох учнів , у вступі до машинного навчання , 2d, Етем Алпадідин, MIT Press, 2010. Зауважте, що це друге видання, опубліковане кілька місяців тому; Перше видання було опубліковане в 2004 році, і я сумніваюся, що воно має те саме висвітлення цієї теми. (Насправді я рекомендую весь текст, але зокрема, цей розділ, оскільки він стосується питання Шейна.)

На 25 сторінках автор узагальнює, мабуть, кожну схему комбінації алгоритмів МЛ, корисність якої була продемонстрована в академічній літературі чи практиці - наприклад, мішковування, підсилення, суміш експертів, складене узагальнення, каскадування, голосування, виправлення помилок ... ..

Слідкуючи за відповіддю Петра щодо ансамблевих методів:

• Це висвітлено у "Елементах статистичного навчання" (див., Наприклад, сторінку 288).
• Віттен і Френк "Опрацювання даних: практичні інструменти та методи машинного навчання" розглядає це в розділі 7.5, включаючи обговорення мішки, рандомізації, розширення, адитивного регресії, адитивної логістичної регресії, дерев опцій, дерев логістичних моделей та укладання.
• Це висвітлено у розділі 14 Крістофера М. Бішопа "Розпізнавання візерунків та машинне навчання" , включаючи байєсівське моделювання усереднення, підсилення, комітетів, моделей на основі дерев та моделей умовних сумішей.

Найяскравіший приклад - виклик Netflix , який зробив дійсно підвищену популярність.

Ось трохи відповідь у лівому полі, який стосується лише «найкращих практик поєднання кількох моделей» частини вашого запитання. Це в основному моя дипломна робота, за винятком того, що я маю справу зі складними, дуже нелінійними моделями, які демонструють хаос та шумо - кліматичні моделі. Це, мабуть, не застосовується в багатьох галузях, але може бути корисним в екології та економетрії.

До недавнього часу у спільноті моделювання клімату моделі значною мірою просто розбивались у невагомому середньому (як правило, після корекції зміщення, що передбачає вилучення середньої моделі для частини або всього періоду вибірки). Це в основному те, що МГЕЗК зробив для четвертого звіту про оцінку (4AR) та попередніх звітів.

Це більш-менш приклад школи " правда плюс помилка " ансамблевої комбінації, де мовчазно або явно припускається, що спостережні серії (наприклад, глобальна температура, локальні опади тощо) є істинними, і що якщо взяти достатню кількість зразків (наприклад, пробіг моделі), шум у виконанні моделі скасовується (див. (1)).

Останнім часом використовуються методи комбінування моделей на основі продуктивності . Оскільки кліматичні моделі настільки шумні та мають стільки змінних та параметрів, єдиним способом оцінки працездатності (про який я знаю) є проведення коваріації або взяття MSE між результатами моделі та спостережуваним часовим рядом. Потім моделі можна комбінувати шляхом зважування середнього значення, виходячи з цієї міри. У цій статті (2) є хороший огляд цього.

Одне з припущень цього методу комбінування симуляцій - це припущення, що всі моделі є досить незалежними - якби деякі сильно залежали, вони б змістили середнє значення. Це припущення було досить справедливим для набору даних, використовуваних для 4AR ( CMIP3 , оскільки цей набір даних складався з кількох модельних циклів з багатьох моделюючих груп (з іншого боку, код поділяється в модельному співтоваристві, тому все ще може бути деяка взаємозалежність Для цікавого погляду на це див. (3)) Набір даних для наступного звіту про оцінку, CMIP5, не має цього дещо вдалого атрибуту - деякі моделюючі команди подають кілька запускань, а деякі - сотні. Ансамблі, що надходять від різних колективів, можуть створюватися за допомогою початкової перубації стану або за допомогою зміни фізичної моделі та параметризації. Крім того, цей супер ансамбль не пробований систематично - це просто той, хто коли-небудь приносить дані, приймається (в межах розуму). Це відоме на місцях як " ансамбль можливостей ". Існує велика ймовірність, що використання невзваженого середнього для такого ансамблю дозволить вам навести кілька головних ухилів до моделей з більшою кількістю пробіжок (оскільки, хоч і існує сотні пробіжок, можливо, набагато менша кількість справді незалежних пробіжок).

На даний момент мій керівник оглянув документ, що описує процес комбінації моделей, що передбачає зважування продуктивності та незалежності . Доступний реферат для конференції (4), я опублікую посилання на статтю, коли вона опублікована (повільний процес, не затримуйте дихання). В основному, в цьому документі описаний процес, який включає прийняття коваріації помилок моделі (model-obs) та зважування моделей, що мають високу коваріантність з усіма іншими моделями, (наприклад, моделі з сильно залежними помилками). Обчислюється також дисперсія помилок моделі та використовується як компонент зважування продуктивності.

Варто також зазначити, що кліматичне моделювання, очевидно, сильно впливає на капризи чисельного моделювання в цілому. Існує річ, яка називається "тест на сміх" - якщо ви закінчите модельний цикл, який передбачає, що середні глобальні температури до 2050 року становитимуть + 20 ° C, ви просто викинете її, оскільки це очевидно не є фізично актуальним. Очевидно, цей вид тесту є досить суб'єктивним. Я цього ще не вимагав, але сподіваюсь найближчим часом.

Це моє розуміння комбінації моделей держави в моєму полі на даний момент. Очевидно, я ще вчуся, тому, якщо натрапляю на щось особливе, я повернусь та оновлю цю відповідь.

(1) Tebaldi, C. & Knutti, R., 2007. Використання багатомодельного ансамблю в імовірнісних прогнозах клімату. Філософські трансакції Королівського товариства A: Математичні, фізичні та інженерні науки, 365 (1857), с.2053–2075.

(2) Кнутті, Р. та ін., 2010 р. Нарада експертів МГЕЗК з питань оцінки та комбінування мультимодельних кліматичних прогнозів.

(3) Masson, D. & Knutti, R., 2011. Генеалогія кліматичної моделі. Геофіс. Рез. Lett, 38 (8), p.L08703.

(4) Abramowitz, G. & Bishop, C., 2010. Визначення та зважування модельної залежності в прогнозуванні ансамблів. Тези доповідей AGU Fall Meeting. p. 07.