Це сучасна методологія регресії?

Я спостерігаю за змаганнями за Kaggle довгий час, і я усвідомлюю, що багато виграшних стратегій передбачають використання принаймні однієї з "великих трійки": розстрілювання, підсилення та складання.

Що стосується регресії, а не концентруватись на побудові однієї найкращої можливої ​​регресійної моделі, створюється кілька регресійних моделей, таких як (Узагальнена) лінійна регресія, випадкові лісові, регресійні моделі KNN, NN та SVM та змішування результатів у розумний спосіб. -виконання кожного окремого методу багато разів.

Звичайно, чітке розуміння кожного методу є ключовим, і інтуїтивну історію можна розповісти на основі лінійної регресійної моделі, але мені цікаво, чи це стало найсучаснішою методологією для досягнення найкращих можливих результатів.

Відомо, щонайменше з кінця 1960-х років, що якщо взяти кілька прогнозів ^† і середньо їх оцінити, то отриманий сукупний прогноз у багатьох випадках перевершить окремі прогнози. Баггінг, підсилення та укладання грунтуються саме на цій ідеї. Так що, якщо ваша мета - суто прогнозування, то в більшості випадків це найкраще, що ви можете зробити. Проблемним у цьому методі є те, що саме підхід до чорного поля повертає результат, але не допомагає зрозуміти та інтерпретувати його. Очевидно, що це також більш обчислювально, ніж будь-який інший метод, оскільки вам доведеться обчислити кілька прогнозів замість одного.

_{† Це стосується будь-яких прогнозів загалом, але це часто описується в літературі з прогнозування.}

Winkler, RL. та Макрідакіс, С. (1983). Поєднання прогнозів. JR Statis. Соц. А. 146 (2), 150–157.

Макридакіс, С. та Вінклер, Р.Л. (1983). Середні показники прогнозів: деякі емпіричні результати. Наука управління, 29 (9) 987-996.

Клемен, RT (1989). Поєднання прогнозів: огляд та анотована бібліографія. Міжнародний журнал прогнозування, 5, 559-583.

Бейтс, Дж. М. та Ґрейнджер, штат Колумбія (1969). Поєднання прогнозів. Або, 451-468.

Макридакіс, С. та Гібон, М. (2000). Конкурс М3: результати, висновки та наслідки. Міжнародний журнал прогнозування, 16 (4), 451-476.

Рейд, DJ (1968). Поєднання трьох оцінок валового внутрішнього продукту. Економа , 431-444.

Макридакіс, С., Спіліотис, Е., і Асімакопулос, В. (2018). Конкурс M4: результати, результати, висновок та шлях вперед. Міжнародний журнал прогнозування.

Артур (1994) має хороший короткий експеримент з паперу та думки, який добре відомий у літературі щодо складності.

Одним із висновків є те, що агенти не можуть вибрати кращі прогнозні моделі (навіть якщо у них є «ліс») за нерівноважних умов. Наприклад, якщо питання стосується ефективності на фондовому ринку, може бути застосовано постановка Артура (1994).