Коли я повинен перестати шукати модель?

Я шукаю модель між запасами енергії та погодою. У мене є ціна MWatt, куплена між країнами Європи, і багато цінності погоди (файли Grib). Кожні години протягом 5 років (2011-2015).

Ціна / добу

Це на день протягом одного року. Я маю це за годину протягом 5 років.

Приклад погоди

3Dscatterplot, у кельвіні, протягом години. Я маю 1000 значень на дані за годину та 200 даних, наприклад, клевін, вітер, геопенціала тощо.

Я намагаюся спрогнозувати середню ціну за годину МВт.

Мої дані про погоду дуже щільні, понад 10000 значень / годину, і тому з високою кореляцією. Це проблема коротких, великих даних.

Я спробував методи Lasso, Ridge і SVR із середньою ціною МВтт як результат, а дані моєї погоди як дохід. Я взяв 70% як дані тренувань і 30% як тест. Якщо дані мого тесту не прогнозуються (десь у моїх навчальних даних), я маю хороший прогноз (R² = 0,89). Але я хочу робити прогнозування на моїх даних.

Отже, якщо дані моїх тестів є хронологічно після моїх тренувальних даних, це нічого не передбачає (R² = 0,05). Я думаю, що це нормально, тому що це серія часу. І автокореляції багато.

Я подумав, що мені доведеться використовувати серійну модель типу ARIMA. Я підрахував порядок методу (серія нерухомий) і перевірив його. Але це не працює. Я маю на увазі, що прогноз має r² 0,05. Мій прогноз на тестових даних зовсім не на моїх тестових даних. Я спробував метод ARIMAX зі своєю погодою як регресор. Скажімо, це не додає ніякої інформації.

Дані про тестування / поїзд ACF / PCF

Тож я робив сезонні скорочення на день та на тиждень

День

Тиждень у тренді першого

І я можу це мати, якщо зможу зумовити тенденцію тенденції ціни на свою акцію:

Синій - це мій прогноз, а червоний - справжня цінність.

Я збираюся здійснити регресію з поворотним середнім часом погоди як доходу і тенденцією тенденції зростання цін на фонди як результат. Але поки що я не знайшов жодного стосунку.

Але якщо немає взаємодії, як я можу знати, що нічого немає? можливо, я просто не знайшов.

Вас може зацікавити формальна наукова область, яка називається "обчислювальна механіка". У статті Джеймса Крючфілда та Девіда Фельдмана вони викладають програму обчислювальної механіки - наскільки я це розумію - як розбір меж між (1) детермінованою невизначеністю та інформаційною вартістю визначення детермінованих зв’язків, (2) стохастичний невизначеність та інформаційна вартість висновку про розподіли ймовірностей, та (3) ентропічна невизначеність та наслідки поганої інформації.

Щоб відповісти на ваше запитання безпосередньо (хоч і досить широко, оскільки ви задали широке запитання), як ми знаємо, коли ми дізналися або "достатньо", або "все, що ми можемо", - це відкрита область дослідження. Перший обов'язково залежатиме від потреб у дослідника та актора у світі (наприклад, враховуючи, скільки часу? Скільки потужності обробки? Скільки пам'яті, скільки терміновості тощо).

Я не зайнятий цим полем чи навіть глибоким повагою до цієї конкретної статті, але вони круті мислителі. :)

Кручфілд, JP та Feldman, DP (2003). Закономірності невидимі, випадковість спостерігається: Рівні ентропійної конвергенції . Хаос , 13 (1): 25–54.