Дослідницький аналіз просторово-часових помилок прогнозу

13

Дані: нещодавно я працював над аналізом стохастичних властивостей просторово-часового поля прогнозування помилок виробництва вітроенергетики. Формально можна сказати, що це процес індексуються двічі у часі (з і ) і один раз у пробілі ( ), причому - кількість разів перегляду вперед (дорівнює чомусь навколо , регулярно відбирається), - кількість "прогнозних періодів" (тобто часу, коли прогноз видається, приблизно в 30000 у моєму випадку регулярно відбирається), і

{(ϵ_{t + h | t}^{p})}_{t = 1 \dots, T; h = 1, \dots, H, p = p_{1}, \dots, p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$ будучи низкою просторових позицій (не сіткою, в моєму випадку близько 300). Оскільки це погодний процес, я також маю багато прогнозу погоди, аналізу, метеорологічних вимірювань, які можна використовувати.

Питання: Чи можете ви описати мені дослідницький аналіз, який ви виконували б на даному типі даних, щоб зрозуміти природу структури взаємозалежності (яка може бути не лінійною) процесу, щоб запропонувати точне моделювання його.

— Робін Жирард
джерело

це дуже цікаве питання. Чи можливо грати хоча б із підмножиною анонімованих даних? І як формувалися прогнози, яку модель використовували?

— mpiktas

1

@mpiktas дякую, ви можете вважати, що він був створений за допомогою відповідного моделювання AR (по одному для кожного вітроелектростанції), це не змінить проблему сильно. Вибачте, з цими даними існує занадто багато проблем з конфіденційністю, вони не можуть вам надати нічого, навіть анонімізовані ...

— robin girard

6

Мені здається, у вас є достатньо даних для моделювання залежності від просторово-часового та метеорологічного впливу як зміщення прогнозних помилок (тобто схильності до систематичного завищення / недооцінки [першого моменту]), так і їх відмінності [другого моменту].

Для дослідження упередженості я б просто зробив багато розкиданих планок, теплових карт або шестигранних сюжетів. Для дослідження мінливості я б просто накреслив початкові помилки, а потім знову зробив би безліч розсип, теплових карт або шестигранних сюжетів. Це, звичайно, не зовсім безпроблемно, якщо у вас є велика упередженість, але це все ще може допомогти побачити закономірності гетероскедастичності під впливом коваріату.

Колеги мого зробили хорошу techreport , що деталі дуже гнучкий метод для установки такого роду моделей (також дозволяє моделювати вищі моменти при необхідності) , який також має гарне R-Впровадження gamboostLSS на основі mboost: Mayr, Andreas; Фенске, Нора; Хофнер, Бенджамін; Кнайб, Томас і Шмід, Маттіас (2010): GAMLSS для об'ємних даних - гнучкий підхід, заснований на прискоренні. . Якщо припустити, що у вас є доступ до машин з великою кількістю оперативної пам’яті (ваші набори даних здаються великими), ви можете оцінювати всі види напівпараметричних ефектів (наприклад, оцінювачі гладкої поверхні для просторових ефектів або спільний ефект і $t$ $h$ , тензорні вироби сплайнують для тимчасово-просторових ефектів або плавних взаємодій метеорологічних ефектів тощо) для різних моментів і одночасно проводять підбір терміну, щоб отримати парсимонічну та інтерпретаційну модель. Будемо сподіватися, що терміни в цій моделі є достатніми для врахування просторово-часової структури автокореляції помилок прогнозування, але, ймовірно, слід перевірити залишки цих моделей на наявність автокореляції (тобто подивитись на деякі варіограми та ACF).

— фабі
джерело

+1 Дякую Фабіас, ви абсолютно праві, проблема не в тому, що у мене недостатньо даних. Зауважте, моє запитання стосується особливо структури взаємозалежності. Розсіювачі, теплові карти та шестигранні ділянки - хороші інструменти, якщо вони використовуються з хорошою метою. Я думаю, що загальна модель добавок також може бути дуже потужною. Існує чудова папір Brillinger, яка дає хороші підказки щодо використання GAM.

— Робін Жирард

5

Ми (колега і я) нарешті написали документ про це. Для узагальнення речей ми запропонували два рішення для кількісної оцінки та надання статистичного підсумку (просторово-часового) розповсюдження помилок по Данії та в майбутньому.

У першому ми обчислюємо співвідношення між усіма парами вітроелектростанцій і для всіх пар перспективних часів (це функція 4 змінних). Коли пара закріплена, ми показали, що функція кореляції має локальні максимуми в майбутньому, ми сказали, що це поширення! Тимчасовий масштаб, пов'язаний з даною парою вітроелектростанцій, задається тимчасовим відставанням для цього локального максимуму. Графік, для всіх пар вітроелектростанцій локальні максимуми кореляції, тимчасовий відставання, що дозволяє отримати це, та просторовий вектор, що приєднується до вітроелектростанцій, дає праву частину рисунка 1.

Фігура 1

Це може бути використане для обчислення глобального вектора поширення, тобто певного просторового середнього швидкості поширення між парами. Частина цього показана на лівій частині рисунка 1, і здогадайтеся, яке поширення помилок - це Західний Схід у Денамрку (добре, що це не було великим сюрпризом :)). Ми також це умовно проаналізували для різних метеорологічних ситуацій, щоб показати зв’язок між поширенням і вітром (швидкість, напрямок).

Другий - ортогональний (в сенсі :)) до першого. Для кожного часу ми встановлювали просторово-часову (вздовж простору та вперед часу) планову хвильову модель з постійною швидкістю поширення. Це дає одну швидкість поширення за прогнозований час (і вимірюючи якість прилягання, отриману плоскохвильовою моделлю). Тоді ви можете обчислити статистику цих швидкостей, зрештою обмежившись випадками, коли плоска хвиля добре підходить. Результати видно на малюнку 2. $t$ $t$ $R^2$

Малюнок 2

У другому випадку ми спостерігали, що середня часова швидкість поширення має аналогічну величину, як та, отримана із середньою просторовою здатністю в першому випадку. Якщо ви хочете серйозніше поставитися до цього твору, документ тут .

— Робін Жирард
джерело

+1 Дякуємо за обмін. (Вибачте, що я пропустив запитання, коли воно з'явилося спочатку.) Чи розглядали ви, як скласти перехресні варіограми за часом наперед? Найефективнішими не були б традиційні згладжені напрямні варіограмові хмари; натомість використовуйте двовимірні графіки щільності хмари варіограми. Ви можете побудувати крос-варіограмми з тих , для вивчення тимчасових відносин. Результати розповсюдження повинні автоматично виходити з такого аналізу.

— whuber

@whuber Дякую за коментар, я навряд чи вірю, що ви пропустили більше 2 або 3 запитання на цьому сайті :). Ваша ідея з варіограмою здається пов’язаною (я не дуже використовую використання варіограми, я часто вважаю, що все, що можна сформулювати за допомогою варіограми, має практичний еквівалент коваріації ...), я подумаю про це.

— Робін Жирард

Ви впевнені, що у багатьох програмах коваріанці еквівалентні варіограмам. Однак хмара варіограми забезпечує як візуальну, так і концептуальну доповнення, яка, здається, не працює лише з коваріаційними функціями - це мало схоже на перегляд розсіювачів замість просто матриць кореляції: іноді можна побачити шаблони, які цифри чітко не розкривають .

— whuber