Яка статистика зберігається при агрегації?

12

Якщо у нас довгий часовий ряд із високою роздільною здатністю, з великим рівнем шуму, часто має сенс агрегувати дані до нижчої роздільної здатності (скажімо, щоденних до місячних значень), щоб краще зрозуміти, що відбувається, ефективно видаляючи деякі шум.

Я бачив принаймні один документ, який потім застосовує деякі статистичні дані до агрегованих даних, включаючи для лінійної регресії на окремій змінній. Це дійсно? Я б міг подумати, що процес усереднення змінить результат непогано, завдяки зниженому шуму. $r^2$

Загалом, чи можна деякі статистичні дані застосувати до узагальнених даних часових рядів, а інші ні? Якщо так, то які? Можливо, це лінійні комбінації?

time-series aggregation

— naught101
джерело

Пов’язано, див. Екологічну помилку .

— Andy W

1

щодо коментаря @cbeleites, я думаю, тут є теоретична відповідь - розширення вашої думки про збереження лінійних комбінацій. Однак у практичних умовах застосування дуже важко зробити загальний висновок щодо обгрунтованості підходу, і для цього повинен бути конкретний приклад.

— Джонатан

6

Я вважаю, що питання, як у заголовку, занадто широке, щоб відповісти корисно, тим більше, що це, мабуть, залежатиме як від методу агрегування, так і від статистики, про яку йдеться.

Це стосується навіть "середнього": ви намагаєтесь зберегти форму та інтенсивність сигналу (наприклад, фільтри Савіцкого-Голая), чи намагаєтесь зберегти область під сигналом (наприклад, льос)?
Очевидно впливає статистика, пов’язана з шумом: це, як правило, мета агрегації.

Я бачив принаймні один документ, який потім застосовує певну статистику до узагальнених даних [...] Чи правда це? Я б міг подумати, що процес усереднення змінить результат непогано, завдяки зниженому шуму.

Ця модифікація, швидше за все, є метою агрегування.

Загалом, вам дозволяється робити багато даних із вашими даними, але вам потрібно

скажіть, що ви робите (і краще також, чому це робите)
показати якість отриманої моделі (тест з незалежними даними)

$n$

— cbeleites незадоволений SX
джерело

5

$Y_t$ $X_\tau$ $m$

Y_{т} = α + β {\bar{Х}}_{т} + у_{т}, (1)

$Y_t=\alpha+\beta \bar X_t +u_t, (1)$

{\bar{Х}}_{т} = \frac{1}{м} \sum_{год = 0}^{м - 1} Х_{т м - год} .

$\bar X_t=\frac{1}{m}\sum_{h=0}^{m-1}X_{tm-h}.$

$t$ $X_{30(t-1)+1},...,X_{30t}$

Y_{т} = α + β {\bar{Х}}_{т}^{(ш)} + у_{т}, (2)

$Y_t=\alpha+\beta \bar X_{t}^{(w)} +u_t,(2)$

з

Х_{т}^{(ш)} = \sum_{год = 1}^{м - 1} ш_{год} Х_{т м - год} .

$X_t^{(w)}=\sum_{h=1}^{m-1}w_hX_{tm-h}.$

$w_h$ $w_h=g(h,\alpha)$ $g$ $\alpha$

$w_h=\frac{1}{m}$

У налаштуваннях без регресії є результати, які показують, що агрегація може змінювати властивості часового ряду. Наприклад, якщо ви агрегуєте AR (1) процеси, які мають короткочасну пам'ять (співвідношення між двома спостереженнями часового ряду швидко відмирає, коли відстань між ними збільшується), ви можете отримати процес з довготривалою пам'яттю.

Отже, підводячи підсумок відповіді, що обґрунтованість застосування статистичних даних у сукупності даних є статистичним питанням. Залежно від моделі ви можете побудувати гіпотезу, чи це дійсна програма чи ні.

— mpiktas
джерело