Різниця між усередненням даних, що підходять, та розміщенням даних, а потім усередненням

Якщо є, між пристосуванням рядка до декількох окремих "експериментів", то усередненням пристосувань або усередненням даних із окремих експериментів, то підходом усереднених даних. Дозвольте мені детальніше:

Я виконую комп'ютерне моделювання, яке генерує криву, показану нижче. Ми витягуємо величину, давайте назвемо її "А", встановивши лінійну область ділянки (тривалий час). Значення - це просто нахил лінійної області. Звичайно, є помилка, пов'язана з цією лінійною регресією.

Зазвичай ми виконуємо 100 моделей цих моделей з різними початковими умовами, щоб обчислити середнє значення "A". Мені сказали, що краще середні вихідні дані (на графіку нижче) розділити на групи, наприклад, 10, а потім підходити до "А" та оцінювати ці 10 "А" разом.

Я не маю інтуїції щодо того, чи є якась заслуга в цьому, чи це краще, ніж підходити до 100 індивідуальних значень "А" і усереднювати їх.

error fitting average

— прагматик1
джерело

Я не впевнений, що я розумію: ви вимірюєте А в різні моменти часу, а потім оцінюєте ? Тоді ви робите це кілька разів, і ви берете середнє значення всіх ?

A = β_{0} + β_{1} t

$A= \beta_0 +\beta_1 t$

β_{1}

$\beta_1$

Вибач, ні. Наведений сюжет є результатом єдиного моделювання (назвемо це експериментом). Початкову нелінійну область відкидаємо, потім підводимо лінію до лінійної частини і отримуємо нахил, "А". Таким чином, одне ціле моделювання дає єдину оцінку "А". Звичайно, моє запитання обертається навколо того, чи усереднення багатьох сюжетів, то обчислення А чи відрізняється від просто обчислення А для купу сюжетів та їх усереднення. Надія, яка прояснює.

— pragmatist1

Я не бачу, чому це має значення? (якщо припущення для лінійної регресії виконуються)

Я здогадуюсь, що примірник ніколи не помиляється / не сходить / не дає смішно крутих оцінок завдяки експериментам, кожен з яких малий? У цьому може допомогти поєднання перших (або ієрархічних моделей).

— Бьорн

Ви також можете вмістити всі дані разом, але включити якийсь компонент для розмежування експериментів (різні перехоплення для кожного експерименту чи навіть різні схили), щось на зразок лінійного змішаного модельного підходу. Таким чином ви зможете наблизити загальний нахил, але зможете виявити будь-які "пакетні" ефекти або відмінності між експериментами

— bdeonovic

Відповіді:

Уявіть, що ми перебуваємо в контексті даних панелі, де є різниця в часі та в різних фірмах . Розгляньте кожен часовий період як окремий експеримент. Я розумію ваше запитання як еквівалентно для оцінки ефекту, використовуючи: $t$ $i$ $t$

Різниця поперечного перерізу середніх часових рядів.
Середні часові ряди варіації поперечного перерізу.

Відповідь взагалі - ні.

Установка:

У моїй постановці ми можемо розглядати кожен часовий період як окремий експеримент. $t$

Скажімо, у вас є врівноважена панель довжиною над фірмами. Якщо ми розбиваємо кожен проміжок часу тощо ..., ми можемо записати загальні дані у вигляді: $T$ $n$ $(X_t, \mathbf{y}_t)$

Y = [\begin{matrix} y_{1} \\ y_{2} \\ \dots \\ y_{n} \end{matrix}] X = [\begin{matrix} X_{1} \\ X_{2} \\ \dots \\ X_{n} \end{matrix}]

$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$

Середня кількість приладів:

\begin{aligned} \frac{1}{T} \sum_{t} b_{t} & = \frac{1}{T} \sum_{t} {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{t} \\ = \frac{1}{T} \sum_{t} S_{t}^{- 1} (\frac{1}{n} \sum_{i} x_{t, i} y_{t, i}) where S_{t} = \frac{1}{n} \sum_{i} x_{t, i} x_{t, i}^{'} \end{aligned}

$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$

Підбір середніх показників:

Це взагалі не дорівнює оцінці, що базується на зміні середнього перерізу часових рядів (тобто між оцінкою).

{(\frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{x}}_{i}^{'})}^{- 1} \frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{y}}_{i}

$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$

Де тощо ... $\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

Об'єднана оцінка OLS:

Щось, можливо, було б корисно подумати - це об'єднана оцінка OLS. Що це? Потім використовуємо

\begin{aligned} \hat{b} & = {(X^{'} X)}^{- 1} X^{'} Y \\ = {(\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T} \sum_{t} X_{t}^{'} y_{i}) \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$

b_{t} = {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{i}

$\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$

\begin{aligned} = {(\frac{1}{н Т} \sum_{т} Х_{т}^{'} Х_{т})}^{- 1} (\frac{1}{н Т} \sum_{т} Х_{т}^{'} Х_{т} б_{т}) \end{aligned}

$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$

Давайте і - наші оцінки за повним зразком і за період відповідно. Тоді ми маємо: $S = \frac{1}{nT} \sum_i X'X$ $S_t = \frac{1}{n} X_t'X_t$ $\operatorname{E}[\mathbf{x}\mathbf{x}']$ $t$

\begin{aligned} \hat{б} & = \frac{1}{Т} \sum_{т} (S^{- 1} S_{т}) б_{т} \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$

Це на зразок середнього значення для різних часових оцінок , але це трохи інакше. У певному вільному сенсі ви надаєте більше ваги періодам із більшою дисперсією змінних правої сторони. $\mathbf{b}_t$

Особливий випадок: змінні правої частини є інваріантними за часом та твердими особливостями

Якщо змінні правої сторони для кожної фірми є постійними протягом часу (тобто для будь-яких і ), тоді для всіх і у нас буде: $i$ $X_{t_1} = X_{t_2}$ $t_1$ $t_2$ $S = S_t$ $t$

\hat{б} = \frac{1}{Т} \sum_{т} б_{т}

$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$

Веселий коментар:

Це справа Fama та Macbeth, коли вони застосовували цю техніку усереднення оцінок поперечного перерізу для отримання послідовних стандартних помилок при оцінці того, як очікувана дохідність змінюється залежно від коваріації фірм з ринком (або інших факторових навантажень).

Процедура Fama-Macbeth - це інтуїтивно зрозумілий спосіб отримати послідовні стандартні помилки в контексті панелі, коли терміни помилок співвідносяться в поперечному перерізі, але не залежать від часу. Більш сучасна методика, яка дає подібні результати, - це кластеризація в часі.

— Меттью Ганн
джерело

(Примітка. У мене недостатньо репутації для коментарів, тому я публікую це як відповідь.)

На конкретне поставлене запитання відповідь fcop правильна: підміняти середнє значення є таким же, як усереднення підходів (принаймні для лінійних найменших квадратів). Однак варто зазначити, що будь-який із цих наївних " онлайн " підходів може дати необ'єктивні результати, порівняно з вміщенням усіх даних одразу. Оскільки обидва рівноцінні, я зупинюсь на підході "підходити до середнього". За суті, підгонки усереднених кривих ігнорує відносну невизначеність в значень між різними точками. Наприклад, якщо , , а , то $\bar{y}[x]=\langle y[x]\rangle$ $y$ $x$ $y_1[x_1]=y_2[x_1]=2$ $y_1[x_2]=1$ $y_1[x_2]=3$ $\bar{y}[x_1]=\bar{y}[x_2]=2$ , але будь-яка притаманна крива повинна піклуватися про невідповідність у порівняно з . $x_1$ $x_2$

Зауважте, що більшість наукових програмних платформ повинні мати інструменти для обчислення / оновлення справжнього "онлайн" найменшого розміру квадратів (відомого як рекурсивні найменші квадрати ). Тож можна використовувати всі дані (якщо це бажано).

— GeoMatt22
джерело

Відповідь, опубліковану fcop, видалено. Ви можете трохи змінити свою відповідь

— Glen_b -Встановіть Моніку