У чому різниця між детермінованою та стохастичною моделлю?

Проста лінійна модель:

$x=\alpha t + \epsilon_t$ де $\epsilon_t$ ~ iid $N(0,\sigma^2)$

при $E(x) = \alpha t$ і $Var(x)=\sigma^2$

AR (1):

де ~ iid $X_t =\alpha X_{t-1} + \epsilon_t$ $\epsilon_t$ $N(0,\sigma^2)$

при і $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Так проста лінійна модель розглядається як детермінована модель, тоді як модель AR (1) розглядається як стохастична модель.

Відповідно до відео Відео на Youtube Бен Ламберт - Детерміністичний проти Стохастичного , причиною AR (1) називати стохастичну модель є те, що дисперсія в ньому зростає з часом. Тож чи є особливістю непостійної дисперсії критерії визначення стохастичної чи детермінованої?

Я також не думаю , що проста лінійна модель є повністю детермінованою , оскільки ми маємо термін , пов'язаний з моделлю. Отже, у нас завжди є випадковість у . Тож до якої міри можна сказати, що модель є детермінованою чи стохастичною? $\epsilon_t$ $x$

— Кен Т
джерело

Будь-яка модель, що має термін помилки, є стохастичною. Це не має нічого спільного з дисперсією, що має змінюватися з часом.

— Майкл Р. Черник

@MichaelChernick я не розумію. Тоді чому люди кажуть, що проста лінійна регресія є детермінованою моделлю?

— Ken T

Чи можете ви надати посилання, щоб показати, де це сказано і чому це сказано?

— Майкл Р. Черник

Це було з моїх курсових записок аналізу часових рядів кілька років тому. Можливо, це неправильно.

— Ken T

Відповіді:

У відео йдеться про детерміновані проти стохастичні тенденції , а не про моделі . Родзинка дуже важлива. Обидві ваші моделі є стохастичними, однак у моделі 1 ця тенденція є детермінованою.

Модель 2 не має тенденції. Текст вашого питання невірний.

Модель 2 у вашому запитанні - AR (1) без постійної, тоді як на відео модель - випадкова хода (броунівський рух): Ця модель дійсно має стохастичну тенденцію. Це стохастично, тому що це лише в середньому. Кожна реалізація броунівського руху буде відхилятися від через випадковий додаток , що легко зрозуміти, розрізняючи:

х_{т} = α + х_{т - 1} + е_{т}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ х_{т} = х_{т} - х_{т - 1} = α + е_{т}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

х_{т} = х_{0} + \sum_{т = 1}^{т} Δ х_{т} = х_{0} + α т + \sum_{т = 1}^{т} е_{т}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

— Аксакал
джерело

+1. Але, щоб бути абсолютно чітким і точним, можливо, ви хочете зазначити, що відхилення від

зумовлено випадковим членом

, а не просто

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

— whuber

Як згадував Аксакал у своїй відповіді, відео, яке Кен Т додав, описує властивості тенденцій , а не моделей безпосередньо, імовірно, як частину викладання відповідної теми тренд-та різниці-стаціонарності в економетриці. Оскільки у своєму питанні ви запитували про моделі, ось це в контексті моделей :

Модель або процес є стохастичним, якщо він має випадковість. Наприклад, якщо давати однакові входи (незалежні змінні, ваги / параметри, гіперпараметри тощо), модель може давати різні результати. У детермінованих моделях висновок повністю задається введеннями в модель (незалежні змінні, ваги / параметри, гіперпараметри тощо), таким чином, що при заданих однакових входах до моделі виходи однакові. Походження терміна "стохастичний" походить від стохастичних процесів . Як правило, якщо модель має випадкову змінну, вона є стохастичною. Стохастичні моделі можуть бути навіть простими незалежними випадковими змінними.

Давайте розпакуємо ще декілька термінологій, які допоможуть вам зрозуміти літературу навколо статистичних моделей (детермінованих, стохастичних чи іншим чином ...):

$AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ ) і т. д. Ми робимо ці припущення для того, щоб зробити лінійну модель корисною для оцінки залежної змінної (змінних), мінімізуючи деяку норму цього терміна помилки. Ці припущення дозволяють нам отримати корисні властивості оцінювачів і довести, що певні оцінки найкращі за цими припущеннями; наприклад, що Оцінювач OLS є СВІТИМ .

Простішим прикладом стохастичної моделі є перегортання справедливої монети (голови або хвости), яку можна стохастично моделювати як ідентичну рівномірно розподілену двійкову випадкову змінну або процес Бернуллі . Ви також можете розглянути флігель монети як фізичну систему і придумати детерміновану модель (в ідеалізованій обстановці), якщо врахувати форму монети, кут і силу удару, відстань до поверхні тощо. остання (фізична) модель флігеля монети не має в ній випадкових змінних (наприклад, вона не враховує похибки вимірювання жодного з входів у модель), то вона є детермінованою.

$X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ $t$ $Var[X_t]$

Крім того, іноді виникає плутанина між стаціонарними стохастичними процесами та нестаціонарними стохастичними процесами. Стаціонарність передбачає, що така статистика, як середня чи відхилення, не змінюється з часом у моделі. Обидва досі вважаються стохастичними моделями / процесами до тих пір, поки є випадковість. Як співрозмовник Маруна, Меттью Ганн, у своїй відповіді згадує, розпад Уолда стверджує, що будь-який стаціонарний стохастичний процес може бути записаний як сума детермінованого та стохастичного процесу.

— я згоден
джерело

Чудова відповідь! Питання: чому ви пишете "... якщо його дисперсія змінюється над деяким параметром ...", чи не повинні це бути зміни над деякою змінною (або функцією змінної)?

— Олексій

@Alexis Я мав на увазі час як параметр моделі. Ти прав, ця мова неточна. Виправлено. Дякую. :-)

— ido

Як змінюється дисперсія AR (1)?

— Аксакал

@Aksakal

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$ посилається на модель, описану як таку Кеном Т.)

— ідо

Тільки показуючи роботу далі на випадок, про що ви просили, Аксакал:

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

Деякі неофіційні визначення

- $y(t) = 2t$
- $y(t) = e^t$
$\{Y_t\}$ $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
$\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Деякі коментарі ...

... причина AR (1) називатися стохастичною моделлю полягає в тому, що дисперсія її зростає з часом.

$t$

$\epsilon_t$

$x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

$y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Це призводить до теореми Вольда, що будь-який коваріаційний стаціонарний процес може бути однозначно розкладений на детермінований компонент і стохастичний компонент.

— Меттью Ганн
джерело