У чому полягає відмінність між ергодичним та нерухомим?

42

У мене є проблеми з розмежуванням цих двох понять. Це моє розуміння поки що.

Стаціонарний процес - це стохастичний процес, статистичні властивості якого не змінюються з часом. Для стаціонарного процесу з суворим сенсом це означає, що його спільний розподіл ймовірностей є постійним; для стаціонарного процесу широкого сенсу це означає, що його 1-й та 2-й моменти є постійними.

Ергодичний процес - це той, де його статистичні властивості, як дисперсія, можна вивести з досить тривалої вибірки. Наприклад, середнє значення вибірки збігається до справжнього середнього сигналу, якщо ви в середньому достатньо довго.

Тепер мені здається, що сигнал мав би бути нерухомим, щоб бути ергодичним.

І які сигнали можуть бути нерухомими, але не ергодичними?
Наприклад, якщо сигнал має однакову дисперсію протягом усього часу, наприклад, як середня за часом дисперсія не може сходитися до справжнього значення?
Отже, у чому полягає реальна відмінність цих двох понять?
Чи можете ви надати мені приклад процесу, який є нерухомим, не будучи ергодичним, або ергодичним, не будучи нерухомим?

random ergodic

— Метт
джерело

Ви можете переглянути цю відповідь на пов'язане питання.

— Діліп Сарват

Ця лекція прямо говорить про те, що ергодичний є підмножиною стаціонарних. Я просто не можу зрозуміти, що стаття стаціонарного Ергодичного процесу робить у Вікіпедії? Чи означає це, що існує нестаціонарний ергодичний процес?

— Вал

@Val Я не буду захищати те, що говорить Вікіпедія, але зазначу, що остання частина моєї відповіді нижче містить приклад процесу WSS, який не є стаціонарним і все ж є ергодичним.

— Діліп Сарват

33

Випадковий процес - це сукупність випадкових змінних, по одній для кожного моменту, що розглядається. Зазвичай це може бути безперервний час ( $-\infty < t < \infty$ ) або дискретний час (усі цілі числа) $n$ , або всі моменти часу $nT$ де $T$ - інтервал вибірки).

Стаціонарність відноситься до розподілів випадкових величин. Зокрема, в стаціонарному процесі всі випадкові величини мають однакову функцію розподілу, і в більш загальному випадку для кожного натурального цілого $n$ та $n$ моменту часу $t_1, t_2, \ldots, t_n$ , спільний розподіл $n$ випадкових змінних $X(t_1), X(t_2), \cdots, X(t_n)$ те саме, що спільний розподіл $X(t_1+\tau), X(t_2+\tau), \cdots, X(t_n+\tau)$ . Тобто, якщо зрушити всі моменти часу на $\tau$ , статистичний опис процесу взагалі не змінюється:процес є стаціонарним.
Ергодичність, з іншого боку, розглядає не статистичні властивості випадкових величин, а вибіркові шляхи , тобто те, що ви спостерігаєте фізично. Посилаючись на випадкові змінні, нагадайте, що випадкові змінні є відображенням з простору вибірки до реальних чисел; кожен результат відображається на реальне число, а різні випадкові величини, як правило, відображають будь-який результат у різні числа. Отже, уявіть, що деяка вища істота як виконана експерименту, що призвела до результату $\omega$ у вибірковому просторі, і цей результат був відображений на (типово різні) реальні числа усіма випадковими змінними в процесі: конкретно, випадковою змінною $X(t)$ відобразив карту $\omega$ до реального числа, позначимо як $x(t)$ . Цічисла $x(t)$ , що розглядаєтьсяякості сигналу, єзразокшляхомвідповідний $\omega$ , арізними результатами дадуть нам різні шляхи зразка. Потім Ergodicity стосується властивостей вибіркових шляхів і того, як ці властивості співвідносяться з властивостями випадкових змінних, що містять випадковий процес.

Тепер для вибіркового шляху $x(t)$ з нерухомого процесу ми можемо обчислити середнє значення часу

\bar{х} = \frac{1}{2 Т} \int_{- Т}^{Т} х (т) г т

$\bar{x} = \frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$ але що стосується

\bar{x}

$\bar{x}$ з

μ = E [X (t)]

$\mu = E[X(t)]$ ,

середнє значення випадкового процесу? (Зверніть увагу, що не має значення, яке значення

t

$t$ ми використовуємо; всі випадкові змінні мають однаковий розподіл і тому мають однакове середнє значення (якщо середнє існує)). Як говорить ОП, середнє значення або компонент постійного струму вибіркового шляху конвергується до середнього значення процесу, якщо вибірковий шлях спостерігається досить довго, за умови, що процес є ергодичним та нерухомим тощо. з'єднати результати двох обчислень і затвердити цю

lim_{Т \to \infty} \bar{х} = lim_{Т \to \infty} \frac{1}{2 Т} \int_{- Т}^{Т} х (т) г т

$\lim_{T\to \infty}\bar{x} = \lim_{T\to \infty}\frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$ дорівнює

μ = E [X (t)] = \int_{- \infty}^{\infty} u f_{X} (u) d u .

$\mu = E[X(t)] = \int_{-\infty}^\infty uf_X(u) \,\mathrm du.$ Процес, для якого існує така рівність, називаєтьсясередньо-ергодичним, а процес - середньо-ергодичним, якщо його функція автоковаріації

C_{X} (τ)

$C_X(\tau)$ має властивість:

lim_{Т \to \infty} \frac{1}{2 Т} \int_{- Т}^{Т} С_{Х} (τ) г τ = 0.

$\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^T C_X(\tau) \mathrm d\tau = 0.$

Таким чином, не всі стаціонарні процеси мають бути середньостатистичними. Але є й інші форми ергодичності. Наприклад, для автоковаріаційно-ергодичного процесу функція автоковаріації кінцевого відрізка (скажімо, для $t\in (-T, T)$ вибіркового шляху $x(t)$ переходить до функції автоковаріації $C_X(\tau)$ процесу як $T\to \infty$ . Бланкетне твердження про те, що процес є ергодичним, може означати будь-яку з різних форм або може означати конкретну форму;

Як приклад різниці між двома поняттями, припустимо, що $X(t) = Y$ для всіх $t$ розглядаються. Тут $Y$ - випадкова величина. Це є стаціонарним процесом: кожен $X(t)$ має таке ж розподіл (а саме, розподіл $Y$ ), то ж саме середнє $E[X(t)] = E[Y]$ , така ж дисперсія і т.д.; кожен $X(t_1)$ і $X(t_2)$ мають однаковий спільний розподіл (хоча він і вироджений) тощо. Але процеснеє ергодичним,оскільки кожен зразок шляху є постійним. Зокрема, якщо випробування експерименту (виконаного вами, або вищою істотою) призводить до того, що $Y$ має значення $\alpha$ , то вибірковий шлях випадкового процесу, що відповідає цьому експериментальному результату, має значення $\alpha$ для всіх $t$ , і Значення постійного струму на вибірковому шляху - $\alpha$ , а не $E[X(t)] = E[Y]$ незалежно від того, як довго ви дотримуєтеся (досить нудного) зразкового шляху. У паралельній всесвіті випробування призведе до $Y = \beta$ а вибірковий шлях у цій Всесвіті матиме значення $\beta$ для всіх $t$ . Виписати математичні характеристики нелегко, щоб виключити такі дрібниці з класу стаціонарних процесів, і тому це дуже мінімальний приклад стаціонарного випадкового процесу, який не є ергодичним.

Чи може бути випадковий процес, який не є стаціонарним, але є ергодичним? Ну, N0 , не якщо під терміном "ergodic" ми маємо на увазі всі необхідні способи: наприклад, якщо ми вимірюємо частку часу, протягом якого довгий відрізок шляху вибірки $x(t)$ має значення не більше $\alpha$ , це - хороша оцінка $P(X(t) \leq \alpha) = F_X(\alpha)$ , значення (загального) CDF s при $F_X$ від $X(t)$ $\alpha$ якщо процес вважається ергодичним щодо функцій розподілу. Але , ми можемо мати випадкові процеси, які не є стаціонарними, але, тим не менше, означають -ергодичні та автоковаріаційні -ergodic. Наприклад, розглянемо процес $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ де $\Theta$ приймає чотири однаково вірогідні значення $0, \pi/2, \pi$ і $3\pi/2$ . Зауважимо, що кожен $X(t)$ -дискретнавипадкова величина, яка, як правило, приймає чотири однаково вірогідні значення $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ і $\cos(t+3\pi/2)=\sin(t)$ , Неважко помітити, що $X(t)$ і $X(s)$ взагалі мають різні розподіли, і тому процес навіть не є стаціонарним. З іншого боку,

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$ для кожного

t

$t$ тоді як

\begin{aligned} Е [Х (т) Х (с)] & = \frac{1}{4} [\cos (т) \cos (с) + (- \cos (т)) (- \cos (с)) + гріх (т) гріх (с) + (- гріх (т)) (- гріх (с))] \\ = \frac{1}{2} [\cos (т) \cos (с) + гріх (т) гріх (с)] \\ = \frac{1}{2} \cos (т - с) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$ Коротше кажучи, процес має нульове середнє значення, а його функція автокореляції (і автоковаріації) залежить лише від різниці в часі

t - s

$t-s$ , і тому процесєшироким сенсом стаціонарним. Але він не є стаціонарним першого порядку, і тому не може бути стаціонарним і для вищих порядків. Тепер, коли експеримент виконується і значення

Θ

$\Theta$ відоме, ми отримуємо вибіркову функцію, яка явно повинна бути однією з

\pm \cos (t)

$\pm \cos(t)$ і

\pm \sin (t)

$\pm \sin(t)$ що мають значення DC

0

$0$ що дорівнює

0

$0$ і функція автокореляції -

\frac{1}{2} \cos (τ)

$\frac 12 \cos(\tau)$ , такий же, як

R_{X} (τ)

$R_X(\tau)$ , і тому цей процесєсередньо-ергодичним і автокореляційним-ергодичним, хоча він зовсім не є стаціонарним. На закінчення зауважую, що процес не є ергодичним щодофункції розподілу, тобто його не можна сказати в усіх відношеннях до ергодичного.

— Діліп Сарват
джерело

1

Я не міг зрозуміти приклад. Якщо ви кажете, що Y - константа, то будь-який шлях x (t) - константа. Середнє значення постійної є само собою, отже, E [X (t)] = E [Y] = Y. Якщо я щось не пропустив.

— Рой

Я додав кілька слів, щоб уточнити значення.

- випадкова величина, а не константа. Його значення для будь-якого випробування експерименту не повинно бути таким же, як

.

Y

$Y$

E [Y]

$E[Y]$

— Діліп Сарват

1

Якщо сигнал є ергодичним, тобто середній час збігається до середнього рівня ансамблю, але різні

мають різні засоби, оскільки процес не є стаціонарним, яке визначення середнього ансамблю, до якого сходиться середній час?

X

$X$

— Діліп Сарват

1

@Matt У рішенні книги "Системи зв'язку" Сімон Хайкін пише, що "для випадкового процесу, який має бути ергодичним, він повинен бути нерухомим"

— Острів Роні

1

@ColinHicks Так, це друкарня у моїй відповіді, яку я виправлю дуже скоро. Дякую, що ви звернули це на мою увагу.

— Діліп Сарват

6

Розглянемо гіпотетичний випадковий процес, коли функції вибірки є значеннями постійного струму і відрізняються одна від одної:

X ₁ (t) = константа = середнє значення X₁ (t)

X ₂ (t) = константа = середнє значення X ₂ (t)

Середнє тимчасове значення і є постійними, але не рівні. якщо мій процес стаціонарний і рівні і RV (див. відповідь Діліпа) $X_1(t)$ $X_2(t)$ $X(t_1)$ $X(t_2)$

$X(t)$

$X_1(t)$ $X_2(t)$

$X(t)=Acos(\omega t+\theta)$ $\theta$

— Сум’я
джерело

2

Я сподіваюсь, що це відео (з Флоридського технологічного інституту. "З назвою" що таке широкий сенс, стаціонарний, суворий сенс, ергодичні сигнали "доктора Івіки Костаніча в класі" Теорія комунікацій "з 16:55 міг усунути ваші сумніви

— user8162
джерело

Ласкаво просимо на DSP.SE! Я б запропонував вам додати ім’я та деякі описи на відео, якщо воно буде видалено колись і посилання недійсне. Дякую.

— lennon310

1

Ергодичний процес - це процес, для якого можна замінити середнє значення ергодичного значення тимчасовим.

Реальна середня величина, дисперсія тощо ... визначаються шляхом дотримання процесу за часом та усереднення тощо. Наприклад, якщо ви хочете дізнатись середнє значення мого розміру, вам доведеться його оцінювати з моменту народження коли я помру. Очевидно, що більш пізній приклад не є стаціонарним процесом.

Ергодичне значення було б, якби замість того, щоб слідкувати за моїми розмірами з часом, ви заморозили б час і взяли середнє значення для вибірки різних окремих людей. Немає причини, щоб ці два засоби були однаковими, тому процес мого розміру не є ергодичним.

$\bar{V^2}$ $\left< V^2 \right>$ $t$

$\bar{V^2}$ $\left< V^2 \right>$

Ергодична гіпотеза в загальному випадку помилкова.

— Жан-Ів
джерело

1

Я не розумію цієї відповіді. Процес розміру Джолоу не є ні стаціонарним, ні ергодичним, тоді як в ОП було цікаво, чи може бути стаціонарний процес, який не є ергодичним. Чи є відповідь по суті, що загалом ергодична гіпотеза помилкова, і це (начебто загальновизнано), що середнє значення вибірки відрізняється від середнього ансамблю, просто звикніть до нього і живіть з ним?

— Діліп Сарват

@DilipSarwate: після повторного читання це погана відповідь, яка не відповідає на запитання, і я розглядаю можливість її видалити. Я нагадав свої лекції з термодинаміки, тоді як питання було більше про статистику ...

— Жан-Ів

@DilipSarwate, який розмір Джоула?

— Острів Роні

1

@MichaelCorleone Я не пам'ятаю, що означає посилання на Джоула. Я здогадуюсь, що Жан-Ів розмістив свою відповідь під nom-de-plume Jolow, і я використав це ім’я у своїй відповіді, і що він відтоді вирішив використовувати Жан-Іва як своє ім'я користувача на stackexchange. Такі зміни імен відображаються на тому, що відображається на екрані, але не записується як редагування відповіді.

— Діліп Сарват

@DilipSarwate: ти справді маєш рацію. Джоул - це лише моє прізвисько.

— Жан-Ів

1

Для прикладу протилежного випадку (тобто випадкового процесу, який є ергодичним, але не стаціонарним), розглянемо процес білого шуму, який амплітудою модулюється детермінованою квадратною хвилею. Середній час кожної функції вибірки дорівнює нулю, як і середнє значення ансамблю за весь час. Отже процес є ергодичним. Однак дисперсія будь-якої функції вибірки показує початкову залежність квадратної хвилі від часу, тому процес не є стаціонарним.

Цей конкретний приклад є стаціонарним для широкого сенсу, але можна створити споріднені приклади, які все ще є ергодичними, але навіть не мають широкого сенсу.

— Професор Марк
джерело

0

Як я не розумію, приклад нижче показує ергодичний та стаціонарний процес

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

означає 2 2 2 вар 1

тому що середнє значення та дисперсія кожного стовпця є постійними за часом, а середнє значення та дисперсія кожного рядка є постійними протягом часу

— TPArrow
джерело