Чи повністю описує функція автокореляції стохастичний процес?

Чи стохастичний процес повністю описаний його функцією автокореляції?

Якщо ні, то які додаткові властивості будуть потрібні?

autocorrelation

Що розуміється під повним описом стохастичного процесу? Ну, математично, стохастичний процес - це сукупність випадкових змінних, по одній на кожен момент в наборі індексів , де зазвичай - вся реальна лінія або позитивна реальна лінія, і повний опис означає, що для кожного цілого числа та часових моментів ми знаємо (спільні) розподіли в випадкові величини , , $\{X(t) : t \in {\mathbb T}\}$ $t$ $\mathbb T$ $\mathbb T$ $n \geq 1$ $n$ $t_1, t_2, \ldots, t_n \in \mathbb T$ $n$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ . Це величезна кількість інформації: нам потрібно знати CDF для кожного моменту часу , (двовимірний) спільний CDF і для всіх варіантів моменту часу і , (тривимірні) CDF , і , і т.д. і т.д. і т.д. і т.д. $X(t)$ $t$ $X(t_1)$ $X(t_2)$ $t_1$ $t_2$ $X(t_1)$ $X(t_2)$ $X(t_3)$

Таким чином, природно, люди розшукували простіші описи та більш обмежувальні моделі. Одне спрощення відбувається, коли процес інваріантний зміні часу виникнення. Що це означає, що це

Усі випадкові змінні в процесі мають однакові CDF: для всіх . $F_{X(t_1)}(x) = F_{X(t_2)}(x)$ $t_1, t_2$
Будь-які дві випадкові величини, розділені на деяку задану кількість часу, мають той самий спільний CDF, як і будь-яка інша пара випадкових змінних, розділених однаковою кількістю часу. Наприклад, випадкові величини і розділені на секунди, як і випадкові змінні і , і таким чином $X(t_1)$ $X(t_1 + \tau)$ $\tau$ $X(t_2)$ $X(t_2 + \tau)$ $F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
Будь-які три випадкові величини , , розміщені і мають однаковий спільний CDF, як , , які також розташовані та один від одного, $X(t_1)$ $X(t_1 + \tau_1)$ $X(t_1 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$ $X(t_2)$ $X(t_2 + \tau_1)$ $X(t_2 + \tau_1 + \tau_2)$ $\tau_1$ $\tau_2$
і так далі для всіх багатовимірних CDF. Дивіться, наприклад, відповідь Пітера К. для детальної інформації про багатовимірний випадок.

Ефективно, імовірнісні описи випадкового процесу не залежать від того, що ми назвати початком по осі часу: зміщення всіх моментів часу на деяку фіксовану суму на дає однаковий імовірнісний опис випадкових змінних. Ця властивість називається стаціонарністю суворого сенсу, а випадковий процес, який користується цією властивістю, називається строго стаціонарним випадковим процесом або, простіше кажучи, стаціонарним випадковим процесом. $t_1, t_2, \ldots, t_n$ $\tau$ $t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Зауважимо, що сувора стаціонарність сама по собі не вимагає особливої форми ФДВ. Наприклад, це не говорить про те, що всі змінні є гауссовими.

Прикметник суворо підказує, що можна визначити більш слабку форму стаціонарності. Якщо -порядковий спільний CDF такий же, як -порядник CDF для всіх варіантів і , тоді, як кажуть, випадковий процес стаціонарний на замовлення і називається -постійним стаціонарним випадковим процесом. Зауважимо, що -стаціонарний стаціонарний випадковий процес також є стаціонарним, щоб замовити для кожного додатного $N^{\text{th}}$ $X(t_1), X(t_2), \ldots, X(t_N)$ $N^{\text{th}}$ $X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$ $t_1,t_2, \ldots, t_N$ $\tau$ $N$ $N^{\text{th}}$ $N^{\text{th}}$ $n$ $n < N$ . (Це тому, що -спільний CDF-межі є межею -порядок CDF як підходу аргументів : узагальнення ). Те А строго стаціонарний випадковий процес є випадковим процесом , який знаходиться в нерухомому стані на всі замовлення . $n^{\text{th}}$ $N^{\text{th}}$ $N-n$ $\infty$ $F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$ $N$

Якщо випадковий процес є стаціонарним (принаймні) порядку , то всі мають однаковий розподіл, і так, припускаючи, що середнє значення існує, однаковий для всіх . Аналогічно, однаковий для всіх і називається силою процесу. Всі фізичні процеси мають кінцеву силу, і тому прийнято вважати, що в такому випадку, і особливо в старій технічній літературі, процес називають процесом другого порядку . Вибір імені невдалий, оскільки він викликає плутанину з другим порядком $1$ $X(t)$ $E[X(t)] = \mu$ $t$ $E[(X(t))^2]$ $t$ $E[(X(t))^2] < \infty$ стаціонарність (пор. ця моя відповідь на stats.SE ), і тому тут ми назвемо процес, для якого є кінцевим для всіх (чи є чи ні - константа) як процес з кінцевою потужністю і уникайте цієї плутанини. Але зауважте ще раз це $E[(X(t))^2]$ $t$ $E[(X(t))^2]$

стаціонарний процес першого порядку не повинен бути процесом обмеженої потужності.

Розглянемо випадковий процес, який є стаціонарним для замовлення . Тепер, оскільки спільний розподіл і збігається з функцією спільного розподілу і , і значення залежить лише від . Ці очікування є скінченними для процесу з кінцевою потужністю, і їх значення називається функцією автокореляції процесу: - це функція , часу поділ випадкових величин і , і не залежить від $2$ $X(t_1)$ $X(t_1 + \tau)$ $X(t_2)$ $X(t_2 + \tau)$ $E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$ $\tau$ $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$ зовсім. Зауважте також, що і тому функція автокореляції є рівною функцією її аргументу.

E [X (t) X (t + τ)] = E [X (t + τ) X (t)] = E [X (t + τ) X (t + τ - τ)] = R_{X} (- τ),

$E[X(t)X(t+\tau)] = E[X(t+\tau)X(t)] = E[X(t+\tau)X(t + \tau - \tau)] = R_X(-\tau),$

Стаціонарний випадковий процес кінцевої потужності другого порядку має такі властивості

Його середнє значення - константа $E[X(t)]$

Його функція автокореляції є функцією , часовим поділом випадкових величин і , і робить взагалі не залежать від . $R_X(\tau) = E[X(t)X(t+\tau)]$ $\tau$ $X(t)$ $X(t+\tau)$ $t$

Припущення про стаціонарність певною мірою спрощує опис випадкового процесу, але для інженерів та статистиків, зацікавлених у побудові моделей за експериментальними даними, оцінка всіх цих CDF є нетривіальним завданням, особливо коли є лише відрізок одного вибіркового шляху (або реалізація) на якій можна проводити вимірювання. Два вимірювання, які порівняно легко зробити (оскільки інженер вже має необхідні інструменти на своєму робочому столі (або програми в MATLAB / Python / Octave / C ++ у своїй бібліотеці програм), є значення постійного струму з і автокореляційної функції $x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$ $x(t)$ $R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$ (або його перетворення Фур'є, спектр потужності ). Вважаючи ці вимірювання як оцінку середнього значення та функції автокореляції процесу з кінцевою потужністю, веде до дуже корисної моделі, про яку ми поговоримо далі. $x(t)$

Випадковим процесом з кінцевою потужністю називають процес стаціонарного широкого сенсу (WSS) (також слабко стаціонарний випадковий процес, який, на щастя, також має той самий ініціалізм WSS), якщо він має постійне середнє значення і функцію його автокореляції залежить лише від різниці в часі (або ). $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1 - t_2$ $t_2 - t_1$

Зауважте, що визначення нічого не говорить про CDF випадкових змінних, що містять процес; це повністю обмеження моментів першого та другого порядку випадкових змінних. Звичайно, стаціонарний (або -стаціонарний (для ) або стаціонарний) випадковий процес є випадковим процесом WSS, але навпаки це не повинно бути правдою. $N^{\text{th}}$ $N>2$

Процес WSS не повинен бути стаціонарним для будь-якого замовлення.

Розглянемо, наприклад, випадковий процес де приймає чотири однаково вірогідні значення і . (Не лякайтеся: чотири можливі вибіркові шляхи цього випадкового процесу - це лише чотири сигнали сигналу сигналу QPSK). Зауважимо, що кожен - дискретна випадкова величина, яка, як правило, приймає чотири однаково вірогідні значення і , Легко побачити, що взагалі і $\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$ $\Theta$ $0, \pi/2, \pi$ $3\pi/2$ $X(t)$ $\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$ $\cos(t+3\pi/2)=\sin(t)$ $X(t)$ $X(s)$ мають різні розподіли, і тому процес навіть не є стаціонарним. З іншого боку, для кожного той час, як Коротше кажучи, процес має нульове середнє значення, а його функція автокореляції залежить лише від різниці в часі , і тому процес є широким сенсом стаціонарним. Але він не є стаціонарним першого порядку, і тому не може бути стаціонарним і для вищих порядків.

E [X (t)] = \frac{1}{4} \cos (t) + \frac{1}{4} (- \sin (t)) + \frac{1}{4} (- \cos (t)) + \frac{1}{4} \sin (t) = 0

$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$

t

$t$

\begin{aligned} E [X (t) X (s)] & = \frac{1}{4} [\cos (t) \cos (s) + (- \cos (t)) (- \cos (s)) + \sin (t) \sin (s) + (- \sin (t)) (- \sin (s))] \\ = \frac{1}{2} [\cos (t) \cos (s) + \sin (t) \sin (s)] \\ = \frac{1}{2} \cos (t - s) . \end{aligned}

$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$

t - s

$t-s$

Навіть для WSS-процесів, які є стаціонарними (або строго стаціонарними) випадковими процесами, мало що можна сказати про конкретні форми розподілів випадкових змінних. Коротко,

Процес WSS не обов'язково є стаціонарним (у будь-якому порядку), а середня і автокореляційна функція процесу WSS недостатня для того, щоб дати повний статистичний опис процесу.

Нарешті, припустимо , що стохастичний процес передбачається бути гаусовим процесом ( «довести» це з достатнім ступенем впевненості не є тривіальним завданням). Це означає, що для кожного , - гауссова випадкова величина і для всіх натуральних чисел та вибір моментів , , , випадкових величин , , це спільно випадкові величини Гаусса . Зараз спільна функція щільності Гаусса повністю $t$ $X(t)$ $n \geq 2$ $n$ $t_1$ $t_2$ $\ldots, t_n$ $N$ $X(t_1)$ $X(t_2)$ $\ldots, X(t_n)$ визначається за допомогою засобів, дисперсій та коваріацій випадкових змінних, і в цьому випадку, знаючи середню функцію (вона не повинна бути константою, як це потрібно для широкого сенсу -стаціонарність) і функція автокореляції для всіх (вона не повинна залежати лише від як це потрібно для широкого стаціонарності) достатньо, щоб повністю визначити статистику процесу. $\mu_X(t) = E[X(t)]$ $R_X(t_1, t_2) = E[X(t_1)X(t_2)]$ $t_1, t_2$ $t_1-t_2$

Якщо гауссовский процес є процесом WSS, то це також строго стаціонарний гауссовский процес. На щастя для інженерів та процесорів сигналів, багато процесів фізичного шуму можуть бути добре змодельовані як WSS-гауссові процеси (і, отже, суворо стаціонарні процеси), так що експериментальне спостереження за функцією автокореляції легко забезпечує всі спільні розподіли. Крім того, оскільки Гауссові процеси зберігають свій гауссовий характер при проходженні через лінійні системи, а функція автокореляції на виході пов'язана з функцією автокореляції на вході як

R_{y} = h * \tilde{h} * R_{X}

$R_y = h*\tilde{h}*R_X$ щоб статистику виходу можна було також легко визначити, процес WSS в цілому і WSS Гаусса процес, зокрема, мають велике значення в інженерних програмах.

— Діліп Сарват
джерело

Чи не могли б ви прокоментувати "Білий шум" у цьому сенсі? За визначенням автокореляція при є дисперсією випадкових змінних. Чи означає це, що AWGN (Additive White Gaussian Noise) має нескінченну дисперсію? Я запитую це, тому що зазвичай люди пишуть , це неправильно? Чи слід писати ? Спасибі.

τ = 0

$\tau = 0$

n (t) N (0, N_{0} / 2)

$n(t) ~ N(0, {N}_{0} / 2)$

n (t) N (0, δ (0) N_{0} / 2)

$n(t) ~ N(0, \delta(0) {N}_{0} / 2)$

— Рой

@Drazick Будь ласка, задайте окреме запитання.

— Діліп Сарват

Це фантастичний міні-курс у визначенні стаціонарних процесів. Я ніколи не бачив нічого подібного - викладено так методично і чітко. Вікі спільноти?

— abalter

@Dilip Sarwate Вибачте за моє незнання. У прикладі. Чому E [X (t)] = 0 для всіх t? Ви припускали ергодичність? Як ви отримали функцію щільності ймовірності X (t) з функції щільності ймовірності тети для обчислення очікуваного значення? E [X (t) X (s)] = E [cos (t + theta) * cos (s + theta)] так? Які кроки ви зробили, щоб спростити цей вираз і дійти до того, що ви написали? Спасибі

— VMMF

@VMMF Там немає NO ергодичності використовується. - дискретна випадкова величина, оскільки - дискретна випадкова величина, і вона з однаковою ймовірністю приймає значення і . Ерго, . приймає значення , , і з однаковою ймовірністю . Отже,

X (t) = \cos (t + Θ)

$X(t)=\cos(t+\Theta)$

Θ

$\Theta$

\pm \cos (t)

$\pm\cos(t)$

\pm \sin (t)

$\pm\sin(t)$

\frac{1}{4}

$\frac 14$

E [X (t)] = 0

$E[X(t)]=0$

X (t) X (s)

$X(t)X(s)$

\cos (t) \cos (s)

$\cos(t)\cos(s)$

(- \cos (t)) (- \cos (s)) = \cos (t) \cos (s)

$(-\cos(t))(-\cos(s))=\cos(t)\cos(s)$

\sin (t) \sin (s)

$\sin(t)\sin(s)$

(- \sin (t)) (- \sin (s)) = \sin (t) \sin (s)

$(-\sin(t))(-\sin(s))=\sin(t)\sin(s)$

\frac{1}{4}

$\frac 14$

E [X (t) (X (s)] = \frac{1}{2} (\cos (t) \cos (s) + \sin (t) \sin (s)) = \frac{1}{2} \cos (t - s)

$E[X(t)(X(s)]=\frac 12\big(\cos(t)\cos(s)+\sin(t)\sin(s)\big) = \frac 12\cos(t-s)$ . Отже,

— Діліп Сарват