Визначення середнього та стандартного відхилень у режимі реального часу

Який був би ідеальний спосіб знайти середнє та стандартне відхилення сигналу для додатків у реальному часі. Я хотів би мати можливість запускати контролер, коли сигнал протягом певного часу перевищує середнє відхилення середнього значення.

Я припускаю, що спеціалізований DSP зробить це досить легко, але чи є якийсь "ярлик", який може не вимагати чогось такого складного?

У відповіді Джейсона Р є недолік, який обговорюється у "Кмітці комп’ютерного програмування" Кнута. 2. Проблема виникає, якщо у вас є стандартне відхилення, яке є невеликою часткою середнього: обчислення E (x ^ 2) - (E (x) ^ 2) страждає від сильної чутливості до помилок округлення плаваючої точки.

Ви навіть можете спробувати це самостійно в сценарії Python:

ofs = 1e9
A = [ofs+x for x in [1,-1,2,3,0,4.02,5]] 
A2 = [x*x for x in A]
(sum(A2)/len(A))-(sum(A)/len(A))**2

Я отримую -128.0 як відповідь, яка явно не обчислювально обгрунтована, оскільки математика передбачає, що результат повинен бути негативним.

Кнут наводить підхід (я не пам’ятаю прізвища винахідника) для обчислення середньої тривалості та середнього відхилення, яка має щось подібне:

 initialize:
    m = 0;
    S = 0;
    n = 0;

 for each incoming sample x:
    prev_mean = m;
    n = n + 1;
    m = m + (x-m)/n;
    S = S + (x-m)*(x-prev_mean);

а потім після кожного кроку значення mсереднього значення є, а стандартне відхилення можна обчислити як sqrt(S/n)або sqrt(S/n-1)залежно від того, яке ваше улюблене визначення стандартного відхилення.

Рівняння, про яке я пишу вище, трохи відрізняється від рівня в Кнуті, але воно обчислювально рівнозначне.

Коли у мене ще кілька хвилин, я зашифрую вищевказану формулу в Python і покажу, що ви отримаєте негативну відповідь (це, сподіваємось, близьке до правильного значення).

оновлення: ось воно.

test1.py:

import math

def stats(x):
  n = 0
  S = 0.0
  m = 0.0
  for x_i in x:
    n = n + 1
    m_prev = m
    m = m + (x_i - m) / n
    S = S + (x_i - m) * (x_i - m_prev)
  return {'mean': m, 'variance': S/n}

def naive_stats(x):
  S1 = sum(x)
  n = len(x)
  S2 = sum([x_i**2 for x_i in x])
  return {'mean': S1/n, 'variance': (S2/n - (S1/n)**2) }

x1 = [1,-1,2,3,0,4.02,5] 
x2 = [x+1e9 for x in x1]

print "naive_stats:"
print naive_stats(x1)
print naive_stats(x2)

print "stats:"
print stats(x1)
print stats(x2)

результат:

naive_stats:
{'variance': 4.0114775510204073, 'mean': 2.0028571428571427}
{'variance': -128.0, 'mean': 1000000002.0028572}
stats:
{'variance': 4.0114775510204073, 'mean': 2.0028571428571431}
{'variance': 4.0114775868357446, 'mean': 1000000002.0028571}

Ви зауважите, що все-таки є якась помилка округлення, але це непогано, тоді як naive_statsпросто тягне.

редагувати: Щойно помітив коментар Велізарія з посиланням на Вікіпедію, де йдеться про алгоритм Кнута.

Який був би ідеальний спосіб знайти середнє та стандартне відхилення сигналу для додатків у реальному часі. Я хотів би мати можливість запускати контролер, коли сигнал протягом певного часу перевищує середнє відхилення середнього значення.

Правильний підхід у подібних ситуаціях, як правило, обчислює експоненціально зважене середнє та середнє відхилення. У експоненціально зваженому середньому оцінці середнього значення та дисперсії є упередженими до останньої вибірки, що дає вам оцінку середнього та відхилення протягом останніх секунд$\tau$ , що, мабуть, те, що ви хочете, а не звичайне середнє арифметичне для всіх зразки, коли-небудь бачені.

У частотній області "експоненціально зважене середнє середнє значення" - це просто справжній полюс. Це просто реалізувати у часовій області.

Впровадження часової області

Нехай meanі meansqбути поточними оцінками середнього та середнього квадрату сигналу. На кожному циклі оновлюйте ці оцінки за допомогою нового зразка x:

% update the estimate of the mean and the mean square:
mean = (1-a)*mean + a*x
meansq = (1-a)*meansq + a*(x^2)

% calculate the estimate of the variance:
var = meansq - mean^2;

% and, if you want standard deviation:
std = sqrt(var);

Тут - константа, яка визначає ефективну довжину середнього бігу. Як вибрати , описано нижче в "аналізі".$0 < a < 1$$a$

Те, що виражається вище як імперативна програма, також може бути зображене як схема подачі сигналу:

Аналіз

Вищенаведений алгоритм обчислює де - вхід у зразок , а - вихід (тобто оцінка середнього значення). Це простий однополюсний IIR фільтр. Беручи перетворення , знаходимо функцію передачі .$y_i = a x_i + (1-a) y_{i-1}$$x_i$$i$$y_i$$z$

Конденсуючи фільтри IIR у власні блоки, схема тепер виглядає так:

Для переходу до безперервного домену робимо підстановку де - час вибірки, а - швидкість вибірки. Розв’язуючи , знаходимо, що неперервна система має полюс при . $z = e^{s T}$$T$$f_s = 1/T$$1-(1-a)e^{-sT}=0$$s = \frac{1}{T} \log (1-a)$

Виберіть :$a$

Список літератури

• Джерело діаграми Simulink можна завантажити з https://gist.github.com/1942771

Метод, який я раніше використовував у вбудованій програмі обробки, полягає у підтримці акумуляторів суми та суми квадратів сигналу, що цікавить:

Крім того, слідкуйте за поточним моментом часу у вищевказаних рівняннях (тобто відзначте кількість вибірок, які ви додали в акумулятори). Тоді середнє значення вибірки та стандартне відхилення за час становлять:$i$$i$

або ви можете використовувати:

залежно від того, який метод оцінки стандартного відхилення ви надаєте перевагу . Ці рівняння засновані на визначенні дисперсії :

Раніше я їх успішно використовував (хоча я стосувався лише оцінки дисперсії, а не стандартного відхилення), хоча вам потрібно бути обережним щодо числових типів, які ви використовуєте для утримування акумуляторів, якщо збираєтесь підсумовувати тривалий проміжок часу; ви не хочете переповнення.

Редагувати: Окрім вищезазначеного коментаря щодо переповнення, слід зазначити, що це не чисельно надійний алгоритм, який реалізується в арифметиці з плаваючою комою, що може спричинити великі помилки в оціночній статистиці. Подивіться на відповідь Джейсона С. щодо кращого підходу в цьому випадку.

Подібний до кращої відповіді вище (Jason S.), а також випливає з формули, взятої з Knut (Vol.2, p 232), можна також отримати формулу для заміни значення, тобто видалити та додати значення за один крок . Згідно з моїми тестами, заміна забезпечує кращу точність, ніж двоступінчаста версія видалення / додавання.

Код, наведений нижче, знаходиться на Java, meanі sоновлюйте його ("глобальні" змінні учасника), як mі sвище в публікації Джейсона. Значення countвідноситься до розміру вікна n.

/**
 * Replaces the value {@code x} currently present in this sample with the
 * new value {@code y}. In a sliding window, {@code x} is the value that
 * drops out and {@code y} is the new value entering the window. The sample
 * count remains constant with this operation.
 * 
 * @param x
 *            the value to remove
 * @param y
 *            the value to add
 */
public void replace(double x, double y) {
    final double deltaYX = y - x;
    final double deltaX = x - mean;
    final double deltaY = y - mean;
    mean = mean + deltaYX / count;
    final double deltaYp = y - mean;
    final double countMinus1 = count - 1;
    s = s - count / countMinus1 * (deltaX * deltaX - deltaY * deltaYp) - deltaYX * deltaYp / countMinus1;
}

Відповідь Джейсона і Нібота відрізняється одним важливим аспектом: метод Джейсона обчислює std dev і середнє значення для всього сигналу (оскільки y = 0), тоді як Nibot - це "пробіжний" розрахунок, тобто він зважує новіші зразки, сильніші за зразки далеке минуле.

Оскільки програма, здається, вимагає std dev і означає як функцію часу, метод Нібота, ймовірно, є більш підходящим (для цієї конкретної програми). Однак справжньою складною частиною буде правильне зважування частини часу. У прикладі Нібота використовується простий однополюсний фільтр.

Правильним способом описати це є те, що ми отримуємо оцінку , фільтруючи і оцінку для , фільтруючи . Фільтри оцінювання - це типово низькочастотні фільтри. Ці фільтри повинні бути масштабовані, щоб мати 0dB при 0 Гц. В іншому випадку виникає постійна помилка посилення.$E[x]$E [ x 2 ] x [ n ] $x[n]$$E[x^2]$$x[n]^2$

Вибір фільтрів низьких частот може орієнтуватися на те, що ви знаєте про ваш сигнал та часовий дозвіл, необхідний для вашої оцінки. Низькі частоти обрізання та більш високий порядок призводять до кращої точності, але більш повільного часу відгуку.

Для ускладнення речей один фільтр застосовується в лінійній області, а інший - у квадраті. Квадратування суттєво змінює спектральний вміст сигналу, тож ви можете використовувати інший фільтр у квадраті.

Ось приклад того, як оцінювати середнє значення, rms та std dev як функцію часу.

%% example
fs = 44100; n = fs; % 44.1 kHz sample rate, 1 second
% signal: white noise plus a low frequency drift at 5 Hz)
x = randn(n,1) + sin(2*pi*(0:n-1)'*5/fs);
% mean estimation filter: since we are looking for effects in the 5 Hz range we use maybe a
% 25 Hz filter, 2nd order so it's not too sluggish
[b,a] = butter(2,25*2/fs);
xmeanEst = filter(b,a,x);
% now we estimate x^2, since most frequency double we use twice the bandwidth
[b,a] = butter(2,50*2/fs);
x2Est = filter(b,a,x.^2);
% std deviation estimate
xstd = sqrt(x2Est)-xmeanEst;
% and plot it
h = plot([x, xmeanEst sqrt(x2Est) xstd]);
grid on;
legend('x','E<x>','sqrt(E<x^2>)','Std dev');
set(h(2:4),'Linewidth',2);