Надійна оцінка середнього значення з ефективністю оновлення O (1)

Я шукаю надійну оцінку середнього значення, яке має конкретну властивість. У мене є набір елементів, для яких я хочу обчислити цю статистику. Потім я додаю нові елементи по одному, і для кожного додаткового елемента я хотів би перерахувати статистику (також відомий як онлайн-алгоритм). Я хотів би, щоб цей розрахунок оновлення був швидким, бажано O (1), тобто не залежав від розміру списку.

Звичайне значення має таку властивість, що її можна ефективно оновлювати, але не є надійною для людей, які переживають люди. Типові надійні оцінювачі середнього рівня, як міжквартильна середня та обрізана середня, не можуть бути ефективно оновлені (оскільки вони вимагають ведення відсортованого списку).

Буду вдячний за будь-які пропозиції щодо надійної статистики, яку можна ефективно розрахувати / оновити.

Це рішення реалізує пропозицію, зроблену @Innuo у коментарі до питання:

Ви можете підтримувати рівномірну вибірку випадкової підмножини розміром 100 або 1000 з усіх даних, що бачились дотепер. Цей набір та пов’язані з ним "огорожі" можна оновити за час.$O(1)$

Як тільки ми знаємо, як підтримувати цей підмножина, ми можемо вибрати будь-який метод, який ми хотіли б оцінити середній показник сукупності з такої вибірки. Це універсальний метод, не допускаючи жодних припущень, який буде працювати з будь-яким вхідним потоком з точністю, яку можна передбачити, використовуючи стандартні статистичні формули вибірки. (Точність обернено пропорційна квадратному кореню розміру вибірки.)

Цей алгоритм приймає як вхідний потік даних $x(t),$ $t=1, 2, \ldots,$ розмір вибірки $m$, і виводить потік зразків $s(t)$ кожен з яких представляє населення $X(t) = (x(1),x(2), \ldots, x(t))$. Зокрема, для$1\le i \le t$, $s(i)$ являє собою просту випадкову вибірку розміру $m$ з $X(t)$ (без заміни).

Щоб це сталося, достатньо кожного $m$підмножина елементів $\{1,2,\ldots,t\}$ мають рівні шанси бути індексами $x$ в $s(t)$. Це передбачає шанс, що$x(i),$ $1\le i\lt t,$ є в $s(t)$ дорівнює $m/t$ за умови $t \ge m$.

На початку ми просто збираємо потік до тих пір, поки $m$елементи збережені. На той момент існує лише одна можлива вибірка, тому умова ймовірності задовольняється тривіально.

Алгоритм переймає, коли $t=m+1$. Індуктивно припустимо, що$s(t)$ є простою випадковою вибіркою $X(t)$ для $t\gt m$. Тимчасово встановлений$s(t+1) = s(t)$. Дозволяє$U(t+1)$ бути рівномірною випадковою змінною (незалежно від будь-яких попередніх змінних, використаних для побудови $s(t)$). Якщо$U(t+1) \le m/(t+1)$ потім замініть випадковим чином обраний елемент $s$ від $x(t+1)$. Ось і вся процедура!

Ясно $x(t+1)$ має ймовірність $m/(t+1)$ перебування в $s(t+1)$. Більше того, за індукційною гіпотезою,$x(i)$ мала ймовірність $m/t$ перебування в $s(t)$ коли $i\le t$. З вірогідністю$m/(t+1) \times 1/m$ = $1/(t+1)$ його буде видалено з $s(t+1)$, звідки ймовірність залишитися дорівнює

саме так, як потрібно. Тоді за індукцією всі ймовірності включення$x(i)$ в $s(t)$є правильними, і зрозуміло, що немає особливої ​​кореляції серед цих включень. Це доводить, що алгоритм є правильним.

Ефективність алгоритму така $O(1)$ тому що на кожному етапі обчислюється щонайбільше два випадкових числа і не більше одного елемента масиву $m$значення замінюються. Вимога зберігання є$O(m)$.

Структура даних для цього алгоритму складається з вибірки $s$ разом з індексом $t$ населення $X(t)$що це зразки. Спочатку беремо$s = X(m)$ і продовжити алгоритм для $t=m+1, m+2, \ldots.$ Ось Rреалізація для оновлення$(s,t)$ зі значенням $x$ виробляти $(s,t+1)$. (Аргумент nграє роль$t$і sample.sizeє$m$. Індекс$t$ буде підтримуватися абонентом.)

update <- function(s, x, n, sample.size) {
  if (length(s) < sample.size) {
    s <- c(s, x)
  } else if (runif(1) <= sample.size / n) {
    i <- sample.int(length(s), 1)
    s[i] <- x
  }
  return (s)
}

Щоб проілюструвати і протестувати це, я буду використовувати звичайний (ненадійний) оцінювач середнього значення і порівняти середнє значення, оцінене з $s(t)$ до фактичного середнього значення $X(t)$(сукупний набір даних, що бачать на кожному кроці). Я вибрав дещо складний вхідний потік, який змінюється досить плавно, але періодично зазнає різких стрибків. Розмір вибірки$m=50$ є досить малим, що дозволяє нам бачити коливання вибірки на цих ділянках.

n <- 10^3
x <- sapply(1:(7*n), function(t) cos(pi*t/n) + 2*floor((1+t)/n))
n.sample <- 50
s <- x[1:(n.sample-1)]
online <- sapply(n.sample:length(x), function(i) {
  s <<- update(s, x[i], i, n.sample)
  summary(s)})
actual <- sapply(n.sample:length(x), function(i) summary(x[1:i]))

На цьому етапі onlineє послідовність середніх оцінок, що виробляються підтриманням цієї робочої вибірки$50$Значення while actual- це послідовність середніх оцінок, отриманих з усіх даних, наявних у кожен момент. Діаграма показує дані (сірим кольором), actual(чорним кольором) та два незалежні програми цієї процедури вибірки (кольорами). Угода знаходиться в межах очікуваної помилки вибірки:

plot(x, pch=".", col="Gray")
lines(1:dim(actual)[2], actual["Mean", ])
lines(1:dim(online)[2], online["Mean", ], col="Red")

Для надійних оцінювачів середнього рівня відвідайте наш сайт чужета пов'язані з ними терміни. Серед можливостей, які варто врахувати, - це засоби, що спонсоруються, та М-оцінки.

Ви можете подумати, як пов’язати свою проблему з рекурсивною схемою управління. Така контрольна діаграма оцінить, чи є нове спостереження під контролем. Якщо це так, це спостереження включається в нову оцінку середнього та відхилення (необхідне для визначення меж контролю).

Деякі відомості про надійні, рекурсивні, універсарні діаграми управління можна знайти тут . Один з класичних текстів щодо контролю якості та контрольних діаграм, як видається, доступний в Інтернеті тут .

Інтуїтивно, використовуючи середнє значення, $\mu_{t-1}$ і дисперсія $\sigma^2_{t-1}$ як вхідні дані, ви можете визначити, чи нове спостереження вчасно $t$являє собою грубість за низкою підходів. Можна було б заявити$x_t$ зовнішній вигляд, якщо він знаходиться поза певною кількістю стандартних відхилень $\mu_{t-1}$ (дано $\sigma^2_{t-1})$, але це може виникнути проблеми, якщо дані не відповідають певним припущенням про розповсюдження. Якщо ви хочете піти цією дорогою, то, припустимо, ви визначили, якщо нова точка не є стороннім, і хотіли б включити її у свою середню оцінку без особливої ​​швидкості забуття. Тоді ви не можете зробити краще, ніж:

$\mu_t = \frac{t-1}{t}\mu_{t-1}+\frac{1}{t}x_t$

Аналогічно, вам доведеться рекурсивно оновлювати дисперсію:

$\sigma^2_t = \frac{t-1}{t}\sigma^2_{t-1}+\frac{1}{t-1}(x_t-\mu_t)^2$

Однак ви можете спробувати ще кілька звичайних контрольних діаграм. Інші контрольні діаграми, які є більш надійними для розповсюдження даних і все ще можуть впоратися з нестаціонарністю (як-от$\mu$якщо ваш процес повільно йде вище) рекомендуються EWMA або CUSUM (докладніші відомості про графіки та їх межі управління див. у підручнику, пов'язаному вище). Ці методи, як правило, є менш обчислювальними, ніж надійні, оскільки вони мають перевагу просто порівнювати єдине нове спостереження з інформацією, отриманою з інших спостережень. Ви можете уточнити свої оцінки довгострокового процесу$\mu$ і $\sigma^2$ використовуються в контрольних обчисленнях обмежень цих методів за формулами оновлення, наведеними вище, якщо вам подобається.

Що стосується такої діаграми, як EWMA, яка забуває про старі спостереження та надає більше ваги новим, якщо ви вважаєте, що ваші дані є нерухомими (тобто параметри генеруючого розподілу не змінюються), то не потрібно забувати старі спостереження експоненціально. Ви можете встановити фактор забування відповідно. Однак якщо ви вважаєте, що це нестаціонарність, вам потрібно буде вибрати хороше значення для фактору забуття (ще раз перегляньте підручник, як це зробити).

Я також повинен зазначити, що перед тим, як розпочати моніторинг та додавати нові спостереження в Інтернеті, вам потрібно буде отримати оцінки $\mu_0$ і $\sigma^2_0$(початкові значення параметрів на основі навчального набору даних), на які не впливає інше. Якщо ви підозрюєте, що у ваших даних про навчання є люди, що випадають, ви можете заплатити одноразову вартість використання надійного методу їх оцінки.

Я думаю, що підхід у цих напрямках призведе до найшвидшого оновлення вашої проблеми.