Алгоритм динамічного моніторингу квантів

Я хочу оцінити кількість деяких даних. Дані настільки величезні, що їх неможливо розмістити в пам'яті. Дані не є статичними, нові дані продовжують надходити. Хтось знає який-небудь алгоритм для моніторингу квантових даних, що спостерігалися до цього часу, з дуже обмеженою пам'яттю та обчисленнями? Я вважаю алгоритм P2 корисним, але він не дуже добре працює для моїх даних, які надзвичайно важко розподілені.

Алгоритм P2 - приємна знахідка. Це працює, роблячи кілька оцінок квантила, періодично оновлюючи їх, і використовуючи квадратичну (не лінійну, не кубічну) інтерполяцію для оцінки квантиля. Автори стверджують, що квадратична інтерполяція працює краще в хвостах, ніж лінійна інтерполяція, і кубічна буде надто метушливою і складною.

Ви не констатуєте, як саме цей підхід не підходить для ваших "важкохвостих" даних, але легко здогадатися: оцінки екстремальних квантилів для важкохвостих розподілів будуть нестабільними, поки не буде зібрано велику кількість даних. Але це буде проблемою (в меншій мірі) навіть якщо ви зберігали б усі дані, тому не чекайте чудес!

У будь-якому випадку, чому б не встановити допоміжні маркери - давайте назвемо їх і x 6 - за якими ви впевнені, що квантил буде лежати, і зберігати всі дані, що лежать між x 0 і x 6 ? Коли ваш буфер заповнюється, вам доведеться оновлювати ці маркери, завжди зберігаючи x 0 ≤ x 6 . Простий алгоритм зробити це можна з комбінації (a) поточної оцінки P2 кількісного числа і (b) збережених підрахунків кількості даних менше x 0 та кількості даних, що перевищує x $x_0$$x_6$$x_0$$x_6$$x_0 \le x_6$$x_0$$x_6$. Таким чином, ви можете з високою визначеністю оцінити кількісний показник так само добре, як якщо б у вас був весь доступний набір даних завжди, але вам потрібен лише порівняно невеликий буфер.

Зокрема, я пропоную структуру даних для підтримки часткової інформації про послідовність n значень даних x 1 , x 2 , … , x n . Тут y - пов'язаний список$(k, \mathbf{y}, n)$$n$$x_1, x_2, \ldots, x_n$$\mathbf{y}$

У цьому позначенні позначає i- е найменше з прочитаних досі значень n x . m - постійна, розмір буфера y .$x^{(n)}_{[i]}$$i^\text{th}$$n$ $x$$m$$\mathbf{y}$

Алгоритм починається з заповнення першими зібраними значеннями m і розміщення їх у відсортованому порядку, найменший до найбільший. Нехай q - квантил, який слід оцінити; наприклад, q = 0,99. Після читання x n + 1 можливі три дії:$\mathbf{y}$$m$$q$$q$$x_{n+1}$

• Якщо , приріст k .$x_{n+1} \lt x^{(n)}_{[k+1]}$$k$

• Якщо , нічого не робіть.$x_{n+1} \gt x^{(n)}_{[k+m]}$

• В іншому випадку вставте в y .$x_{n+1}$$\mathbf{y}$

У будь-якому випадку приріст .$n$

У вставках процедура ставить в у в відсортованому порядку , і потім усуває одне зі значень крайніх в у :$x_{n+1}$$\mathbf{y}$$\mathbf{y}$

• Якщо , то видаліть x ( n ) [ k + 1 ] з y та приріст k ;$k + m/2 \lt n q$$x^{(n)}_{[k+1]}$$\mathbf{y}$$k$

• В іншому випадку видаліть з y .$x^{(n)}_{[k+m]}$$\mathbf{y}$

За умови, що достатньо велика, ця процедура з високою ймовірністю скопить справжній квантил розподілу. На будь-якому етапі n його можна оцінити звичайним способом через x ( n ) [ ⌊ q n ⌋ ] і x ( n ) [ ⌈ q n ⌉ ] , що, ймовірно, лежить в y . (Я вважаю, що m має масштабувати лише як квадратний корінь максимальної кількості даних ( $m$$n$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$x^{(n)}_{[\lceil{q n}\rceil]}$$\mathbf{y}$$m$$N$), але я не провів жорсткого аналізу, щоб довести це.) У будь-якому випадку алгоритм виявить, чи вдався він (порівнявши та ( k + m ) / n до q ).$k/n$$(k+m)/n$$q$

Тестування зі значенням до 100 000, використовуючи іq=.5(найскладніший випадок) вказує, що цей алгоритм має 99,5% успішності в отриманні правильного значення x ( n ) [ ⌊ q n ⌋ ] . Для потоку зN=10 12 значень, що потребував би буфера усього два мільйони (але кращий вибір - три чи чотири мільйони). Для використання відсортованого подвійно пов'язаного списку для буфера потрібноO(log($m = 2\sqrt{N}$$q=.5$$x^{(n)}_{[\lfloor{q n}\rfloor]}$$N=10^{12}$=O(log(N))зусилля під час виявлення та видалення max або min єопераціямиO(1). Відносно дороге вставлення зазвичай потрібно робити лишеO($O(\log(\sqrt{N}))$$O(\log(N))$$O(1)$разів. Таким чином, обчислювальні витрати цього алгоритму становлятьO(N+$O(\sqrt{N})$у часі таO($O(N + \sqrt{N} \log(N)) = O(N)$на зберігання.$O(\sqrt{N})$

Я думаю , що пропозиція Уубера чудова, і я спробував би це спершу. Однак якщо ви виявите, що ви дійсно не можете розмістити зберігання або це не виходить з іншої причини, ось ідея для іншого узагальнення Р2. Це не так детально, як те, що пропонує Уубер - більше схоже на дослідницьку ідею, а не як рішення.$O(\sqrt N)$

$0$$p/2$$p$$(1+p)/2$$1$

$25$$0$$p/12$$\dotsc$$p \cdot 11/12$$p$$p + (1-p)/12$$\dotsc$$p + 11\cdot(1-p)/12$$1$$0$$p$$p$ and $1$), or even using $22$ Chebyshev nodes of the form $p/2 \cdot (1 + \cos \frac{(2 i - 1)\pi}{22})$ and $p + (1 - p)/2 \cdot (1 + \cos \frac{(2i-1)\pi}{22})$. If $p$ is close to $0$ or $1$, you could try putting fewer points on the side where there is less probability mass and more on the other side.

If you decide to pursue this, I (and possibly others on this site) would be interested in knowing if it works...

Press et al., Numerical Recipes 8.5.2 "Single-pass estimation of arbitrary quantiles" p. 435, give a c++ class IQAgent which updates a piecewise-linear approximate cdf.

This can be adapted from algorithms that determine the median of a dataset online. For more information, see this stackoverflow post - /programming/1387497/find-median-value-from-a-growing-set

I'd look at quantile regression. You can use it to determine a parametric estimate of whichever quantiles you want to look at. It make no assumption regarding normality, so it handles heteroskedasticity pretty well and can be used one a rolling window basis. It's basically an L1-Norm penalized regression, so it's not too numerically intensive and there's a pretty full featured R, SAS, and SPSS packages plus a few matlab implementations out there. Here's the main and the R package wikis for more info.

Edited:

Check out the math stack exchange crosslink: Someone sited a couple of papers that essentially lay out the very simple idea of just using a rolling window of order statistics to estimate quantiles. Literally all you have to do is sort the values from smallest to largest, select which quantile you want, and select the highest value within that quantile. You can obviously give more weight to the most recent observations if you believe they are more representative of actual current conditions. This will probably give rough estimates, but it's fairly simple to do and you don't have to go through the motions of quantitative heavy lifting. Just a thought.

It is possible to estimate (and track) quantiles on an on-line basis (the same applies to the parameters of a quantile regression). In essence, this boils down to stochastic gradient descent on the check-loss function which defines quantile-regression (quantiles being represented by a model containing only an intercept), e.g. updating the unknown parameters as and when observations arrive.

See the Bell Labs paper "Incremental Quantile Estimation for Massive Tracking" ( ftp://ftp.cse.buffalo.edu/users/azhang/disc/disc01/cd1/out/papers/kdd/p516-chen.pdf)

Another important algorithm is M. Greenwald and S. Khanna 2004 - Space-efficient online computation of quantile summaries.