Онлайн-оцінка квартілів без зберігання спостережень

Мені потрібно обчислювати квартілі (Q1, медіану та Q3) у реальному часі на великому наборі даних, не зберігаючи спостереження. Я спершу спробував алгоритм P-квадратів (Jain / Chlamtac), але я його не задовольнив (трохи занадто багато використання процесора і не переконаний у точності принаймні на моєму наборі даних).

Зараз я використовую алгоритм FAME ( Feldman / Shavitt ) для оцінки медіани на ходу і намагаюся вивести алгоритм для обчислення також Q1 і Q3:

M = Q1 = Q3 = first data value 
step =step_Q1 = step_Q3 = a small value
for each new data :
        # update median M 
        if M > data:
            M = M - step
        elif M < data:
            M = M + step
        if abs(data-M) < step:
            step = step /2

        # estimate Q1 using M
        if data < M:
            if Q1 > data:
                Q1 = Q1 - step_Q1
            elif Q1 < data:
                Q1 = Q1 + step_Q1
            if abs(data - Q1) < step_Q1:
                step_Q1 = step_Q1/2
        # estimate Q3 using M
        elif data > M:
            if Q3 > data:
                Q3 = Q3 - step_Q3
            elif Q3 < data:
                Q3 = Q3 + step_Q3
            if abs(data-Q3) < step_Q3:
                step_Q3 = step_Q3 /2

Для відновлення він просто використовує медіану M, отриману на льоту, щоб розділити набір даних надвоє, а потім повторно використовувати один і той же алгоритм як для Q1, так і для Q3.

Це, здається, працює якось, але я не в змозі продемонструвати (я не математик). Це хибно? Буду вдячний за будь-яку пропозицію чи можливу іншу техніку, яка відповідає проблемі.

Велике спасибі за вашу допомогу !

==== EDIT =====

Для тих, хто цікавиться такими питаннями, через кілька тижнів я нарешті закінчився простим використанням відбору проб водойми з ревервором 100 значень, і це дало дуже задовольняючі результати (для мене).

Медіана - це точка, в якій 1/2 спостережень падають нижче і на 1/2 вище. Аналогічно, 25-й перецентил є медіаною для даних між хв і медіаною, а 75-й перцентиль - медіаною між медіаною та макс. весь набір даних, щоб розділити його, а потім на дві отримані частини.

Оновлення :

Це питання про stackoverflow призводить до цієї роботи: Raj Jain, Imrich Chlamtac: Алгоритм P² для динамічного обчислення квантолів та гістограм без збереження спостережень. Комун. ACM 28 (10): 1076-1085 (1985) , анотація якого свідчить про те, що вас, мабуть, цікавить:

Запропоновано евристичний алгоритм для динамічного обчислення qf медіани та інших квантилів. Оцінки виробляються динамічно в міру формування спостережень. Спостереження не зберігаються; отже, алгоритм має дуже малу та фіксовану вимогу зберігання незалежно від кількості спостережень. Це робить його ідеальним для впровадження в кількісний чіп, який може бути використаний у промислових контролерах та рекордерах. Алгоритм далі поширюється на побудову гістограми. Проаналізовано точність алгоритму.

Дуже незначна зміна способу, який ви опублікували, і ви можете обчислити будь-який довільний процентиль, без необхідності обчислювати всі кванти. Ось код Python:

class RunningPercentile:
    def __init__(self, percentile=0.5, step=0.1):
        self.step = step
        self.step_up = 1.0 - percentile
        self.step_down = percentile
        self.x = None

    def push(self, observation):
        if self.x is None:
            self.x = observation
            return

        if self.x > observation:
            self.x -= self.step * self.step_up
        elif self.x < observation:
            self.x += self.step * self.step_down
        if abs(observation - self.x) < self.step:
            self.step /= 2.0

і приклад:

import numpy as np
import matplotlib.pyplot as plt

distribution = np.random.normal
running_percentile = RunningPercentile(0.841)
observations = []
for _ in range(1000000):
    observation = distribution()
    running_percentile.push(observation)
    observations.append(observation)

plt.figure(figsize=(10, 3))
plt.hist(observations, bins=100)
plt.axvline(running_percentile.x, c='k')
plt.show()