Який хороший алгоритм для оцінки медіани величезного набору даних за один раз?

Я шукаю хороший алгоритм (маючи на увазі мінімальні обчислення, мінімальні вимоги до пам’яті), щоб оцінити медіану набору даних, яка занадто велика для зберігання, так що кожне значення може бути прочитане лише один раз (якщо ви явно не зберігаєте це значення). Немає меж у даних, які можна припустити.

Наближення добре, поки відома точність.

Якісь покажчики?

Чи можете ви згрупувати набір даних у набагато менші набори даних (скажімо, 100 чи 1000 чи 10 000 точок даних) Якщо ви обчислили медіану кожної з груп. Якщо ви зробили це з достатньою кількістю наборів даних, ви зможете побудувати щось на зразок середнього рівня результатів кожного з менших наборів, і цей шум, запустивши достатньо менших наборів даних, сходиться до «середнього» рішення.

Як щодо чогось подібного до процедури бінінгу? Припустимо (для ілюстрації), що ви знаєте, що значення складають від 1 до 1 мільйона. Налаштуйте N бункерів, розміром S. Отже, якщо S = 10000, у вас буде 100 бункерів, що відповідають значенням [1: 10000, 10001: 20000, ..., 990001: 1000000]

Потім перегляньте значення. Замість того, щоб зберігати кожне значення, просто додайте лічильник у відповідний контейнер. Використовуючи середню точку кожного бункера як оцінку, можна зробити розумне наближення медіани. Ви можете змінити масштаб до такої точної чи великої роздільної здатності, змінивши розмір бункерів. Ви обмежені лише кількістю пам'яті.

Оскільки ви не знаєте, наскільки великі можуть отримати ваші значення, просто виберіть розмір контейнера, достатньо великий, щоб у вас, швидше за все, не вистачало пам’яті, використовуючи кілька швидких зворотних підрахунків конверту. Ви також можете зберігати бункери рідко, так що ви додаєте контейнер лише тоді, коли він містить значення.

Редагувати:

Посилання ryfm надає приклад цього, з додатковим кроком використання кумулятивних відсотків для більш точної оцінки точки в медіанному біні, а не просто використання серединних точок. Це приємне поліпшення.

$O(n)$

Алгоритм Ривест-Тар'я-Selection (іноді також називають медіани через медіана алгоритм) дозволить вам обчислити середній елемент в лінійний час без будь - яких сортування. Для великих наборів даних це може бути трохи швидше, ніж лінійне лінійне сортування. Однак це не вирішить проблему зберігання пам’яті.

Я реалізував алгоритм P-квадрата для динамічного обчислення квантилів та гістограм без збереження спостережень у акуратному модулі Python, який я написав під назвою LiveStats . Це має вирішити вашу проблему досить ефективно.

Мені ніколи не доводилося цього робити, тому це лише пропозиція.

Я бачу дві (інші) можливості.

Половина даних

1. Завантажте навпіл дані та сортуйте
2. Далі прочитайте інші значення та порівняйте їх із відсортованим списком.
   1. Якщо нове значення більше, відмовтеся від нього.
   2. інакше покладіть значення в відсортований список і видаліть найбільше значення зі списку.

Розподіл вибірки

Інший варіант - використовувати наближення, що включає розподіл вибірки. Якщо ваші дані є нормальними, стандартна помилка для помірного n дорівнює:

1.253 * sd / sqrt (n)

Щоб визначити розмір n, яким ви були б задоволені, я провів швидке моделювання Монте-Карло в R

n = 10000
outside.ci.uni = 0
outside.ci.nor = 0
N=1000
for(i in 1:N){
  #Theoretical median is 0
  uni = runif(n, -10, 10)
  nor  = rnorm(n, 0, 10)

  if(abs(median(uni)) > 1.96*1.253*sd(uni)/sqrt(n))
    outside.ci.uni = outside.ci.uni + 1

  if(abs(median(nor)) > 1.96*1.253*sd(nor)/sqrt(n))
    outside.ci.nor = outside.ci.nor + 1
}

outside.ci.uni/N
outside.ci.nor/N

Для n = 10000 15% рівномірних середніх оцінок знаходились поза межами ІС.

Можна спробувати знайти медіану на основі групового розподілу частот, ось деякі деталі

Ось відповідь на запитання про stackoverflow: https://stackoverflow.com/questions/1058813/on-line-iterator-algorithms-for-estimating-statistic-median-mode-skewness/2144754#2144754

Ітераційне оновлення медіани + = eta * sgn (зразок - медіана) здається, що це може бути шлях.

Remedian Алгоритм (PDF) дає однопрохідну медіанну оцінку з низькими вимогами до зберігання і добре певною точністю.

Засіб з базою b протікає шляхом обчислення медіанів груп b спостережень, а потім медіанів цих медіанів, поки не залишиться лише одна оцінка. Цей метод просто потребує k масивів розміром b (де n = b ^ k) ...

Якщо значення, які ви використовуєте, знаходяться в певному діапазоні, скажімо, від 1 до 100000, ви можете ефективно обчислити медіану на надзвичайно великій кількості значень (скажімо, трильйони записів), з цілим відром (цей код взято з ліцензії BSD ea -utils / sam-stats.cpp)

class ibucket {
public:
    int tot;
    vector<int> dat;
    ibucket(int max) {dat.resize(max+1);tot=0;}
    int size() const {return tot;};

    int operator[] (int n) const {
        assert(n < size());
        int i;
        for (i=0;i<dat.size();++i) {
            if (n < dat[i]) {
                return i;
            }
            n-=dat[i];
        }
    }

    void push(int v) {
        assert(v<dat.size());
        ++dat[v];
        ++tot;
    }
};


template <class vtype>
double quantile(const vtype &vec, double p) {
        int l = vec.size();
        if (!l) return 0;
        double t = ((double)l-1)*p;
        int it = (int) t;
        int v=vec[it];
        if (t > (double)it) {
                return (v + (t-it) * (vec[it+1] - v));
        } else {
                return v;
        }
}