Як моделювати суму випадкових змінних Бернуллі для залежних даних?

У мене є майже такі самі питання, як це: Як я можу ефективно моделювати суму випадкових змінних Бернуллі?

Але налаштування зовсім інші:

1. $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0,1$P(X_{i}=1)=p_i$$N$$p_i$

2. У нас є дані для результатів випадкових змінних Бернуллі: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Якщо ми оцінимо з максимальною оцінкою ймовірності (і отримаємо ), вийде, що набагато більший, ніж очікується за іншими критеріями:$p_i$$\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Отже, і не можна трактувати як незалежні (вони мають малу залежність).$X_{i}$$X_{j}$ $(j>k)$

5. Є деякі такі обмеження: та (відомо), які повинні допомогти в оцінці .$p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

Як ми могли б спробувати моделювати суму випадкових величин Бернуллі в цьому випадку?

Яка література може бути корисною для вирішення поставленого завдання?

ОНОВЛЕНО

Є ще кілька ідей:

(1) Можна припустити, що невідома залежність між починається після 1 або більше послідовних успіхів. Отже, коли , і .${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

(2) Для використання MLE нам потрібна найменш сумнівна модель. Ось варіант:

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ якщо для будь-якого k якщо і , і для будь-якого k.$\sum_{i=1,k}{X_i} = 0$$P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Оскільки нас цікавить лише ми можемо встановити (ймовірність успіху для N- (k + 1) +1 відліків від хвоста). І використовувати параметризацію$P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Використовуйте MLE для моделі на основі параметрів і з для (і будь-якого ) та деяких інших власних обмежень .$p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

З цим планом все гаразд?

ОНОВЛЕНО 2

Деякі приклади емпіричного розподілу (червоний) порівняно з розподілом Пуассона (синій) (засоби Пуассона - 2,22 та 2,45, розміри вибірки - 332 та 259):$P\{S\}$

Для зразків (A1, A2) із засобами пуассона 2,28 та 2,51 (розміри зразків 303 та 249):

Для приєднаного samlpe A1 + A2 (розмір вибірки - 552):

Схоже, якась корекція до Пуассона повинна бути найкращою моделлю :).

Одним із підходів було б моделювання з узагальненою лінійною моделлю (GLM). Тут ви б сформулювали , ймовірність успіху на -му випробуванні як (логістична лінійна) функція недавньої історії спостережень. Отже, ви по суті підходите до авторегресивного GLM, де шум Bernoulli, а функція зв'язку - logit. Установка така:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , де

$f(x) = \frac{1}{1+\exp(x)}$ , і

$X_i \sim Bernoulli(p_i)$

Параметри моделі - , які можна оцінити за допомогою логістичної регресії. (Все, що вам потрібно зробити, - це налаштувати матрицю проектування, використовуючи відповідну частину історії спостережень на кожному випробуванні, і передати її в функцію оцінки логістичної регресії; вірогідність журналу увігнута, тому існує унікальний глобальний максимум для параметрів). Якщо результати дійсно є незалежними, то буде встановлено на нуль; Позитивний означає, що наступний збільшується кожного разу, коли спостерігається успіх.$\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

Модель НЕ забезпечує експресію простий для ймовірності над сумою з «с, але це легко обчислити з допомогою моделювання (фільтрації частинок або MCMC) , так як модель має просту марковскую структуру.$X_i$

Така модель з великим успіхом застосовується для моделювання тимчасових залежностей між "сплесками" нейронів у мозку, і існує велика література про авторегресивні точкові моделі процесу. Дивіться, наприклад, Truccolo et al 2005 (хоча цей документ використовує Пуассона замість вірогідності Бернуллі, але відображення від одного до іншого прямолінійне).

Якщо залежність пов'язана із скупченням, складна модель Пуассона може бути рішенням як модель . Дещо випадкове посилання - це Барбор і Кріссафіну.$S_j$

Зовсім в іншому напрямку, оскільки ви вказуєте, що дорівнює 20, і, отже, порівняно невеликий, могло б бути побудова графічної моделі , але я не знаю, чи можливі ваші налаштування та дані. Як @chl коментарі, це буде корисно, якщо ви опишете, що таке .$N$$X_{ij}$$X_{i,j}$

Якщо являють собою послідовні вимірювання, наприклад, з часом, і залежність пов'язана з цим, третя можливість - а для деякого розширення компромісу між двома наведеними вище пропозиціями - використовувати приховану модель Маркова «с.$X_{i,j}$$X_{i,j}$