Який розподіл кардинальності перетину незалежних випадкових вибірок без заміни?

$S$ - деякий набір з елементами , а закріплені додатні цілі числа, менші або рівні . $n\in\mathbb{N}$ $a_1,a_2,...,a_m$ $n$

Оскільки елементи однаково вірогідні, зразки окремо і незалежно витягуються з без заміни, розміри яких відповідно становлять . $S$ $m$ $L_1, L_2,...,L_m$ $S$ $a_1,a_2,...,a_m$

Можливість перетину зразківмає, як правило, підтримку, рівну , але для якого розподілу це слід? $\left|L_1\cap L_2\cap\ ...\ \cap L_m\right|$ $\{0,1,...,\min\{a_1,a_2,...,a_m\}\}$

combinatorics

— Прохолодна вода
джерело

Я можу надати вам рецепт для його обчислення рекурсивно, але я не знаю про рішення закритої форми.

достатньо, чи ви хочете, щоб явне вираження функції розподілу було задано

a_{1}, \dots, a_{m}

$a_1, \dots, a_m$ та

n

$n$ ?

— Bridgeburners

@Bridgeburners Рецепт був би непоганим, принаймні, він містив би якийсь метод / спосіб атаки на цю проблему та пов'язані з цим.

— llrs

Відповіді:

Ось ще один підхід, який не передбачає рекурсії. Він все ще використовує суми та продукти, довжина яких залежить від параметрів. Спочатку я дам вираз, потім поясню.

У нас є

\begin{aligned} P & (| L_{1} \cap L_{2} \cap \dots \cap L_{m} | = k) \\ = \frac{(\binom{n}{k})}{\prod_{i = 1}^{n} (\binom{n}{a_{i}})} \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) . \end{aligned}

$\begin{align} P &\bigl( | L_{1} \cap L_{2} \cap \cdots \cap L_{m} | = k \bigr) \\ &= \frac{\binom{n}{k}}{\prod_{i = 1}^{n} \binom{n}{a_{i}}} \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} -j - k}. \end{align}$

EDIT: Наприкінці написання всього цього я зрозумів, що ми можемо трохи закріпити вираз вище, поєднавши біноміальні коефіцієнти в гіпергеометричні ймовірності та тричленні коефіцієнти. Для чого це варто, переглянутий вираз - Тут - гіпергеометрична випадкова величина, де малюнки беруться з сукупності розміру має стану успіху.

\sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n}{j, k, n - j - k}) \prod_{l = 1}^{n} P (Hyp (n, j + k, a_{l}) = j + k) .

$\begin{equation} \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n}{j, k, n - j - k} \prod_{l = 1}^{n} P( \text{Hyp}(n, j + k, a_{l}) = j + k). \end{equation}$

Hyp (n, j + k, a_{l})

$\text{Hyp}(n, j + k, a_{l})$

a_{l}

$a_{l}$

n

$n$

j + k

$j + k$

Виведення

Давайте знайдемо позначення для того, щоб зробити комбінаторні аргументи трохи простішими (сподіваємось). Протягом усього часу ми вважаємо та фіксованими. Ми будемо використовувати для позначення колекції упорядкованих пар , де кожен , що задовольняє $S$ $a_{1}, \ldots, a_{m}$ $\mathcal{C}(I)$ $m$ $(L_{1}, \ldots, L_{m})$ $L_{i} \subseteq S$

$|L_{i}| = a_{i}$ ; і
$L_{1} \cap \cdots \cap L_{m} = I$ .

Ми також будемо використовувати для ідентичної колекції, за винятком того, що нам потрібно рівність замість рівності. $\mathcal{C}'(I)$ $L_{1} \cap \cdots \cap L_{m} \supseteq I$

Ключовим зауваженням є те, що підрахувати порівняно легко. Це тому, що умова еквівалентна для всіх , тому в певному сенсі це видаляє взаємодії між різними значеннями . Для кожного число задовольняє вимозі, є , оскільки ми можемо побудувати такий , вибравши підмножину розміруа потім unioning з . З цього випливає $\mathcal{C}'(I)$ $L_{1} \cap \cdots \cap L_{m} \supseteq I$ $L_{i} \supseteq I$ $i$ $i$ $i$ $L_{i}$ $\binom{|S| - |I|}{a_{i} - |I|}$ $L_{i}$ $S \setminus I$ $a_{i} - |I|$ $I$

| C^{'} (I) | = \prod_{i = 1}^{n} (\binom{| S | - | I |}{a_{i} - | I |}) .

$\begin{equation} | \mathcal{C}'(I) | = \prod_{i = 1}^{n} \binom{|S| - |I|}{a_{i} - |I|}. \end{equation}$

Тепер нашу первісну ймовірність можна виразити через так: $\mathcal{C}$

P (| L_{1} \cap L_{2} \cap \dots \cap L_{m} | = k) = \frac{\sum_{I : | I | = k} | C (I) |}{\sum_{all I \subseteq S} | C (I) |} .

$\begin{equation} P \bigl( | L_{1} \cap L_{2} \cap \cdots \cap L_{m} | = k \bigr) = \frac{ \sum_{I : |I| = k} | \mathcal{C}(I) | } { \sum_{\text{all $I \subseteq S$}} | \mathcal{C}(I) | }. \end{equation}$

Тут ми можемо зробити два спрощення. По-перше, знаменник такий самий, як По-друге, аргумент перестановки показує, щозалежить лише від через кардинальність. Оскільки є підмножини мають кардинальність , то випливає, що де - довільна, фіксована підмножина має кардинальність

| C^{'} (\emptyset) | = \prod_{i = 1}^{n} (\binom{| S |}{a_{i}}) = \prod_{i = 1}^{n} (\binom{n}{a_{i}}) .

$\begin{equation} | \mathcal{C}'(\emptyset) | = \prod_{i = 1}^{n} \binom{|S|}{a_{i}} = \prod_{i = 1}^{n} \binom{n}{a_{i}}. \end{equation}$

| C (I) |

$| \mathcal{C}(I) |$

I

$I$

| I |

$|I|$

(\binom{n}{k})

$\binom{n}{k}$

S

$S$

k

$k$

\sum_{I : | I | = k} | C (I) | = (\binom{n}{k}) | C (I_{0}) |,

$\begin{equation} \sum_{I : |I| = k} | \mathcal{C}(I) | = \binom{n}{k} | \mathcal{C}(I_{0}) |, \end{equation}$

I_{0}

$I_{0}$

S

$S$

k

$k$ .

Зробивши крок назад, ми тепер звели проблему до того, щоб показати, що

| C (I_{0}) | = \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) .

$\begin{equation} | \mathcal{C}(I_{0}) | = \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k}. \end{equation}$

Нехай - окремі підмножини утворені шляхом додавання в рівно одного елемента . Тоді (Це просто говорить про те, що якщо , то містить але також не містить жодного додаткового елемента.) Тепер ми перетворили -нарахування проблеми в -нарахування проблеми, з яким ми знаємо більше, як впоратися. Більш конкретно, у нас є $J_{1}, \ldots, J_{n - k}$ $S$ $I_{0}$

C (I_{0}) = C^{'} (I_{0}) ∖ (⋃_{i = 1}^{n - k} C^{'} (J_{i})) .

$\begin{equation} \mathcal{C}(I_{0}) = \mathcal{C}'(I_{0}) \setminus \biggl( \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr). \end{equation}$

L_{1} \cap \dots \cap L_{m} = I_{0}

$L_{1} \cap \cdots \cap L_{m} = I_{0}$

L_{1} \cap \dots \cap L_{m}

$L_{1} \cap \cdots \cap L_{m}$

I_{0}

$I_{0}$

C

$\mathcal{C}$

C^{'}

$\mathcal{C}'$

| C (I_{0}) | = | C^{'} (I_{0}) | - | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | = \prod_{l = 1}^{n} (\binom{n - k}{a_{l} - k}) - | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | .

$\begin{equation} | \mathcal{C}(I_{0}) | = | \mathcal{C}'(I_{0}) | - \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr| = \prod_{l = 1}^{n} \binom{n - k}{a_{l} - k} - \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr|. \end{equation}$

Ми можемо застосувати включення-виключення, щоб обробити розмір висловлення об'єднання вище. Вирішальне значення тут полягає в тому, що для будь-якого непустого , Це тому, що якщо містить номер , то він також містить їх об'єднання. Також зазначимо, що множина має розмір. Тому $\mathcal{I} \subseteq \{ 1, \ldots, n - k \}$

⋂_{i \in I} C^{'} (J_{i}) = C^{'} (⋃_{i \in I} J_{i}) .

$\begin{equation} \bigcap_{i \in \mathcal{I}} \mathcal{C}'(J_{i}) = \mathcal{C}' \biggl( \bigcup_{i \in \mathcal{I}} J_{i} \biggr). \end{equation}$

L_{1} \cap \dots \cap L_{m}

$L_{1} \cap \cdots \cap L_{m}$

J_{i}

$J_{i}$

⋃_{i \in I} J_{i}

$\bigcup_{i \in \mathcal{I}} J_{i}$

| I_{0} | + | I | = k + | I |

$|I_{0}| + |\mathcal{I}| = k + |\mathcal{I}|$

\begin{aligned} | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | & = \sum_{\emptyset \neq I \subseteq {1, \dots, n - k}} (- 1)^{| I | - 1} | ⋂_{i \in I} C^{'} (J_{i}) | \\ = \sum_{j = 1}^{n - k} \sum_{I : | I | = j} (- 1)^{j - 1} \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) \\ = \sum_{j = 1}^{n - k} (- 1)^{j - 1} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) . \end{aligned}

$\begin{align} \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr| &= \sum_{\emptyset \neq \mathcal{I} \subseteq \{ 1, \ldots, n - k \}} (-1)^{| \mathcal{I} | - 1} \biggl| \bigcap_{i \in \mathcal{I}} \mathcal{C}'(J_{i}) \biggr| \\ &= \sum_{j = 1}^{n - k} \sum_{\mathcal{I} : |\mathcal{I}| = j} (-1)^{j - 1} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k} \\ &= \sum_{j = 1}^{n - k} (-1)^{j - 1} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k}. \end{align}$ (Ми можемо обмежити значення тут, оскільки добуток біноміальних коефіцієнтів дорівнює нулю, якщо для всіх , тобто .)

j

$j$

j \leq a_{l} - k

$j \leq a_{l} - k$

l

$l$

j \leq min (a_{1}, \dots, a_{m}) - k

$j \leq \min(a_{1}, \ldots, a_{m}) - k$

Нарешті, замінивши вираз у кінці в рівняння длявище та закріпивши суму, отримаємо як заявлено. $| \mathcal{C}(I_{0}) |$

| C (I_{0}) | = \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k})

$\begin{equation} | \mathcal{C}(I_{0}) | = \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k} \end{equation}$

— Джейсон
джерело

+1 за всі зусилля та рішення, але мені потрібно відшліфувати математику, щоб зрозуміти більшість цього (та іншу відповідь). Спасибі

— llrs

Я не знаю аналітичного способу вирішення цього питання, але ось рекурсивний спосіб обчислення результату.

Для ви вибираєте компонувати елементи з з яких були обрані раніше. Імовірність вибору елементів які перетинаються з у вашому другому малюнку, задається гіпергеометричним розподілом: $m=2$ $a_2$ $n,$ $a_1$ $k \le \min\{a_1,a_2\}$ $L_1$

P (k ∣ n, a_{1}, a_{2}) = \frac{(\binom{a_{1}}{k}) (\binom{n - a_{1}}{a_{2} - k})}{(\binom{n}{a_{2}})} .

$P(k \mid n, a_1, a_2) = \frac{ {a_1 \choose k} {n - a_1 \choose a_2 - k} } {n \choose a_2}.$

Ми можемо назвати результатМи можемо використовувати ту саму логіку, щоб знайти де - це кардинальність перетину трьох зразків. Тоді, $b_2.$ $P(b_3 = k \mid n, b_2, a_3),$ $b_3$

P (b_{3} = k) = \sum_{l = 0}^{min (a_{1}, a_{2})} P (b_{3} = k ∣ n, b_{2} = l, a_{3}) P (b_{2} = l ∣ n, a_{1}, a_{2}) .

$P(b_3=k) = \sum_{l=0}^{\min(a_1,a_2)} P(b_3=k \mid n, b_2=l, a_3) P(b_2 =l \mid n, a_1, a_2).$

Знайдіть це для кожного . Останній обчислення не є чисельно складним, тому що просто результат попереднього обчислення, а - виклик гіпергеометричний розподіл. $k \in \{0, 1, 2, \dots, \min(a_1,a_2,a_3)\}$ $P(b_2 = l \mid n, a_1, a_2)$ $P(b_3 = k \mid n, b_2=l, a_3)$

Загалом, для пошуку можна застосувати такі рекурсивні формули: для і що означає, що $P(b_m)$

P (b_{i} = k) = \sum_{l = 0}^{min (a_{1}, a_{2}, \dots, a_{i - 1})} P (b_{i} = k ∣ n, b_{i - 1} = l, a_{i}) P (b_{i - 1} = l),

$P(b_i=k) = \sum_{l=0}^{\min(a_1, a_2, \dots, a_{i-1})} P(b_i = k \mid n, b_{i-1}=l, a_i) P(b_{i-1}=l),$

P (b_{i} = k ∣ n, b_{i - 1} = l, a_{i}) = \frac{(\binom{l}{k}) (\binom{n - l}{a_{i} - k})}{(\binom{n}{a_{i}})},

$P(b_i = k \mid n, b_{i-1}=l, a_i) = \frac{{l \choose k} {n-l \choose a_i - k}} {n \choose a_i},$

i \in {2, 3, \dots, m},

$i \in \{2, 3, \dots, m\},$

P (b_{1}) = δ_{a_{1} b_{1}},

$P(b_1) = \delta_{a_1 b_1},$

b_{1} = a_{1} .

$b_1 = a_1.$

Ось це в R:

hypergeom <- function(k, n, K, N) choose(K, k) * choose(N-K, n-k) / choose(N, n)

#recursive function for getting P(b_i) given P(b_{i-1})
PNext <- function(n, PPrev, ai, upperBound) {
  l <- seq(0, upperBound, by=1)
  newUpperBound <- min(ai, upperBound)
  kVals <- seq(0, newUpperBound, by=1)
  PConditional <- lapply(kVals, function(k) {
    hypergeom(k, ai, l, n)
  })
  PMarginal <- unlist(lapply(PConditional, function(p) sum(p * PPrev) ))
  PMarginal
}

#loop for solving P(b_m)
P <- function(n, A, m) {
  P1 <- c(rep(0, A[1]), 1)
  if (m==1) {
    return(P1)
  } else {
    upperBound <- A[1]
    P <- P1
    for (i in 2:m) {
      P <- PNext(n, P, A[i], upperBound)
      upperBound <- min(A[i], upperBound)
    }
    return(P)
  }
}

#Example
n <- 10
m <- 5
A <- sample(4:8, m, replace=TRUE)
#[1] 6 8 8 8 5

round(P(n, A, m), 4)
#[1] 0.1106 0.3865 0.3716 0.1191 0.0119 0.0003
#These are the probabilities ordered from 0 to 5, which is the minimum of A

— Бриджберс
джерело

Дякуємо за ваше рішення та ваш код. Я чекаю на інші підходи до відповідей (якщо вони прийдуть), перш ніж присудити суму.

— llrs