Хтось вирішив вправу PTLOS 4.1?

Ця вправа дається в теорії ймовірностей: Логіка науки Едвін Джейнс, 2003. Існує часткове рішення тут . Я розробив більш загальне часткове рішення і цікавився, чи хтось ще його вирішив. Я трохи зачекаю, перш ніж опублікувати свою відповідь, щоб дати зрозуміти іншим.

Добре, тож припустимо, що у нас є $n$ взаємно виключаючих і вичерпних гіпотез, позначених $H_i \;\;(i=1,\dots,n)$ . Далі припустимощо ми маємо$m$ наборів даних, які охоплюють$D_j \;\;(j=1,\dots,m)$ . Коефіцієнт ймовірності для i-ї гіпотези задається:

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

Зауважимо, що це умовні ймовірності. Тепер припустимо , що , з огляду на Ith гіпотезу набори даних є незалежними, так що ми маємо:$H_{i}$$m$

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

Тепер було б досить зручно, якби в цьому випадку знаменник також врахував, щоб ми мали:

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

Тому що в цьому випадку коефіцієнт ймовірності розділиться на добуток менших факторів для кожного набору даних, так що ми маємо:

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

Отже, у цьому випадку кожен набір даних буде "голосувати за " або "голосувати проти " незалежно від будь-якого іншого набору даних.$H_i$$H_i$

Вправа полягає в тому, щоб довести, що якщо (більше ніж дві гіпотези), не існує такого нетривіального способу, в якому може відбутися цей факторинг. Тобто, якщо припустити, що умова 1 та умова 2 виконані, то максимум один із факторів: відрізняється від 1, тому лише 1 набір даних буде сприяти співвідношенню ймовірності.P ( D 1 | H i$n>2$

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$

Я особисто вважав цей результат досить захоплюючим, оскільки він в основному показує, що тестування множинних гіпотез - це не що інше, як ряд тестів бінарних гіпотез.

Причина, яку ми прийняли екв. 4.28 (у книзі, ваша умова 1) було те, що ми припустили, що ймовірність даних, що даються певною гіпотезою а довідкова інформація X є незалежною, іншими словами, для будь-яких D i і D j з i ≠ j :$H_a$$X$$D_i$$D_j$$i\neq{j}$

Отже, нерозширюваність поза бінарним випадком може бути обговорена так: Якщо вважати, що рівняння 1 є істинним, чи справедливо також рівняння 2?

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$

Спочатку давайте розглянемо ліву частину рівняння 2, використовуючи правило множення:

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$

Оскільки n гіпотез { H 1 … H n } приймаються взаємно виключаючими та вичерпними, ми можемо записати: ¯ H a = ∑ b ≠ a H b Тож eq.3 стає: P ( D i | D j ¯ H a X ) = ∑ b ≠ a P ( D i | D j H b X )

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ $n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ У випадку, коли у нас є лише дві гіпотези, підсумки видаляються (оскільки існує лише однаb≠a), рівних доданків у номінаторі та знаменникуP(DjHb|X), відмінимо і рівняння 2 доведено правильним, оскількиHb=¯ H a . Тому рівняння 4.29 можна отримати з рівняння 4.28 у книзі. Але коли у нас більше двох гіпотез, цього не відбувається, наприклад, якщо у нас є три гіпотези: $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ рівняння вище стає: P ( D i | D j ¯ H 1 X ) = P ( D i | H 2 X ) P ( D j H 2 | X ) + P ( D i | H 3 X ) P ( D j H 3 $\{H_1, H_2, H_3\}$ Іншими словами: P(Di|Dj ¯ H 1 X)=P(Di|H2X $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ Єдиний спосіб, коли це рівняння може отримати рівняння 2, - це те, що обидва знаменники дорівнюють 1, тобто обидва дроби в знаменниках повинні дорівнювати нулю. Але це неможливо. $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

Гаразд, тож замість того, щоб піти і вивести рівняння Саундэра (5), я просто зазначу це тут. Умови 1 і 2 означають таку рівність:

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ where $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

Now we can specialise to the case $m=2$ (two data sets) by taking $D_{1}^{(1)}\equiv D_{1}$ and relabeling $D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$. Note that these two data sets still satisfy conditions 1 and 2, so the result above applies to them as well. Now expanding in the case $m=2$ we get:

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

The term $(d_{1a}-d_{1b})$ occurs twice in the above double summation, once when $k=a$ and $l=b$, and once again when $k=b$ and $l=a$. This will occur as long as $a,b\neq i$. The coefficient of each term is given by $d_{2b}$ and $-d_{2a}$. Now because there are $i$ of these equations, we can actually remove $i$ from these equations. To illustrate, take $i=1$, now this means we have all conditions except where $a=1,b=2$ and $b=1,a=2$. Now take $i=3$, and we now can have these two conditions (note this assumes at least three hypothesis). So the equation can be re-written as:

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Now each of the $h_i$ terms must be greater than zero, for otherwise we are dealing with $n_{1}<n$ hypothesis, and the answer can be reformulated in terms of $n_{1}$. So these can be removed from the above set of conditions:

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Thus, there are $\frac{n(n-1)}{2}$ conditions that must be satisfied, and each conditions implies one of two "sub-conditions": that $d_{jk}=d_{jl}$ for either $j=1$ or $j=2$ (but not necessarily both). Now we have a set of all of the unique pairs $(k,l)$ for $d_{jk}=d_{jl}$. If we were to take $n-1$ of these pairs for one of the $j$, then we would have all the numbers $1,\dots,n$ in the set, and $d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$. This is because the first pair has $2$ elements, and each additional pair brings at least one additional element to the set*

But note that because there are $\frac{n(n-1)}{2}$ conditions, we must choose at least the smallest integer greater than or equal to $\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$ for one of the $j=1$ or $j=2$. If $n>4$ then the number of terms chosen is greater than $n-1$. If $n=4$ or $n=3$ then we must choose exactly $n-1$ terms. This implies that $d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$. Only with two hypothesis ($n=2$) is where this does not occur. But from the last equation in Saunder's article this equality condition implies:

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

Thus, in the likelihood ratio we have:

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

To complete the proof, note that if the second condition holds, the result is already proved, and only one ratio can be different from 1. If the first condition holds, then we can repeat the above analysis by relabeling $D_{1}^{(2)}\equiv D_{2}$ and $D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$. Then we would have $D_{1},D_{2}$ not contributing, or $D_{2}$ being the only contributor. We would then have a third relabeling when $D_{1}D_{2}$ not contributing holds, and so on. Thus, only one data set can contribute to the likelihood ratio when condition 1 and condition 2 hold, and there are more than two hypothesis.

*NOTE: An additional pair might bring no new terms, but this would be offset by a pair which brought 2 new terms. e.g. take $d_{j1}=d_{j2}$ as first[+2], $d_{j1}=d_{j3}$ [+1] and $d_{j2}=d_{j3}$ [+0], but next term must have $d_{jk}=d_{jl}$ for both $k,l\notin (1,2,3)$. This will add two terms [+2]. If $n=4$ then we don't need to choose any more, but for the "other" $j$ we must choose the 3 pairs which are not $(1,2),(2,3),(1,3)$. These are $(1,4),(2,4),(3,4)$ and thus the equality holds, because all numbers $(1,2,3,4)$ are in the set.

For the record, here is a somewhat more extensive proof. It also contains some background information. Maybe this is helpful for others studying the topic.

The main idea of the proof is to show that Jaynes' conditions 1 and 2 imply that

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ for all but one data set $m_k=1,\ldots,m$. It then shows that for all these data sets, we also have $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ Thus we have for all but one data set, $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ The reason that I wanted to include the proof here is that some of the steps involved are not at all obvious, and one needs to take care not to use anything else than conditions 1 and 2 and the product rule (as many of the other proofs implicitly do). The link above includes all these steps in detail. It is on my Google Drive and I will make sure it stays accessible.