Розуміння відсутності теореми про вільний обід у Класифікації класифікацій Дуда та ін

У мене є кілька питань по приводу позначень , використовуваних в розділі 9.2 Відсутності початкового переваги будь-якого класифікатора в Дуда, хартії і Лелека розпізнаванню . Спочатку дозвольте процитувати якийсь відповідний текст із книги:

• Для простоти розглянемо двокатегорійну задачу, де навчальний набір складається з шаблонів та пов'язаних з ними міток категорії y_i = ± 1 для i = 1, ..., n, породжених невідомою цільовою функцією, яку потрібно вивчити, F ( x) , де y_i = F (x ^ i) .$D$$x^i$$y_i = ± 1$$i = 1,..., n$$F(x)$$y_i = F(x^i)$
• Нехай $H$ позначає (дискретний) набір гіпотез або можливі набори параметрів, які слід вивчити. Конкретна гіпотеза $h(x) \in H$ може бути описана квантованими вагами в нейронній мережі, або параметрами 0 у функціональній моделі, або наборами рішень у дереві тощо.
• Крім того, $P(h)$ - це попередня ймовірність того, що алгоритм виробить гіпотезу $h$ після тренування; зауважимо, що це не ймовірність правильності $h$ .
• Далі, $P(h|D)$ позначає ймовірність того, що алгоритм дозволить отримати гіпотезу $h$ , коли на підготовку даних $D$ . У детермінованих алгоритмах навчання, таких як найближчий сусід та дерева рішень, $P(h|D)$ буде скрізь нульовим, крім однієї гіпотези $h$ . Для стохастичних методів (таких як нейронні мережі, навчені випадковим початковим вагою) або стохастичного навчання Больцмана, $P(h|D)$ може бути широким поширенням.
• Нехай $E$ - помилка для функції нульової або іншої втрати.

Очікувана помилка класифікації, встановленої поза навчанням, коли справжня функція $F(x)$ а ймовірність алгоритму навчання $k$ го кандидата $P_k(h(x)|D)$ задається

$$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$$

Теорема 9.1. (Без вільного обіду) Для будь-яких двох алгоритмів навчання $P_1 (h |D)$ та $P_2(h|D)$ справедливими є наступні положення, незалежно від розподілу вибірки $P(x)$ та кількості $n$ балів навчання:

1. Рівномірно усереднено для всіх цільових функцій ,E 1 ( E | F , n ) - E 2 ( E | F , n ) = $F$$\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

2. Для будь-якого фіксованого навчального набору , рівномірно усередненого , F E 1 ( E | F , D ) - E 2 ( E | F , D ) = $D$$F$$\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

Частина 1 насправді говорить

$$\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$$

Частина 2 насправді говорить

$$\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$$

Мої запитання є

1. У формулі , тобто можу я замінити на і перемістити його поза сумою , адже це дійсно розподіл над заданий для го стохастичного алгоритму навчання? E k (E | F,n)= ∑ x ∉ D P(x)$\mathcal{E}_k(E|F,n)$P k | Г ) П $$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$$ $P_k(h(x)|D)$∑ x ∉ D h H $P_k(h|D)$$\sum_{x \notin D}$$h$$H$$D$$k$
2. Враховуючи, що алгоритм навчання го кандидата є стохастичним методом, чому у формулі немає суми понад , тобто ?E k ( E | F , n ) h ∑ h $k$$\mathcal{E}_k(E|F,n)$$h$$\sum_{h \in H}$

3. Чим та відрізняються один від одного? E i (E | F$\mathcal{E}_i (E|F, D)$$\mathcal{E}_i (E|F, n)$

   Чи означає коефіцієнт помилки поза тренуванням, заданий навчальним набором ?$\mathcal{E}_i (E|F, D)$$D$

   Чи означає коефіцієнт помилки поза тренуванням, середній за весь набір тренувань із заданим розміром тренувань ? Якщо так, то чому частина 1 в теоремі NFL середня за навчальними наборами знову, записавши , і чому у формулі для , немає середнього показника для всіх навчальних наборів з урахуванням розміру тренувань ?n$\mathcal{E}_i (E|F, n)$$n$∑ D E k ( E | F , n $\mathcal{E}_i (E|F, n)$$\sum_D$$\mathcal{E}_k(E|F,n)$$n$

4. У частині 1 теореми про NFL чи означає підсумовування всіх навчальних наборів із фіксованим розміром тренувань ?$\sum_D$$n$
5. Якщо подальше підсумовування всіх можливих значень у навчального розміру у частині 1, результат все одно дорівнює 0, правда?$\mathbb{N}$$n$
6. У формулі , якщо я зміню на , тобто не обов'язково має бути поза навчальним набором, обидві частини будуть Теорема про NFL все ще є правдою? ∑ x ∉ D ∑ $\mathcal{E}_k(E|F,n)$$\sum_{x \notin D}$$\sum_x$$x$
7. Якщо справжнє відношення між і не вважається детермінованою функцією як , а натомість умовними розподілами , або спільним розподілом що еквівалентно знаючи і (також дивіться моє інше запитання ), то я можу змінити на (зі дивним вказано в частині 1 та 2). Чи все ще дві частини теореми про НФЛ вірні?y F y = F ( x ) P ( y | x ) P ( x , y ) P ( y | x ) P ( x ) E k ( E | F , n ) E k ( E | P ( x , y ) , n ) = $x$$y$$F$$y=F(x)$$P(y|x)$$P(x,y)$$P(y|x)$$P(x)$$\mathcal{E}_k (E|F,n)$P k ( h ( x ) | D $$\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$$ $P_k(h(x)|D)$

Дякую та з повагою!

Я відповім на запитання, на які, думаю, знаю відповіді.

1. Ця відповідь ні, тому що ви вибираєте який не входив до встановленого набору і тому залежить від .$x$$D$$h$$x$
2. $h$ оцінюється лише при значеннях у тестовому наборі, щоб отримати очікуваний коефіцієнт помилок, тому він не оцінюється протягом усього набору а лише для дискретного набору у тестовому наборі.$x$$H$$x$
3. FD E i (E | F,n)n$\mathcal{E}_i(E|F, D)$ є очікуваним від частоти помилок навчання набору заданої функції і навчальну множину . Але Я думаю, що це інакше, оскільки ви обумовлюєте лише кількість навчальних балів а не фактичні значення . Але це дивно, враховуючи наступні твердження.$F$$D$$\mathcal{E}_i(E|F, n)$$n$$x$
4. n D n D $D$ - сукупність навчальних векторів. Є навчання вектори . Таким чином , ви підсумовування по фіксованому навчання векторів в . Існує тільки один набір .$n$$D$$n$$D$$D$
5. Я думаю, що відповідь на 5 - ні. Позначення здається трохи заплутаним.

Не можу коментувати 6 та 7.