Чи не існує в статистиці теорії навчання проблема надмірного розміщення на тестовому наборі?

Розглянемо проблему класифікації набору даних MNIST.

Згідно з веб-сторінкою MNIST Янна Лекуна , "Ciresan та ін." отримали 0,23% помилок на тестовому наборі MNIST за допомогою Convolutional Neural Network.

Позначимо навчальний набір MNIST як , тестовий набір MNIST як D t e s t , остаточну гіпотезу, яку вони отримали, використовуючи D t r a i n як h 1 , та їх коефіцієнт помилок на тесті MNIST з використанням h 1 як E t e s t ( h 1 ) = 0,0023 .$D_{train}$$D_{test}$$D_{train}$$h_{1}$$h_{1}$$E_{test}(h_{1}) = 0.0023$

З їх точки зору, оскільки є вибірковою вибіркою тестового набору з вхідного простору незалежно від h 1 , вони можуть наполягати на тому, що виконання помилок у вибірці їх остаточної гіпотези E o u t ( h 1 ) обмежене наступним чином з нерівності Гоффдінга Р [ | E o u t ( h 1 ) - E t e s t ( h 1 ) | < ϵ | $D_{test}$$h_{1}$$E_{out}(h_{1})$ де N t e s t = | Д т е с т | .

$$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$$
$N_{test}=|D_{test}|$

Іншими словами, принаймні ймовірність , E o u t ( h 1 ) ≤ E t e s t ( h 1 ) + $1-\delta$

$$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$$

Розглянемо іншу точку зору. Припустимо, якась людина хоче добре класифікувати тестовий набір MNIST. Тож він вперше переглянув веб-сторінку MNIST Yann LeCun і виявив наступні результати, отримані іншими людьми за допомогою 8 різних моделей,

і вибрав свою модель яка найкраще описувалась на тестовому наборі MNIST серед 8 моделей.$g$

$g$$D_{test}$$H_{trained}=\{h_1, h_2, .. ,h_8\}$

$E_{test}(g)$

$$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$$

$1-\delta$

$$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$$

Цей результат означає, що на тестовому наборі може бути надмірний примір, якщо ми виберемо модель, яка найкраще працює серед кількох моделей.

$h_{1}$$E_{test}(h_{1}) = 0.0023$$h_{1}$$D_{test}$$h_{1}$

$$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$$

$$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$$ $$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$$

Говервер, очевидно, що ці дві нерівності несумісні.

Де я роблю неправильно? Який з них правильний, а хто - неправильний?

Якщо остання помилкова, то який правильний спосіб застосувати обмежену ВК для кінцевих наборів гіпотез у цьому випадку?

Серед цих двох нерівностей, я думаю, що пізніші помиляються. Коротше кажучи, що тут не так - це особистість$g=h_1$ враховуючи це $g$ є функцією тестових даних під час $h_1$ це модель, яка не залежить від даних тесту.

Фактично, $g$ є однією з 8 моделей в Росії $H_{trained} = \{ h_1, h_2,..., h_8 \}$ що найкраще прогнозує тестовий набір $D_{test}$.

Тому $g$ є функцією $D_{test}$. Для конкретного тестового набору,$D^*_{test}$ (на зразок тієї, яку ви згадали), це може статися так $g(D^*_{test}) = h_1$, але загалом, залежно від тестового набору, $g(D_{test})$ може прийняти будь-яке значення в $H_{trained}$. З іншої сторони$h_1$ - це лише одне значення в $H_{trained}$.

Для іншого питання:

Якщо остання помилкова, то який правильний спосіб застосувати обмежену ВК для кінцевих наборів гіпотез у цьому випадку?

Просто не замінюйте $g$ від $h_1$, ви отримаєте правильну межу (для $g$звичайно) і це не матиме конфлікту з іншими пов'язаними (що для $h_1$).