Правильна межа PAC навчання VC

Добре відомо, що для концептуального класу $\mathcal{C}$ з розмірністю VC $d$ достатньо отримати $O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$мічені приклади до PAC дізнатися$\mathcal{C}$. Мені незрозуміло, чи алгоритм навчання PAC (який використовує ці багато зразків) є правильним чи неправильним? У підручниках Кірнса і Вазірані, а також Ентоні і Біггса здається, що алгоритм навчання PAC є неправильним (тобто, вихідна гіпотеза не лежить в$\mathcal{C}$)

1. Чи може хтось уточнити, чи відповідає аналогічна верхня межа для правильної настройки навчання PAC? Якщо так, чи не могли б ви дати мені посилання, де це прямо вказано, а також містить самодостатнє підтвердження?

2. Нещодавно Hanneke покращив цю межу, позбувшись фактора $\log(1/\varepsilon)$ . Чи може хтось уточнити, чи відомо, що $\log(1/\varepsilon)$ є знімним для правильної настройки навчання PAC? Або це все ще відкрите питання?

Дякую Ар'є за те, що донесли до мене це питання.

Як уже згадували інші, відповідь на (1) - « Так» , а простий метод мінімізації емпіричного ризику в $\mathcal{C}$ досягає складності вибірки $O((d/\varepsilon)\log(1/\varepsilon))$ (див. Вапник та Червоненкіс, 1974; Блюмер, Еренфехт, Хауслер і Вармут, 1989).

Що стосується (2), то насправді відомо, що існують простори $\mathcal{C}$ де жоден правильний алгоритм навчання не досягає кращої складності вибірки $\Omega((d/\varepsilon)\log(1/\varepsilon))$ , а отже, правильне навчання не може досягти оптимального $O(d/\varepsilon)$ складність вибірки. Наскільки мені відомо, цей факт насправді ніколи не публікувався, але він укорінений у спорідненому аргументі Даніелі та Шалев-Шварца (COLT 2014) (спочатку сформульований для іншого, але пов'язаного з цим питання в навчанні на багатокласовій основі).

Розглянемо простий випадок $d=1$ , і покласти простір $\mathcal{X}$ , як $\{1,2,...,1/\varepsilon\}$ , а $\mathcal{C}$ є одинаковими $f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$ : тобто кожен класифікатор в $\mathcal{C}$ класифікує рівно одну точку від $\mathcal{X}$ як $1$ а інші як $0$. Для нижньої межі візьміть цільову функцію як випадковий сингтон $f_{x^*}$ , де $x^{*} \sim {\rm Uniform}(\mathcal{X})$ , а $P$ , граничний розподіл $X$ , рівномірний для $\mathcal{X}\setminus\{x^*\}$ . Тепер учень ніколи не бачить жодних прикладів з позначкою $1$ , але він повинен вибрати точку $z$ щоб здогадатися, що вона позначена $1$ (важливо, що функція `` нуль '' не знаходиться в $\mathcal{C}$, Так що будь-який правильний учень повинен здогадатися , який $z$ ), і , поки він не бачив кожну точку в $\mathcal{X}\setminus\{x^*\}$ має принаймні $1/2$ шанс вгадати неправильно (тобто, задня ймовірність його $f_z$ , має $z \neq x^*$ складає щонайменше $1/2$ ). Аргумент збирача купонів означає, що він вимагатиме $\Omega((1/\varepsilon)\log(1/\varepsilon))$зразки, щоб побачити кожну точку в $\mathcal{X} \setminus \{x^*\}$ . Таким чином, це доводить нижню межу $\Omega((1/\varepsilon)\log(1/\varepsilon))$ для всіх належних учнів.

Для загального $d>1$ , ми візьмемо $\mathcal{X}$ як $\{1,2,...,d/(4\varepsilon)\}$ , візьміть $\mathcal{C}$ як класифікатори $\mathbb{I}_{A}$ для множини $A \subset \mathcal{X}$ розміром точно $d$ , виберіть цільову функцію навмання від $\mathcal{C}$ і знову прийміть $P$ як рівномірний лише в точках, на які цільова функція класифікує $0$ ( тому учень ніколи не бачить крапки з позначкою $1$). Тоді узагальнення аргументу збирача купонів означає, що нам потрібні зразки $\Omega((d/\varepsilon)\log(1/\varepsilon))$ щоб побачити принаймні $|\mathcal{X}| - 2d$ різних точок з $\mathcal{X}$ , і не бачачи це багато різних точок будь-який власний учень має принаймні $1/3$ шанс отримати більше , ніж $d/4$ його здогад $A$ з $d$ точок неправильно в його вибрали гіпотези $h_{A}$, тобто його коефіцієнт помилок перевищує $\varepsilon$ . Отже, у цьому випадку не існує належного учня зі складністю вибірки, меншою за $\Omega((d/\varepsilon)\log(1/\varepsilon))$ , а це означає, що належний учень не досягає оптимальної складності вибірки $O(d/\varepsilon)$ .

Зверніть увагу , що результат цілком специфічний для простору $\mathcal{C}$ побудовано. Існують простори $\mathcal{C}$ де належні учні можуть домогтися оптимальної складності вибірки $O(d/\varepsilon)$ , і навіть навіть точного повного вираження $O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$ з ( Hanneke, 2016a). Деякі верхні та нижні межі для загальних студентів, що навчаються в ERM, були розроблені в (Hanneke, 2016b), кількісно визначені з точки зору властивостей простору $\mathcal{C}$, а також обговорення деяких більш спеціалізованих випадків, коли конкретні належні учні іноді можуть досягти оптимальної складності вибірки.

Список літератури:

Вапник і Червоненкіс (1974). Теорія розпізнавання візерунків. Наука, Москва, 1974.

Блюмер, Еренфехт, Хауслер і Вармут (1989). Навчання та вимір Вапніка-Червоненкіса. Журнал Асоціації обчислювальної техніки, 36 (4): 929–965.

Даніелі та Шалев-Шварц (2014). Оптимальні курси для багатокласових проблем. У працях 27-ї конференції з теорії навчання.

Hanneke (2016a). Оптимальна складність вибірки навчання PAC. Journal of Machine Learning Research, Vol. 17 (38), стор 1-15.

Hanneke (2016b). Уточнені межі помилок для кількох алгоритмів навчання. Journal of Machine Learning Research, Vol. 17 (135), стор 1-55.

Ваші запитання (1) та (2) пов'язані. По-перше, поговоримо про правильне навчання PAC. Відомо, що є належні слухачі ПКС, які досягають нульової помилки вибірки, але все ж вимагають приклади. Для простого доказуϵзалежності розглянемо клас понять інтервалів[a,b]⊆[0,1]при рівномірному розподілі. Якщо ми обираємонайменшийпослідовний інтервал, ми дійсно отримуємо вибірку складностіO(1/ϵ). Припустимо, однак, ми вибираємонайбільшийпослідовний інтервал, а цільовою концепцією є точковий інтервал, такий як[0,0$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$. Тоді простий аргумент збору талонів показує, що якщо ми не отримаємо приблизно Приклади, нас обдурить проміжок між негативними прикладами (єдиний вид, який ми побачимо) - який має характерну поведінку1/[розмір вибірки] при рівномірному розподілі. Більш загальні нижні межі цього типу наведені в$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

П. Ауер, Р. Ортнер. Новий PAC призначений для закритих перехрестям концепційних класів. Машинне навчання 66 (2-3): 151-163 (2007) http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

Справа в належному PAC полягає в тому, що для позитивних результатів в абстрактному випадку не можна вказувати алгоритм поза ERM, який говорить "знайти концепцію, відповідну міченому зразку". Якщо у вас є додаткова структура, наприклад інтервали, ви можете вивчити два різні алгоритми ERM, як зазначено вище: мінімальний проти максимально послідовного сегмента. І вони мають різну складність вибірки!

Сила неналежного ПКС полягає в тому, що ви отримуєте розробку різних схем голосування (Hanneke's такий результат) - і ця додаткова структура дозволяє вам довести кращі показники. (Історія простіша для агностичного PAC, де ERM дає вам найкращий найгірший показник, аж до констант.)

Редагувати. Зараз мені здається, що стратегія прогнозування графіків на 1 включення Д. Гаусслера, Н. Літтлстоун, М. К. Вармута. Прогнозування {0,1} -Функції на випадково накреслених точках. Інф. Обчислення. 115 (2): 248-292 (1994), можливо, є природним кандидатом на універсальний власний PAC.$O(d/\epsilon)$

Щоб додати до прийнятої відповіді:

1. Так. верхня межа складності вибірки також належна для правильного навчання PAC(хоча важливо зазначити, що це може не призвести до обчислювально ефективного алгоритму навчання. Це нормально, оскільки, якщоNP=RPневідомо, що деякі класи є не ефективно належне засвоєння ПКС (див. напр., теорема 1.3 у книзі «Кірнс-Вазірані», яку ви згадуєте). Насправді це показано в книзі Кірнс-Вазірані (теорема 3.3), такLіснує постійна гіпотеза шукача з класом гіпотезиH=C. Див. Також [1].

   $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. Невідомо. Алгоритм Ханнеке [2] - це неправильний алгоритм навчання. Чи може цей додатковий коефіцієнт у складності вибірки зняти для належного вивчення PAC (теоретично інформація, тобто відміна будь-яких вимог до обчислювальної ефективності) , залишається відкритим питанням. Ср. відкриті питання наприкінці [3]:$\log(1/\varepsilon)$

   Класично, досі залишається відкритим питання, чи потрібен фактор у верхній межі [1] для ( ε , δ ) -профільного навчання PAC.$\log(1/\varepsilon)$$(\varepsilon, \delta)$

   (Зноска 1 у цьому ж документі також є актуальною)

[1] А. Блюмер, А. Еренфюхт, Д. Гауслер та М. К. Вармут. Навчання та вимір Вапніка-Червоненкіса. Журнал АСМ, 36 (4): 929–965, 1989.

[2] С. Ханнеке. Оптимальна складність вибірки навчання PAC. Дж. Мах. Дізнайтеся. Рез. 17, 1, 1319-1333, 2016.

[3] С. Аруначалам та Р. де Вольф. Оптимальна складність квантової вибірки алгоритмів навчання. У працях 32-ї конференції з обчислювальної складності (CCC), 2017.