Агностичне навчання за довільними розподілами

$D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$ Скажіть, що алгоритм агностично дізнається над будь-яким розподілом, якщо для будь-якого він може з ймовірністю знайти функцію таку, що , заданий час і кількість зразків з , обмежених многочленом у та .

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$

d

$d$

1 / ϵ

$1/\epsilon$

Запитання: Які класи функцій як відомо, агностічно вивчаються при довільних розподілах? $C$

Жоден клас не надто простий! Я знаю, що навіть монотонні сполучники, як відомо, не можна засвоїти через довільні розподіли, тому я просто шукаю нетривіальні класи функцій.

reference-request machine-learning lg.learning

— Аарон Рот
джерело

Варто зазначити для непосвячених, що агностичне навчання орієнтоване на випадок, коли OPT (C, D)> 0 (тобто у вас неправильний клас гіпотез

— Суреш Венкат

Гарна думка. У спеціальному випадку, коли OPT (C, D) = 0, це навчання PAC, і це набагато простіше. Для агностичного навчання гарантія повинна зберігатися незалежно від того, що таке OPT (C, D).

— Аарон Рот

Існує також випадок "PAC w / Classification Noise", коли OPT (C, D)> 0, і, хоча у вас є правильний клас гіпотез (реалізація налаштування), є певна помилка, оскільки мітки випадково перегортаються через шум ... I Хочеться, щоб імена різних налаштувань були менш заплутаними.

— Лев Рейзін

це звучить як агностичне навчання з верхньою межею на OPT (C, D)

— Суреш Венкат

Не зовсім тому, що шум не допускається довільним у класифікаційній моделі шуму. Отже, якщо існувала якась змагальна модель шуму, яка ускладнювала навчання (або знаходження емпіричного мінімізатора ризику) в агностичній моделі, це може не часто зустрічатися в класифікаційній моделі шуму (тобто потрапляти в дельта-параметр PAC).

— Лев Рейзін

Якщо жоден клас не надто простий, то ось декілька класів, що вивчаються агностично PAC. У відповідь на зауваження перекреслюються класи з поліноміально багато гіпотез:

~~дерева рішень постійної глибини (та інші класи, які мають лише багато гіпотез)~~
~~гіперплани в (тільки гіпотези, що створюють чітке маркування) $R^2$ $O(n^2)$~~
об'єднання інтервалів (динамічне програмування)
парність на одному з перших з біт (див. це і це ) $\log(k)\log\log(k)$ $n$
~~інші класи гіпотез в умовах низьких розмірів.~~

Практично все інше - NP-Важко (принаймні належним чином) агностично засвоїти PAC.

Підручник Адама Калай з вивчення агностиків також може вас зацікавити.

— Лев Рейзін
джерело

Дякую. Отже, дерева рішень постійної глибини, двовимірні гіперплани (я припускаю, що інші низькі розмірні параметри, на які ви посилаєтесь), всі підпадають під категорію виконання лише багаточленових функцій, про які можна дізнатися виснаженням. Паритети на біти log (k) loglog (k) та об'єднання інтервалів цікаві тим, що вони містять суперполіномічно багато функцій. Є інші подібні?

— Аарон Рот

Право, хоча в R ^ 2 є нескінченно багато гіперпланів, просто O (n ^ 2) wrt класифікує точки даних по-різному. Я не знаю жодних інших цікавих занять у верхній частині голови, але якщо я думаю / знайду будь-який, я відредагую свою відповідь.

— Лев Рейзін

значить, ви хочете безмежні класи VC-розмірів?

— Суреш Венкат

Безмежний розмір VC, безумовно, буде цікавим, але великі кінцеві (для фіксованих d) класів вже надзвичайно цікаві (і здаються рідкісними)

— Аарон Рот

@LevReyzin Посилання на лекції Kalai не працює. Не могли б ви це зафіксувати? Я шукав в мережі, але не міг знайти і цього.

— Анірбіт