Нижня межа агностичного PAC вибірки

Загальновідомо, що для класичного навчання PAC приклади необхідні для того, щоб отримати помилку, пов'язану з whp, де - розмірність VC класу концепції. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

Чи відомо, що приклади потрібні у випадку агностики? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— Ар'є
джерело

Я не впевнений, як виглядає нижня межа, вона повинна існувати, якщо межа Гоффінга є тісною (і я думаю, що це так). Цей зв'язаний констатує, що для 1 fn, якщо ймовірність помилки p, то для максимум помилок

потрібно оцінити р до помилки + -

whp. Тож розглянемо будь-який клас концепції з 2 поняттями,

і розмір VC 2. Візьміть розподіл за прикладами, щоб

(або навпаки) - це можливо, тому що VC-розмір є 2. Схоже, що алгоритм використовує лише

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

приклади означатимуть покращену межу Гофдінга.

O (1 / ϵ)

$O(1/\epsilon)$

— Аарон Рот

А саме, я вважаю , що Хёфдінга оцінка точна при

для

. Я думаю, що міркування вище загальновідомі ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— Лев Рейзін

Гаразд - схоже, я отримав ще одну вправу для курсу ML ... :) Дякую за вклад, Аарон та Лев!

— Aryeh

@Aaron, можливо, це мала бути відповіддю.

— Суреш Венкат

Тепер я розумію, що Ентоні та Бартлетт справді встановили нижню межу (див. Презентацію тут ).

Редагувати 24 вересня-2018. Це питання тримало мене зайнятим усі ці роки, і останнім часом ми з І. Пінелісом отримали точну оптимальну константу в нижній межі агностичного PAC, яка з'явиться в Енн. Стат .

— Ар'є
джерело

У вашому документі ви не цитуєте цю роботу ( jmlr.org/papers/volume17/15-389/15-389.pdf ). Чи оптимальна складність вибірки в реальному випадку не має жодного зв'язку з вашою роботою? Чи відомі ці відповідні межі оптимальної складності вибірки для випадку агностики?

— gradstudent

Я не думаю, що реалізований випадок пов'язаний з цим. У реалізованому випадку ERM не гарантує оптимальних показників - отже, всю наполегливу працю Ханнеке та інші довелося витратити, щоб зняти фактор журналу, і досі невідомо, чи зможе належний учень досягти оптимальної швидкості. Навпаки, в агностичному випадку давно відомо, що ERM досягає оптимальної швидкості.

— Ар'є