Належне навчання PAC 2-DNF при рівномірному розподілі

Який сучасний результат полягає у складності запитів правильних формул 2-DNF для засвоєння ПКС із зразками запитів та при рівномірному розподілі ? Або будь-яке нетривіальне обмеження на ньому?

Оскільки я зовсім не знайомий з теорією навчання, і це питання мотивоване іншим полем, відповідь може бути очевидною. Я перевірив книгу Кірнс і Вазірані, але, схоже, вони не розглядають цю установку прямо.

upd. Хоча головний параметр, що цікавить, - складність запиту, важливий час роботи також є важливим. Якщо можливо, час роботи бажано приблизно відповідати складності запиту або максимум поліномом.

upd. Додаток В (вгорі сторінки 18) до статті «Навчання субмодулярним функціям» Балкана та Харві зазначає, що «Добре відомо, що 2-DNF є ефективно вивченими PAC». Однак вони не згадують, чи є цей результат належним навчанням чи дають будь-яку інформацію.

Я не знаю, чи розглядаєте ви наступне нетривіальне обмеження, але ось я йду.

По-перше, щоб було зрозуміло, щоб ми не плутали -DNF з -term DNF (що я часто роблю), формула -DNF для змінних має форму де і , .$c$$k$$c$$x_1, \ldots, x_n$$\vee_{i=1}^{k}(\ell_{i,1} \wedge \ell_{i,2} ... \ell_{i,c})$$\forall 1 \le i \le k$$1 \le j \le c$$\ell_{i,j} \in \{x_1, \ldots, x_n, \bar{x}_1, \ldots, \bar{x}_n \}$

Спочатку ми можемо запитати, скільки різних термінів може існувати в -DNF. Кожен доданок матиме з змінних, кожна або заперечується, або не робить - для різні можливі терміни. У екземплярі 2-DNF кожен додаток буде або з'являтися, або ні, що робить можливі "цілі", де - простір гіпотез.$c$$c$$n$$2^c\binom{n}{c}$$|\mathcal{H}| = 2^{2^c\binom{n}{c}}$$\mathcal{H}$

Уявіть алгоритм, який бере вибірки, а потім намагається виконати всігіпотези, поки вона не знайде ту, яка ідеально прогнозує на вибірках. Теорема Бритва Оккама говорить, що для цього алгоритму потрібно взяти лише зразки ціль з помилкою з ймовірністю .$m$$|\mathcal{H}|$$m = O(\frac{1}{\epsilon}|(\mathcal{H}|+\frac{1}{\delta})$$\le \epsilon$$\ge 1-\delta$

У нашому випадку, , , це означає, що вам потрібно буде приблизно зразків, щоб зробити (належне) навчання.$c=2$$\lg|\mathcal{H}| = O(n^2)$$n^2$

Але вся гра в навчанні насправді не є вибірковою складністю (хоча це і є частиною гри, особливо в навчанні, що працює на атрибути), а скоріше у спробі розробити алгоритми багаточленного часу. Якщо ви не піклуєтесь про ефективність, то - найпростіша відповідь на складність вибірки PAC.$n^2$

ОНОВЛЕННЯ (враховуючи змінене запитання) :

Оскільки ви чітко заявляли, що піклуєтесь лише про складність вибірки, я представив алгоритм Оккама з грубою силою, який, мабуть, найпростіший аргумент. Однак моя відповідь була трохи прихильною. -DNF насправді можна вивчити в поліноміальний час! Це результат оригінального документу Валент " Теорія навчального ". Насправді -DNF можна вивчити для будь-якого .$2$$c$$c = O(1)$

Аргумент полягає в наступному. Ви можете розглянути -DNF як диз'юнкцію "мета-змінних" і спробувати дізнатися диз'юнкцію, усунувши мета-змінні, несумісні з прикладами. Таке рішення може бути легко переведене назад до "належного" рішення та потребує часу . Як бічне зауваження, досі відкрито, чи існує алгоритм поліноміального часу для .$c$$\approx n^c$$O(n^c)$$c = \omega(1)$

Щодо того, чи є складність вибірки також нижньою межею, відповідь, як правило, так. Цей документ Ehrenfeucht et al. показує, що зв'язана Оккамом майже щільна.$n^2$