Складність обчислювального запиту SQ-навчання


12

Відомо, що для навчання PAC існують природні класи концепцій (наприклад, підмножини списків рішень), для яких існують поліноміальні розриви між складністю вибірки, необхідною для теоретичного інформаційного навчання, який обчислюється без обмежень, і складності вибірки, необхідної полінома- час, що навчається. (див., наприклад, http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE або http://portal.acm.org/citation.cfm?id=301437 )

Ці результати, схоже, залежать від кодування секрету в конкретних прикладах, і тому, природно, не перекладаються на SQ-модель навчання, де учень просто отримує запит на статистичні властивості розподілу.

Чи відомо, чи існують концептуальні класи, для яких інформаційно-теоретичне навчання у моделі SQ можливе із запитами O (f (n)), але обчислювально ефективне навчання можливе лише за запитами Omega (g (n)) для g (n ) >> f (n)?

Відповіді:


9

Я задав це питання деякий час тому. Принаймні, для навчання щодо конкретного розподілу існує досить простий приклад класу концепцій, який теоретично засвоюється за допомогою SQ, але є важким для навчання SQ. Нехай \ phi - двійкове кодування екземпляра SAT і y - його лексикографічно першим задовольняючим призначенням (або 0 ^ n - екземпляр незадовільний). Тепер нехай f (\ phi) є функцією, яка понад половину домену є MAJ (\ phi), а над другою половиною домену дорівнює PAR (y). Тут MAJ - функція більшості над змінними, які встановлені на 1 у рядку \ phi, а PAR (y) є функцією парності щодо змінних, які встановлені на 1 у рядку y. Нехай F - клас функцій, отриманий таким чином. Щоб SQ дізнався F за рівномірним розподілом U, потрібно лише вивчити більшість (що легко) знайти \ phi, а потім знайти y. З іншого боку, досить просто звести SAT до SQ навчання F (до будь-якої точності, помітно перевищує 3/4) за рівномірний розподіл. Причина цього, природно, полягає в тому, що паритети по суті є "невидимими" для SQ, і тому необхідно вирішити SAT для вивчення F.


5

Це приємне запитання. Потужність моделі статистичних запитів полягає саме в здатності доводити безумовні нижчі межі для навчання за допомогою SQ - наприклад, парність не засвоюється за допомогою статистичних запитів поліноміального числа.

Мені невідомі результати форми, яку ви запитуєте, але, можливо, нам не вистачає чогось очевидного ...

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.