Функції, які недостатньо ефективно обчислюються, але навчаються


28

Ми знаємо, що (див., Наприклад, теореми 1 та 3 [1]), грубо кажучи, при відповідних умовах функції, які можна ефективно обчислити машиною Тьюрінга в поліноміальний час ("ефективно обчислюватися"), можна виразити поліноміальними нейронними мережами з розумними розмірами, і, таким чином, можна пізнати складність поліноміального зразка ("навчається") при будь-яких вхідних розподілах.

Тут «вивчається» стосується лише складності вибірки, незалежно від складності обчислень.

Мені цікаво дуже тісно пов'язана проблема: чи існує функція, яку неможливо ефективно обчислити машиною Тьюрінга в поліноміальний час ("не ефективно піддається обчисленню"), але тим часом можна дізнатися з складністю поліноміальної вибірки ("навчається") під будь-якими вхідними розподілами?


4
Я приймаю питання з "і таким чином можна дізнатися". Є дуже ефективно обчислювані функції (скажімо, DFA), які ДУЖЕ важко вивчити, навіть приблизно.
Ар'є

3
Напевно, цього немає, але що стосується класу (скажімо) -об'єднані булеві функції? (Тобто, більш-менш випадкова функція, кожне значення якої незалежно1,імовірність2-2n1 ). Для будь-якогоε>2-2n , PAC-навчання за рівномірного розподілу тривіальне (потрібна вибірка 0, константна функція0- хороша гіпотеза), але, схоже, будь-якому алгоритму оцінювання потрібно було б витратити час суперполінома (оскільки немає функції для функції). Я, швидше за все, нерозумію це питання. ε>2n0
Климент К.

3
Ваша термінологія трохи заплутана. Коли ми говоримо "ефективно навчається", ми зазвичай посилаємося на ефективність обчислень. Якщо сказати, що «навчається», достатньо, щоб мати на увазі ефективність вибірки.
Лев Рейзін

1
@Minkov Щоб навчатись на ПК, слід вчитися стосовно будь-якого розподілу. Інакше питання не цікаве (як зазначає Климент).
Лев Рейзін

2
Чому люди голосують за закриття? Я думаю, це глибоке і тонке питання!
Aryeh

Відповіді:


11

Я формалізую варіант цього питання, де "ефективність" замінюється "обчислюваністю".

Нехай Cn - клас концепції всіх мов LΣ розпізнаваний машинами Тьюрінга на n станах або менше. Загалом, для xΣ і fCn проблема оцінки f(x) може бути вирішена.

Однак припустимо, що ми маємо доступ до (власне реалізаційної) PAC-навчання оракулом A для Cn . Тобто, для будь-якого ϵ,δ>0 , оракул вимагає міченого зразка розміром m0(n,ϵ,δ) таким чином, що, якщо припустити, що такий зразок був узятий в невідомому розподілі D , оракул A виводить гіпотезу FC п , яка, з ймовірністю принаймні 1 - δ , має Df^Cn1δD-помилка генерації не більше ϵ . Ми покажемо, що цей оракул не є Тюрінгом.

На насправді, ми покажемо , що більш просте завдання нерозв'язна: Один з визначення, враховуючи мічений зразок S , чи існує в fCn узгоджується з S . Припустимо (щоб отримати протиріччя), що K - машина Тьюрінга, яка вирішує проблему узгодженості.

Ми робимо наступні конвенційні нотації. Визначте Σ з N={0,1,2,} за допомогою звичайного лексикографічного впорядкування. Для x{0,1} ми говоримо, що TM M "S-друкує" x якщо він приймає всі рядки в Σ відповідають індексам i st xi=1 і не приймає (можливо, не зупинка) будь-якого з рядків, відповідних індексам xi=0 . Оскільки (за припущенням)K є вирішальним, то випливає, що функціяK~:xk , визначена як найменшаk така, що деякі ТМ уCk S-друкуєx , є Тюрінговим. Далі випливає, що функція g:kx , яка відображає akN до найменшої (лексикографічно) рядкаx{0,1} такої, щоK~(x)>k , також обчислюється.

Тепер визначимо TM M наступним чином : M S відбитки g(|M|) , де M є кодування M , |x|позначає довжину рядка, а рекурсія теорема бути викликана , щоб стверджувати існування такого M . Тоді M має деяку довжину кодування, =|M|, і він S-друкує деяку рядок, xM{0,1}. За побудовою K~(xM)> , і так xM не може бути надруковано S-жодною ТМ із довжиною опису або коротшою. І все ж вона визначається як вихід S-друку TM з довжиною опису --- суперечливістю.


2
Завдання: перетворити мій "інфінітарний" аргумент за допомогою обчислюваності в кінцевий за допомогою ефективності. Я думаю, що відповідь на запитання @ minkov є негативною: ви не можете ефективно вивчити клас функцій, який ви не можете ефективно оцінити. Я думаю, що це буде і надалі правдою, якщо ви вийдете за межі належного або зрозумілого PAC.
Aryeh
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.