Функції, які недостатньо ефективно обчислюються, але навчаються

Ми знаємо, що (див., Наприклад, теореми 1 та 3 [1]), грубо кажучи, при відповідних умовах функції, які можна ефективно обчислити машиною Тьюрінга в поліноміальний час ("ефективно обчислюватися"), можна виразити поліноміальними нейронними мережами з розумними розмірами, і, таким чином, можна пізнати складність поліноміального зразка ("навчається") при будь-яких вхідних розподілах.

Тут «вивчається» стосується лише складності вибірки, незалежно від складності обчислень.

Мені цікаво дуже тісно пов'язана проблема: чи існує функція, яку неможливо ефективно обчислити машиною Тьюрінга в поліноміальний час ("не ефективно піддається обчисленню"), але тим часом можна дізнатися з складністю поліноміальної вибірки ("навчається") під будь-якими вхідними розподілами?

• [1] Рой Лівні, Шай Шалев-Шварц, Охад Шамір, " Про обчислювальну ефективність навчальних нейронних мереж ", 2014 р.

Я формалізую варіант цього питання, де "ефективність" замінюється "обчислюваністю".

Нехай $C_n$ - клас концепції всіх мов $L\subseteq\Sigma^*$ розпізнаваний машинами Тьюрінга на $n$ станах або менше. Загалом, для $x\in\Sigma^*$ і $f\in C_n$ проблема оцінки $f(x)$ може бути вирішена.

Однак припустимо, що ми маємо доступ до (власне реалізаційної) PAC-навчання оракулом $A$ для $C_n$ . Тобто, для будь-якого $\epsilon,\delta>0$ , оракул вимагає міченого зразка розміром $m_0(n,\epsilon,\delta)$ таким чином, що, якщо припустити, що такий зразок був узятий в невідомому розподілі $D$ , оракул $A$ виводить гіпотезу F ∈ C п , яка, з ймовірністю принаймні 1 - δ , має D$\hat f\in C_n$$1-\delta$$D$-помилка генерації не більше $\epsilon$ . Ми покажемо, що цей оракул не є Тюрінгом.

На насправді, ми покажемо , що більш просте завдання нерозв'язна: Один з визначення, враховуючи мічений зразок $S$ , чи існує в $f\in C_n$ узгоджується з $S$ . Припустимо (щоб отримати протиріччя), що $K$ - машина Тьюрінга, яка вирішує проблему узгодженості.

Ми робимо наступні конвенційні нотації. Визначте $\Sigma^*$ з $\mathbb{N}=\{0,1,2,\ldots\}$ за допомогою звичайного лексикографічного впорядкування. Для $x\in\{0,1\}^*$ ми говоримо, що TM $M$ "S-друкує" $x$ якщо він приймає всі рядки в $\Sigma^*$ відповідають індексам $i$ st $x_i=1$ і не приймає (можливо, не зупинка) будь-якого з рядків, відповідних індексам $x_i=0$ . Оскільки (за припущенням)$K$ є вирішальним, то випливає, що функція$\tilde K:x\mapsto k$ , визначена як найменша$k$ така, що деякі ТМ у$C_k$ S-друкує$x$ , є Тюрінговим. Далі випливає, що функція $g:k\mapsto x$ , яка відображає a$k\in\mathbb{N}$ до найменшої (лексикографічно) рядка$x\in\{0,1\}^*$ такої, що$\tilde K(x)>k$ , також обчислюється.

Тепер визначимо TM $M$ наступним чином : $M$ S відбитки $g(|\langle M\rangle|)$ , де $\langle M\rangle$ є кодування $M$ , $|x|$позначає довжину рядка, а рекурсія теорема бути викликана , щоб стверджувати існування такого $M$ . Тоді $M$ має деяку довжину кодування, $\ell=|\langle M\rangle|$, і він S-друкує деяку рядок, $x_M\in\{0,1\}^*$. За побудовою $\tilde K(x_M)>\ell$ , і так $x_M$ не може бути надруковано S-жодною ТМ із довжиною опису $\ell$ або коротшою. І все ж вона визначається як вихід S-друку TM з довжиною опису $\ell$ --- суперечливістю.