Чи є якась робота, що поєднує машинне навчання та екзотичні форми теорії складності?


13

Мені здається, що фахівці з машинного навчання / видобутку даних знайомі з P та NP, але рідко говорять про деякі більш тонкі класи складності (наприклад, NC, BPP або IP) та їх наслідки для ефективного аналізу даних. Чи є якесь опитування роботи з цим?


2
Жодного опитування, про яке я знаю, але ознайомтесь із цим вказівником на "квантове навчання" (№5) з цієї публікації: blog.computationalcomplexity.org/2012/10/quantum-workshop.html
Суреш Венкат

машинне навчання регулярно атакує дуже важкі проблеми, які виникають поза межами NP для «глобальної» оптимізації, але всередині NP або менш жорсткі, ніж для «локальної» оптимізації. тому вся концепція класу складності стає розмитою, коли оптимізується для "досить хороших" результатів, які вимірюються більше вимірюваннями якості, залежними від додатків, і в певному сенсі насправді невідомі для роботи алгоритму (ів) ....
vzn

@vzn Мені здається, що ця тонкість виглядає тим більше приводом звертати увагу на складність! Це може дати дуже цікаву інформацію.
Майк Ізбіцький

безумовно, існують зв’язки між теорією навчання, складністю схеми, криптографією. але це куточок теорії навчання, який трохи віддалений від практики машинного навчання. якщо вам цікаво, я можу прийти до деяких покажчиків
Сашо Ніколов

так, ще один приклад, BDD (двійкові діаграми прийняття рішень) використовувались в алгоритмах баз даних / обробці даних і мають міцні зв'язки зі складністю схеми. але мені здається, що це питання може бути трохи хитрою умовою, оскільки багато машинного навчання є прагматичним, а складність застосованого МЛ часто вивчається опосередковано / емпірично шляхом аналізу реальних реалізацій алгоритмів, а не спроб теоретично передбачити або строго класифікувати його.
vzn

Відповіді:


3

Існує деяка притаманна різниця або несхожість підходів між двома сферами прикладного машинного навчання та теорією складності TCS / складності.

Ось нещодавній семінар з цього приводу в Центрі обчислювальної нездатності, Прінстон з великою кількістю відео.

Опис: Багато сучасних підходів до машинного навчання є евристичними: ми не можемо довести гарних меж ні в їх продуктивності, ні в процесі роботи. Цей невеликий семінар буде присвячений проекту розробки алгоритмів та підходів, ефективність яких можна ретельно проаналізувати. Мета полягає в тому, щоб вийти за рамки, де вже існують доказові межі.

У TCS основним напрямком вивчення «навчання», яке іноді може бути заплутаним, навіть його також називають «машинним навчанням», називають теорією PAC, яка означає, ймовірно, приблизно коректну. її початок початку 1980-х років передує значно сучаснішим дослідженням "машинного навчання". wikipedia називає це частиною польової теорії обчислювального навчання . ПАК часто стосується результатів вивчення булевих формул, наданих статистичних вибірок розподілів тощо, а також досяжної точності навчання за різними алгоритмами або обмеженими вибірками. Це вивчається суворим теоретичним способом з прив'язкою до класів складності. Але це не стільки сторінка прикладного дослідження та wikipedias про машинне навчання навіть не перераховує його.


5
"Вікіпедія дзвонить" ... ви насправді щось знаєте про цю тему? 1) Вікі для машинного навчання має розділ Теорія, який посилається на теорію обчислювального навчання, сторінка 2) Робота теорії навчання Валіанта, Вапника, Шапіра, зокрема, справила величезний вплив на практику машинного навчання.
Сашо Ніколов
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.