Чи будуть нейронні мережі глибокого навчання працювати на квантових комп'ютерах?


15

Глибоке навчання (кілька шарів штучних нейронних мереж, що використовуються в контрольованих і непідконтрольних машинному навчанні завдань) - неймовірно потужний інструмент для багатьох найскладніших завдань машинного навчання: розпізнавання зображень, розпізнавання відео, розпізнавання мовлення тощо. Враховуючи, що це наразі одна найпотужніших алгоритмів машинного навчання, і Квантове обчислення в цілому розглядають як зміну ігор для деяких дуже складних завдань обчислення, мені цікаво, чи був якийсь рух по об'єднанню цих двох.

  • Чи може алгоритм глибокого навчання працювати на квантовому комп'ютері?
  • Чи має сенс спробувати?
  • Чи існують інші квантові алгоритми, які роблять глибоке навчання неважливим?

1
Я не експерт, але думаю, що алгоритм HHL був би корисним у цьому контексті.
DaftWullie

Відповіді:


8
  1. Так, всі класичні алгоритми можуть бути запущені на квантових комп'ютерах. Більше того, будь-який класичний алгоритм, що включає пошук, може отримати збільшення за допомогою алгоритму grovers. Приклад, який спадає на думку, розглядає точну настройку параметрів нейронної мережі як проблему "пошуку коефіцієнтів".оригінальний час

  2. Насправді є чіткі обчислювальні вигоди в деяких процесах: так.

  3. Не те, що я знаю. Але хтось з більш досвідом може зазивати сюди, якщо захоче. Єдине, що спадає на думку: часто ми можемо використовувати глибоке навчання та інші форми штучного інтелекту для вивчення проблем хімії та фізики, тому що моделювання дороге чи недоцільне. У цій галузі квантові комп’ютери, ймовірно, вбивають своїх класичних предків, враховуючи їх здатність до власного моделювання квантових систем (як, наприклад, у ядерній хімії) в режимі реального часу або швидше.

Востаннє я з ним розмовляв, Маріо Сегеді цікавилося саме цим, напевно, зараз над цим теж багато інших дослідників.


6
Я не впевнений, що алгоритм Гровера тут доречний. Алгоритм Гровера знаходить єдиний вхід, який точно дає даний вихід. ОТОН, нейронні мережі за своєю природою дуже неоднозначні, і вони насправді не точні - у кращому випадку безсимптомно точні.
Ліворуч близько

Це можна розглядати як проблему пошуку бази даних, дивлячись на супер положення всіх станів, в яких можуть бути ваги. Нехай функція пошуку повертається 1, якщо норма похідної нейронної мережі на стандартному вході wrt ваг дорівнює менше деякої бажаної толерантності.
frogeyedpeas

1
Це було б абсолютно марно. Для будь-якої нетривіальної задачі буде багато комбінацій ваг, при яких градієнт дорівнює нулю; навіть якщо алгоритм Гровера дав вам одне із них, це, як правило, не буде мінімальним, а тим більше глобальним мінімумом.
Ліворуч близько

Я не погоджуюся, враховуючи наступний протокол: спуск градієнта ванілі до деякого порогу, а потім застосувати пошук Гровера серед дуже обмеженого простору ваг, щоб підібрати жорсткий мінімум в межах деякої обмеженої помилки; ця кінцева частина там, де спуск градієнта зазвичай сходиться дуже повільно до локального оптимуму, і мені стає цікаво, якщо саме тут вдатися до пошуку Grover може бути цікаво
frogeyedpeas

1
Гм, це може спрацювати; однак у цій кінці частини я впевнений, що ти також міг би зробити набагато краще, ніж спуск градієнта класичними засобами. Очевидним кандидатом є двобічний градієнт.
Ліворуч близько

13

Це дуже відкрите питання, але так, на цьому фронті робиться значна кількість роботи.

Деякі роз’яснення

По-перше, слід зазначити, що існує два основні способи об'єднання машинного навчання (і зокрема глибокого навчання) з квантовою механікою / квантовими обчисленнями:

1) ML QM

Застосовуйте класичні методи машинного навчання для вирішення проблем, що виникають у контексті квантової механіки / квантової інформації / квантових обчислень . Ця область зростає надто швидко для мене, щоб навіть спробувати гідний список посилань, тому я просто посилаюсь напару останніх робіт у цьому напрямку: у 1803.04114 автори використовували підхід до машинного навчання, щоб знайти схеми для обчислення перекриття. між двома станами (існує ряд інших робіт у цьому ж напрямку), і в 1803.05193 р. автори вивчали, як глибокі нейронні мережі можуть бути використані для пошуку схем корекції квантового контролю.

2) QM ML

Вивчення квантових алгоритмів для аналізу великих даних , що часто доводиться шукати " квантових узагальнень " класичних алгоритмів машинного навчання. Ви можете подивитися на цю іншу мою відповідь, щоб отримати основні посилання на цю тему. Більш конкретно для випадку глибокого навчання , у 1412.3489 (влучно названий Квантове глибоке навчання ) автори пропонують метод (ефективно, квантовий алгоритм) загалом прискорити навчання глибоких, обмежених машин Больцмана . Інша відповідна посилання тут - 1712.05304 , в якій автори розробляють низькоглибокий квантовий алгоритм для підготовки квантових машин Больцмана. Див. 1708.09757, а також посилання у пов'язаній відповіді, щоб знайти ще багато робіт з цього приводу. Зауважимо, що прискорення, яке заявляється в цих роботах, може різко змінюватися, від експоненціальних швидкісних до поліноміальних.

Іноді прискорення виникає через використання квантових алгоритмів для вирішення конкретних лінійних алгебраїчних задач (див., Наприклад, Таблицю 1 в ( 1707.08561 )), іноді це пов'язано з тим, що в основному означає використання (варіацій) пошуку Гровера, а іноді й з інших речі (але в основному ці два). Цитуючи Дунько та Брігеля тут :

Ідеї ​​щодо квантових розробок для ML можна приблизно класифікувати на дві групи: а) підходи, які спираються на пошук Гровера та амплітудне амплітуду для отримання до квадратичного збільшення швидкості, і, б) підходи, що кодують відповідну інформацію до квантових амплітуд і які мають потенціал навіть для експоненціальних поліпшень. Друга група підходів утворює чи не найбільш розвинену дослідницьку лінію в квантовій МЛ, і збирає безліч квантових інструментів - найбільш помітну квантову лінійну алгебру, що використовується в квантових пропозиціях МЛ.

Більш пряма відповідь на три запитання

Сказавши сказане, дозвольте мені прямо відповісти на три питання, які ви підняли:

  1. Чи може алгоритм глибокого навчання працювати на квантовому комп'ютері? Очевидно, що так: якщо ви можете запустити щось на класичному комп'ютері, ви можете зробити це на квантових комп'ютерах. Однак питання, яке слід задавати, чи може, квантовий (глибокий) алгоритм машинного навчання бути більш ефективним, ніж класичні аналоги ? Відповідь на це питання складніша. Можливо, так , у цьому напрямку є багато пропозицій, але говорити про те, що буде чи не буде, ще зарано.

  2. Чи має сенс спробувати? Так!

  3. Чи існують інші квантові алгоритми, які роблять глибоке навчання неважливим? Це сильно залежить від того, що ви маєте на увазі під " неважливим ". Я маю на увазі, що для того, що відомо на даний момент, цілком можуть існувати класичні алгоритми, які зроблять глибоке навчання «неважливим».

3
У контексті цієї відповіді я хотів би згадати цей останній документ, який показує, як алгоритм квантової приблизної оптимізації може бути використаний для тренування нейронних мереж (обмежених машин Больцмана), використовуючи приблизну вибірку Гіббса на універсальних квантових комп'ютерах.
Марк Фінгхут

1
@MarkFingerhuth Я додав це у відповідь, дякую за вказівник (і ласкаво просимо на сайт!)
glS

2

Ось остання розробка від Xanadu, фотонного квантового кола, що імітує нейронну мережу. Це приклад нейронної мережі, що працює на квантовому комп'ютері.

Цей фотонний контур містить інтерферометри та затискні ворота, що імітують функції зважування NN, затвор зміщення, що діє як зміщення, і нелінійне перетворення, схоже на функцію ReLU NN.

Вони також використовували цю схему для підготовки мережі для генерації квантових станів, а також для здійснення квантових воріт.

Ось їх публікація та код, що використовується для тренування схеми . Ось середня стаття, що пояснює їх схему.


2

Усі відповіді тут, здається, ігнорують фундаментальне практичне обмеження:

Глибоке навчання спеціально найкраще працює з великими даними. MNIST - 60000 зображень, ImageNet - 14 мільйонів зображень.

Тим часом найбільші квантові комп'ютери наразі мають 50 ~ 72 Кбіт.

Навіть у найбільш оптимістичних сценаріях, квантові комп’ютери, які можуть обробляти обсяги даних, які потребують алгоритмів глибокого навчання, а не традиційні методи моделювання, вже не скоро з'являться.

Тож застосування QC до Deep Learning може бути приємною теоретичною цікавістю, але це не те, що незабаром стане практичним.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.