Чому глибокі нейронні мережі та глибоке навчання недостатні для досягнення загального інтелекту?


11

Все, що стосується Deep Learning (DL) та глибоких (er) мереж, здається "успішним", принаймні дуже швидко прогресує, і культивує віру в те, що AGI досягається. Це народна уява. DL - це надзвичайний інструмент для вирішення багатьох проблем, включаючи створення AGI. Однак цього недостатньо. Засіб - необхідний інгредієнт, але часто недостатній.

Провідні фігури в галузі шукають в іншому місці, щоб досягти успіху. Цей звіт / претензія збирає посилання на заяви Йошуа Бенджо , Янна Лекуна та Джеффа Хінтона . У звіті також пояснюється:

Основні слабкі сторони DL (як я їх бачу) полягають у: опорі на найпростіші можливі нейрони моделі («мультяшні», як їх називає LeCun); використання ідей зі статистичної механіки та статистики 19 століття, які є основою енергетичних функцій та методів вірогідності; і поєднання цих методів, таких як зворотний підйом та стохастичний градієнтний спуск, що призводить до дуже обмеженого режиму застосування (в режимі офлайн, в основному партійне, контрольоване навчання), що вимагає високо талановитих практиків (він же «Стохастичний випускник спуску»), великої кількості дорогих позначені навчальними даними та обчислювальною потужністю. Хоча це чудово для величезних компаній, які можуть заманювати або придбати талант і розгорнути необмежену кількість ресурсів для збору даних та розсипання їх, DL просто не є доступним і не корисним для більшості з нас.

Хоча цікаве та актуальне, подібне пояснення насправді не вирішує суть проблеми: чого не вистачає?

Питання здається широким, але це може бути через відсутність простої відповіді. Чи є спосіб уточнити, чого DL не вистачає для AGI?


Відповіді:


7

Кожен, хто має справу з нейронними мережами, пропускає важливий момент, коли порівнює системи з людьми, як інтелект. Людині потрібно багато місяців, щоб зробити що-небудь зрозуміле, не кажучи вже про можливість вирішити проблеми, коли дорослі люди ледве впораються. Це і розміри людського мозку величезні порівняно з нашими нейронними мережами. Напрямок може бути правильним, але масштаб не вдається. Кількість нейронів людського мозку може відповідати пам’яті, але кількість паралелізму для його моделювання в реальному часі ще не може бути досягнута (принаймні, для випадкового дослідника). Хоча трохи старий, це може дати вам уявлення про те, наскільки нам не вистачає потужності для обробки.


Дякую за цю стислу відповідь. Ви хочете сказати, що для досягнення AGI і вище важливий лише розмір, лише за допомогою технологій DL? Розмір має значення, але чогось, мабуть, ще немає. (Будь-яка каламбур у цьому пункті повністю призначена).
Ерік Платон

1
Наприклад, розглянемо стільникові автомати a la Wolfram. Дуже простий, але при цьому дивовижний складність.
Ерік Платон

Чи є квантові обчислення, незалежно від форми, яка в кінцевому підсумку може бути одним із запропонованих рішень цього питання обробки?
DukeZhou

Квантова обробка може бути використана для того, щоб прийняти рішення в певний момент, але його не можна використовувати для імітації безперервного потоку, як у людському мозку. Після того, як система спостерігається, квантова форма хвилі руйнується, зводячи її по суті до повільної послідовної системи.
Джем Кальонку

1
@CemKalyoncu Дійсно. Але слона майже в 3 рази більше, ніж людей . Аргумент розміру має значення, звичайно, але одного розміру, здається, недостатньо.
Ерік Платон

6

Глибоке навчання здебільшого є успішним у навчанні під контролем, тоді як мозок будує категорії переважно без нагляду. Ми ще не знаємо, як це зробити. (Погляньте на мозок google : 16000 ядер, і все, що можна зробити, - це розпізнати котів і людські обличчя з досить безглуздою точністю.)

Глибоке навчання використовує сильно неструктуровані активації, тобто представлення високого рівня "собаки" та "кішки" в класифікаторі нейронної мережі зовсім не повинні бути схожими. З іншого боку, мозок використовує гальмівні нейрони для створення розріджених представлень, які можна розкласти на їх семантичні аспекти. Це, мабуть, важливо для абстрагування та міркувань за аналогією.

Мозок має багато різних частин, які працюють разом. Дослідники глибокого навчання лише починають інтегрувати механізми пам'яті чи уваги у свою архітектуру.

Мозок інтегрує інформацію з багатьох різних органів чуття. Більшість додатків Deep Learning використовують лише один тип введення тексту, наприклад текст або зображення.

Мозок здатний моделювати послідовності як категорії. (В основному кожне дієслово називає послідовну (тобто часову) категорію.) Потім він може упорядкувати ці категорії у довгострокові ієрархічні плани. Поки що я не бачив нічого в цьому напрямку в «Глибокому навчанні».

Також нейронні мережі ще не можуть працювати в такому ж масштабі, як людський мозок. Якщо подивитися на відповіді на це питання , людський мозок буде випереджати кількість нейронів ще пару десятків років. Нейронної мережі може не знадобитися стільки ж нейронів, як мозку, щоб досягти аналогічних показників (через більш високу точність), але зараз, наприклад, обробка відео все ще досить обмежена з точки зору введення та пропускної здатності.


Цікаві моменти і тут, дякую. Мене тут хвилює те, що це контрастний процес ([глибоке] навчання) та структура (мережі чи мозку). Якщо ця тенденція правильна, AGI - це лише питання часу, виходячи з того, що ми маємо. Ви згадуєте семантичні проблеми в глибоких мережах, які, мабуть, найкраще переглядаються в змагальних моделях. Це вказує на те, що чогось не вистачає, і є одним з найкращих аргументів у цій відповіді. Я розумію, що поточна структура недостатня (тобто моделі ранньої пам'яті). Хоча це опосередковано вирішує питання "чому". Чи бачите ви способи уточнити свою відповідь?
Ерік Платон

Чи є останніми "лише оптичними" підходами до гри в ML спроба вирватися з контрольованого навчання?
DukeZhou

@DukeZhou: Я думаю, що RL-методи можуть грати роль у непідконтрольному навчанні, але зараз мені здається, що RL ще не вивчає поняття високого рівня.
BlindKungFuMaster

1
@EricPlaton: Я не впевнений, що розумію ваш коментар. Те, що я думаю, бракує 1. структура та 2. масштаб. І звичайно алгоритми, але вони переплітаються зі структурою.
BlindKungFuMaster

3

ІМХО перше перешкода - це масштаб : навіть найбільший DNN Google не наближається до масштабу мозку, а в коефіцієнті на кілька порядків ...


2

Я думаю, що у нього ще відсутні аспекти, що робить людський мозок; маючи багато різних мереж, що працюють один з одним.

Подібно до того, як медитація покращує когнітивні здібності, завдяки роботі мозку більш синергетично, ми можемо застосувати це і до машин.

Наприклад, Google вчить комп’ютер мріяти, як і ми, щоб підсилити те, що ми вже навчилися. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

І ось шляхет, мережа нейронної мережі. https://medium.com/@thoszymkowiak/deepmind-just-publisher-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Створивши всі ці механіки і об'єднавши їх разом, достатньо енергії, і ми зблизимось!


Не могли б ви уточнити, що таке "це"? Це може бути процес глибокого навчання або однаково глибокі мережі. Це різні.
Ерік Платон

1
Обидва, але, маючи в основному глибокі нейронні мережі, працюють один з одним, я припускаю, що DNN також повинен мати хороші функції нейронної пластичності. Але це те, про що ми могли торкнутися лише основ, ми навіть не знаємо, навіть не знаємо, як саме працює людський мозок
Олександр

1

Прихильники штучного інтелекту сьогодні зосереджені на проблемі обчислюваності - здатності швидко вирішувати складні проблеми. Вважаю, що будь-яка кількість успіху в цьому напрямку не призведе до людського (загального) інтелекту, хоча, безумовно, випереджає людей у ​​певних сферах. Натомість слід докладати зусиль для вивчення того, які неврологічні події викликають відчуття (досвід квалій). Звичайно, це важка проблема філософії, але я вважаю, що це унікальний ключ до загального інтелекту та його можливостей. З цією метою слід розвивати зворотну інженерію, а також тестовані теорії.


1
Quaila може бути цікавою рисою для машин (особливо якщо ми хочемо, щоб люди надавали права на ці машини), але окрім того, що сама перепела є дуже важкою проблемою у філософії, є дві основні проблеми. (А) інтелект сам по собі може не вимагати перепелів, ти можеш бути розумним, не маючи змоги зазнати суб'єктивних переживань від першої особи. Тобто, філософського зомбі.
Виїхав SE 10_6_19

(B) Промисловість піклується лише про швидке вирішення складних проблем і не дуже хвилюється, чи може ця швидка машина думати чи відчувати. AGI бажаний лише в тій мірі, в якій він міг би швидко вирішити складні проблеми ... інтелект - це лише засіб для досягнення мети. (Насправді, промисловість може не захотіти машини мислення та почуття, оскільки такі машини можуть заслуговувати на права ... а права такі собі, як норми, що обмежують те, що може робити бізнес із їх інструментом.)
Вліво SE 10_6_19
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.