Що ми можемо дізнатися про людський мозок із штучних нейронних мереж?

Я знаю, що моє запитання / назва не дуже конкретне, тому я спробую його прояснити:

Штучні нейронні мережі мають відносно суворі конструкції. Звичайно, загалом на них впливає біологія і намагаються побудувати математичну модель реальних нейронних мереж, але наше розуміння реальних нейронних мереж недостатнє для побудови точних моделей. Тому ми не можемо уявити точні моделі чи що-небудь, що «підходить» до реальних нейронних мереж.

Наскільки мені відомо, всі штучні нейронні мережі далекі від реальних нейронних мереж. Стандартні, класичні повністю пов'язані MLP в біології відсутні. У періодичних нейронних мереж не вистачає реальної нейропластичності, кожен нейрон RNN має однакову "архітектуру зворотного зв'язку", тоді як реальні нейрони зберігають та обмінюються своєю інформацією досить індивідуально. Конволюційні нейронні мережі є ефективними та популярними, але (наприклад) обробка зображень у людському мозку складається лише з декількох шарів згортки, тоді як сучасні рішення (як GoogLeNet) вже використовують десятки шарів ... і хоча вони дають чудові результати для комп'ютерів , вони навіть не близькі до людських показників. Особливо, коли ми думаємо про "продуктивності на рівні шару", оскільки нам потрібна досить велика кількість шарів і зменшення даних порівняно з реальними нейронними мережами.

До того ж, наскільки мені відомо, навіть модульні, саморозширювані / самоструктуруючі штучні нейронні мережі є досить "фіксованими та статичними" порівняно з величезною пристосованістю реальних нейронних мереж. Біологічний нейрон зазвичай має тисячі дендритів, що з'єднують нейрон з величезною різноманітністю різних областей та інших нейронів. Штучні нейронні мережі набагато простіші.

Отже, чи можна щось дізнатися про мозок людини / справжні нейронні мережі з штучних нейронних мереж? Або це лише якась спроба створити програмне забезпечення, яке працює краще, ніж класичні, статичні алгоритми (або навіть робити речі, коли такі алгоритми не вдається)?

Чи може хтось надати (бажано наукові) джерела на цю тему?

EDIT: Більше відповідей високо оцінено (:

Як ви вже згадували, більшість нейронних мереж засновані на загальних простих абстракціях мозку. Вони не тільки не мають таких імітаційних характеристик, як пластичність, але й не враховують сигнали та терміни, як це роблять справжні нейрони.

Існує досить недавнє інтерв'ю, яке я вважав відповідним вашому конкретному питанню, Maestro Майкл Джордан з питань хибності великих даних та інших величезних інженерних зусиль , і я цитую:

Але це правда, що для нейронауки знадобиться десятиліття чи навіть сотні років, щоб зрозуміти глибокі принципи. Є прогрес на найнижчих рівнях нейронауки. Але щодо питань вищого пізнання - як ми сприймаємо, як ми пам’ятаємо, як ми діємо - ми не маємо уявлення про те, як нейрони зберігають інформацію, як вони обчислюють, які правила, які алгоритми, які уявлення і подібні. Таким чином, ми ще не в епоху, коли ми можемо використовувати розуміння мозку, щоб керувати нами в побудові інтелектуальних систем.

Не багато --- напевно, нічого --- дотепер було вивчено про функціонування мозку з штучних нейронних мереж. [Уточнення: я написав цю відповідь, думаючи про нейронні мережі, що використовуються в машинному навчанні; @MattKrause (+1) має рацію, що моделі нейронних мереж деяких біологічних нейронних явищ можуть бути корисними у багатьох випадках.] Однак це, можливо, частково пояснюється тим, що дослідження штучних нейронних мереж у машинному навчанні було більш-менш застій до 2006 року, коли Джеффрі Хінтон майже однозначно переосмислив все поле, яке на сьогоднішній день залучає мільярди доларів.

У лекції 2012 року в Google під назвою « Мозок, секс та машинне навчання» (з 45:30) Гінтон припустив, що штучні нейронні мережі можуть дати підказку, чому [більшість] нейронів спілкуються зі спайками, а не з аналоговими сигналами. А саме він пропонує бачити сплески як стратегію регуляризації, подібну до випадання. Випадання - це нещодавно розроблений спосіб запобігання надмірному оснащенню, коли на будь-якому етапі спуску по градієнту оновлюється лише підмножина ваг (див. Srivastava et al. 2014 ). Мабуть, це може спрацювати дуже добре, і Гінтон вважає, що, можливо, сплески (тобто більшість нейронів у будь-який момент мовчать) служать подібній меті.

Я працюю в науково-дослідному інституті з нейронауки, і я не знаю нікого тут, хто переконаний в аргументі Гінтона. Присяжне все ще не є (і, мабуть, збирається вийти на довгий час), але принаймні це приклад того, що штучні нейронні мережі потенційно можуть навчити нас про роботу мозку.

Звичайно, це неправда, що людський мозок використовує лише "кілька" згорткових шарів. Близько 1/3 мозку приматів якимось чином бере участь в обробці зорової інформації. Ця діаграма від Феллемана та Ван Ессена - приблизний контур того, як візуальна інформація протікає через мозок мавпи, починаючи з очей (RGC внизу) і закінчуючи в гіпокампі, області пам’яті.

Кожна з цих скриньок є анатомічно визначеною областю (більш-менш), яка містить кілька етапів обробки (фактичні шари, в більшості випадків). Сама діаграма становить 25 років, і якщо що, ми дізналися, що є ще кілька коробок і набагато більше рядків.

Це є правдою , що багато глибокого вивчення роботи більше «невизначено натхненний» мозок , ніж на основі деякої лежить в основі нейронної істини. "Глибоке навчання" також має додаткову перевагу - звучати набагато сексуальніше, ніж "повторена логістична регресія".

Однак математичні моделі нейронних мереж також багато сприяли нашому розумінню роботи мозку. Насамкінець, деякі моделі намагаються точно імітувати відому біологію та біофізику. Вони, як правило, включають терміни для окремих іонів та їх потік. Деякі навіть використовують 3D-реконструкції реальних нейронів, щоб обмежити їх форму. Якщо це вас цікавить, ModelDB має велику колекцію моделей та пов'язані з ними публікації. Багато хто реалізується за допомогою вільно доступного програмного забезпечення NEURON .

Існують більш масштабні моделі, які намагаються імітувати певні поведінкові чи нейрофізіологічні ефекти, не турбуючись надто про основні біофізики. Моделі Connectionist або паралельно-розподіленої обробки, які були особливо популярні в кінці 1980-х та 1990-х і використовували моделі, схожі на ті, які ви можете знайти в поточному застосуванні для машинного навчання (наприклад, відсутність біофізики, прості функції активації та стереотипне підключення) для пояснення різних психологічні процеси. Вони трохи не вийшли з ладу, хоча можна задатись питанням, чи можуть вони повернутися зараз, коли ми маємо більш потужні комп’ютери та кращі навчальні стратегії. (Див. Редагування нижче!)

Нарешті, десь в середині працює велика робота, яка включає деяку "феноменологію", а також деякі біологічні деталі (наприклад, явно інгібіторний термін з певними властивостями, але без відповідного розподілу хлоридних каналів). У цю категорію входить чимало поточних робіт, наприклад, робота Сяо Цзін Ванга (та багато інших…)

EDIT : Оскільки я писав це, відбувся вибух роботи, порівнюючи (реальну) зорову систему з глибокими нейронними мережами, навченими на завдання розпізнавання об'єктів. Є деякі дивовижні подібності. Ядра в перших шарах нейронної мережі дуже схожі на ядра / сприйнятливі поля в первинній зоровій корі, а наступні шари нагадують сприйнятливі поля у вищих зорових областях (див., Наприклад, роботу Ніколауса Крігескорта ). Перенавчання нейронних мереж може спричинити подібні зміни до великого поведінкового тренінгу (Wenliang and Seitz, 2018) . DNN та люди іноді - але не завжди - теж роблять подібні зразки помилок.

На даний момент поки що незрозуміло, чи відображає це подібність між реальними та штучними нейронними мережами взагалі, щось про зображення конкретно [*], або тенденцію нейронних мереж усіх смуг до пошуку шаблонів, навіть коли їх там немає. Тим не менш, порівняння двох цих країн стає все більш гарячим напрямком досліджень, і, мабуть, ми з цим щось навчимося.

* Наприклад, подання, яке використовується в ранній зоровій системі / перших шарах CNN, є оптимальною рідкою основою для природних зображень.

Те, про що ми дійсно дізналися, - це використання розрідженої активації та використання лінійних випрямлених функцій активації. Пізніше, в основному, одна з причин, чому ми побачили вибух в діяльності щодо так званої нейронної мережі, оскільки використання цього виду функцій активації призвело до різкого зменшення рівня навчання для тих штучних обчислювальних мереж, які ми використовуємо для виклику нейронних мереж.

Ми дізналися, чому синапс і нейрони будуються саме так і чому це краще. Ця лінійна випрямлена активація (f (x): = x> a? X: 0) призводить до розрідженої активації (лише деякі з "нейронів" (ваг) активуються.

Отже, що ми робимо, поки наші знання поширюються на біологічні функції, ми розуміємо, чому це було вибрано та віддано перевагу еволюції. Ми розуміємо, що ці системи є достатньою, але також стабільною щодо контролю помилок під час тренувань, а також зберігають такі ресурси, як енергія та хімічні / біологічні ресурси в мозку.

Ми просто розуміємо, чому мозок такий, який він є. Також, навчаючи та розглядаючи стратегії, ми розуміємо можливі потоки інформації та пов'язану з ними обробку інформації, що допомагає нам побудувати та оцінити гіпотезу щодо самих предметів.

Наприклад, щось, що я пам’ятаю, з десятиліття тому було навчанням системи вивчення природного розмовного мовлення, і це відкриття виявило, що система показала подібні проблеми, що збирають аналогічну поведінку немовлят, які навчаються розмовляти мовою. Навіть відмінності між вивченням різних мов були досить схожими.

Отже, вивчаючи цей підхід та розробку, було зроблено висновок, що обробка інформації людини під час вивчення мови є досить подібною для складання рекомендацій щодо навчання та лікування проблем, пов'язаних з мовою, що допомагає допомагати та розуміти людські труднощі та розвивати більш ефективне лікування (що коли-небудь про це справді це зробили на практиці - інше питання).

Місяць тому я прочитав статтю про те, як реально працює 3D-навігація та запам'ятовування мізків щурів, і, створюючи обчислювальні моделі щодо кожної знахідки, це була чудова допомога зрозуміти, що насправді відбувається. Так штучна модель заповнила заготовки того, що спостерігалося в біологічній системі.

Мене це справді вразило, коли я дізнався, що вчені-неврологи використовували мову, яка більше збирається на мову інженера, ніж біологічну людину, яка розмовляє про схеми, потік інформації та одиниці логічної обробки.

Таким чином ми багато вчимося з штучних нейронних мереж, оскільки це дає нам емпіричні ігрові майданчики, ми можемо отримати правила і впевненість, якщо мова йде про те, чому архітектура мозку є такою, якою вона є, а також чому еволюція надає перевагу цьому альтернативним способам.

Є ще багато заготовок, але з того, що я прочитав - я нещодавно потрапив до CNN тощо, але мав штучний ШІ, нечітку логіку та нейронні мережі під час університету на початку 2000-х.

Тож я догнав десятиліття, котре варто розробити та відкрити, що призвело до вдячності всім тим вченим та практикам нейронної мережі та ШІ області. Молодці, дійсно молодці!