Енергоефективність мозку людини проти нейронних мереж

Наскільки великі штучні нейронні мережі ми можемо запустити зараз (або з повним циклом зворотних поїздів, або просто оцінюючи мережеві виходи), якщо наш загальний енергетичний бюджет на обчислення еквівалентний бюджету енергії людського мозку ( 12,6 Вт )?

Припустимо один цикл в секунду, який, здається, приблизно відповідає швидкості випалу біологічних нейронів .

neural-networks human-like

— liori
джерело

Я збирався задати це питання. Я щасливий, що хтось уже зробив :)

— Ека

Відповіді:

126 мільйонів штучних нейронів на 12,6 Вт, з IBM True North

Ще в 2014 році мікросхема True True компанії IBM виштовхувала 1 мільйон нейронів менше ніж 100 мВт.

Отже, це приблизно 126 мільйонів штучних нейронів на 12,6 Вт.

У миші 70 мільйонів нейронів.

IBM вважає, що вони можуть створити мейнфрейм True True North на рівні 4 кВт.

Як тільки 3D транзистори вийдуть на ринок, я думаю, що ми досить швидко досягнемо ефективності мозку тварин.

— Доксософої
джерело

> Отже, це приблизно 126 мільйонів штучних нейронів на 12,6 Вт. > Миша має 70 мільйонів нейронів. Проблема полягає в тому, що ми не знаємо, чи справді один штучний "нейрон" є еквівалентом справжнього біологічного нейрона.

— розум злочину

На додаток до злочинності, майте на увазі, що протягом приблизно 60 років нейрологи / дослідники ШІ послідовно погано занижували потужність мозку людини. Я бачив ранні оцінки великих імен, що наш розум може зберігати лише кілька 100 МБ! Ми ще не повинні враховувати такі речі, як бітова глибина, належна архітектура, можливі квантові стани в клітинах мозку тощо. IBM, можливо, може створити енергоефективну нейронну мережу в 70 мільйонів нейронів, яка навіть не може наблизити поведінку паразитів миші. . Дослідники ШІ історично завжди погано переоцінювали власні можливості.

— SQLServerSteve

Дійсно, забув про мікросхеми IBM. Я навіть не брав їх до уваги під час написання запитання, оскільки відома критика щодо їх ефективності (див., Наприклад, facebook.com/yann.lecun/posts/10152184295832143 ). Хоча технічно вони все ще реалізують нейронні мережі, тому +1 від мене.

— liori

@mindcrime & SQLServerSteve Що ж, питання могло стосуватися конкретно ANN-файлів для подачі ванілі, що працюють на обладнання. Це не враження, яке я отримав від запитання.

— Doxosophoi

Також не здавалося, що це стосується штучних нейронних мереж, які ще не можна уявити.

— Doxosophoi

Якби ви обмежилися 12,6 Вт, ви не зробили б багато чого. Просто знайдіть споживання електроенергії для сучасного графічного процесора, подивіться на мережі розмірів, які люди навчають на них, а потім зменшіть масштаб. Для довідки, сучасні графічні процесори споживають від 52 до 309 Вт при значному використанні .

Очевидно, що енергоефективність - це одна з областей, де людський мозок ще далеко очолює ANN.

— розум злочину
джерело