Які зауваження щодо продуктивності HTM?

Я нещодавно дізнався про існування цієї ієрархічної тимчасової пам’яті (HTM) . Я вже читав документ « Ієрархічна часова пам’ять: поняття, теорія та термінологія» (Джефф Хокінс та Ділп Джордж), який здається досить простим для розуміння, але один червоний прапор полягає в тому, що документ не є рецензованим і не намагається пояснити, чому він повинен працювати в деталях.

Я намагався оглянути деякі незалежні джерела. Я знайшов декілька робіт, які порівнюють його ефективність з іншими, але жодна не пояснює, чому вона працює добре (чи ні). Я помітив деякі коментарі, які стверджують, що це було вражено основним експертом, але я не зміг знайти жодної фактичної критики.

Які зауваження щодо продуктивності HTM? Оскільки HTM має бути загальним, будь-яка критика, що стосується домену, повинна бути пов'язана з більш фундаментальною проблемою.

Крім того, існує величезна кількість навчальних даних, які достатньо навіть для багатомісячного тренінгу. В основному, будь-яка критика щодо розміру чи тривалості навчання не має значення.

Критика проти Джеффа Хокінса добре узагальнена в наступному нарисі, взятому з http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Я сам вважаю, що теорія HTM має величезний потенціал і буде фундаментом справжнього машинного інтелекту. Нещодавно IBM оголосила підтримати теорію HTM та створила Центр Коркового Навчання, що включає близько сотні членів.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Як зазначається в нарисі, Dillep George, співзасновник Numenta, зробив стартап Vicarious, який залучив величезну кількість коштів, що свідчить про потенціал теорії HTM.

Джерело: Критика проти Джеффа Хокінса , The Register

Його впевнений у ЗМІ впевнений підхід викликав погане почуття серед інших науковців, які правильно зазначають, що Хокінс не публікував широко, а також не придумав багато ідей самостійно.

У Numenta також були проблеми, почасти через ідіосинкратичний погляд Хокінса на те, як працює мозок.

Наприклад, у 2010 році, співзасновник Numenta Ділеп Джордж, залишив заснувати власну компанію Vicarious, щоб зібрати деякі з більш низько висячих фруктів у перспективній галузі ШІ. З того, що ми розуміємо, це дружнє розлучення випливало з різниці думок між Джорджем та Хокінсом, оскільки Джордж прагнув до більш математичного підходу, а Хокінс - до більш біологічного.

Хокінс також приїхав на невелике поглинання з боку інтелігенції, професор психології Нью-Йорка Гері Маркус відхилив підхід Нумента в статті Нью-Йорка з назвою "SteamROL by Big Data".

Інші вчені Ель Рег, опитані в цій статті, не хотіли цитувати його, оскільки вони вважають, що відсутність Хокінса рецензованих паперів у поєднанні з його підприємницькою персоною знизила довіру до всього його підходу.

Хокінс позбавляється від цих закидів і вважає, що вони стикаються з різницею думок між ним та інтелігенцією ШІ.

"Це складні біологічні системи, які не були розроблені за математичними принципами [які] дуже важко формалізувати повністю", - сказав він нам.

Я деякий час вивчав HTM. Це якось круто. Поведінка HTM за замовчуванням полягає в аналізі тимчасових даних. З іншого боку, сьогодні для моделювання проблеми послідовності в послідовності (наприклад, чат-бота) вам потрібна "фантазійна" нейронна мережа (наприклад, періодична нейронна мережа). Але HTM можна природно застосувати до подібного типу проблем!

Я планую створити з ним якийсь інтерактивний телевізор із контрольними даними, що надсилаються разом із візуальними даними, а потім обмежуватимуть візуальними даними контрольні дані (це можливо, але не сподівайтеся, що раптом воно омріяне новим відео, цього не відбувається). Але, я мушу сказати, найкрутіше в ньому - це відео, з яким ви його навчаєте, не вийде при відтворенні, скоріше воно покаже найбільш типову його версію, яка є його формою розуміння, і насправді робить це справді круто. Так що це якось, як мрія, яку ви виводите з нього.

Якщо ви використовуєте HTM з текстом,

1. він зберігає листи,
2. то вона виробляє склади.
3. то він бере ці склади і створює спільність із них,
4. тоді він утворює слова із загальних складів,
5. то він приймає ці слова і визначає, що у них спільного,
6. тоді він утворює, можливо, більші слова,
7. тоді він утворює групи слів,
8. тоді вона утворює групи речень

Отже, кожного разу, коли він піднімається на рівень, він «забуває» трохи більше, аби, можливо, увімкнути групи разом більш міцно. Ці більш вбудовані групи будуть відтворювати трохи інакше, ніж запис, що відтворюється в ньому. Таке відтворення не бачило багато людей.

Цікаво, чи придумає він повністю власні речення.

Це змушує речення рости трохи повільніше, набагато краще. Набагато складніше працювати, ніж нічого не забувати і просто мати плавне відтворення запису. Я б сказав, що чим повільніше зростає ваше речення, тим краще ви це зробили, тож якщо є ще якийсь спосіб знайти типовість, ви повинні це зробити.