Геометрія та ШІ
Матриці, кубики, шари, стеки та ієрархії - це те, що ми могли б точно назвати топологіями . Розглянемо в цьому контексті топологію вищого рівня геометричного дизайну системи навчання.
З підвищенням складності часто корисно представляти ці топології як спрямовані графічні структури. Діаграми стану та робота Маркова з теорії ігор - це два місця, де зазвичай використовуються спрямовані графіки. Направлені графіки мають вершини (часто візуалізуються як закриті фігури), а краї часто візуалізуються як стрілки, що з'єднують фігури.
Ми також можемо представити GANs як спрямований графік, де вихід кожної сітки веде тренування іншої в змагальному режимі. GAN нагадують смугу Мебіуса топологічно.
Ми не можемо відкрити нові проекти та архітектури, не розуміючи не тільки математики конвергенції на оптимальне рішення або відстеження, але й топології мережевих з'єднань, які можуть підтримувати таке зближення. Це як спочатку розробити процесор, уявивши, що потрібно операційній системі, перш ніж записати операційну систему.
Щоб побачити, які топології ми ще НЕ розглядали, давайте спочатку розглянемо, які саме були.
Крок перший - видавлювання у другому вимірі
У 1980-х роках успіху було досягнуто з розширенням оригінальної конструкції персептрона. Дослідники додали другий вимір для створення багатошарової нейронної мережі. Розумна конвергенція була досягнута завдяки зворотному розповсюдженню градієнта функції помилки через градієнти функцій активації, ослаблених швидкістю навчання та приглушеними іншими мета-параметрами.
Крок другий - додавання розмірів до дискретного вхідного сигналу
Ми бачимо появу згорткових мереж на основі існуючих вручну налаштованих методів згортання зображень, що ввели розміри в мережу: вертикальне положення, кольорові компоненти та рамку. Цей останній вимір є критичним для CGI, заміни обличчя та інших морфологічних прийомів сучасного кінорежисуру. Без нього ми створюємо зображення, категоризацію та видалення шуму.
Крок третій - стеки мереж
Ми бачимо, що стопки нейронних мереж з'являються наприкінці 1990-х, де навчання однієї мережі контролюється іншою. Це введення концептуальних шарів, ні в сенсі послідовних шарів нейронів, ні в сенсі шарів кольору в зображенні. Цей тип шарів також не є рекурсійним. Це більше схоже на природний світ, де одна структура є органом всередині іншого зовсім іншого роду.
Крок четвертий - Ієрархії мереж
Ми бачимо ієрархії нейронних мереж, які часто з’являються в дослідженнях, що виникають у 2000-х та на початку 2010-х (Лаплакійський та інші), що продовжує взаємодію між нейронними сітками та продовжує аналогію мозку ссавців. Тепер ми бачимо метаструктуру, де цілі мережі стають вершинами у спрямованому графіку, що представляє топологію.
Крок п'ятий% mdash; Відправлення декартової орієнтації
У літературі почали зароджуватися некартезіанські систематично повторювані розташування клітин і зв’язки між ними. Наприклад, калібрувальні еквіваріантні конволюційні мережі та Ікосаедричний CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) вивчає схему використання на основі опуклого регулярного ікосаедра.
Узагальнення
Шари мають звичайні значення функцій активації для вершин і матриць ослаблення, відображених на вичерпний набір направлених ребер між сусідніми шарами [1]. Шари згортання зображень часто бувають у двовимірних розміщеннях вершин із кутами ослаблення, відображеними на скорочений набір спрямованих ребер між сусідніми шарами [2]. Стеки мають цілі шаруваті сітки у вигляді вершин у мета-спрямованому графіку, і ці мета-вершини з'єднані в послідовності, кожен край є або навчальним мета-параметром, посиленням (зворотним зв'язком у реальному часі) або іншим контролем навчання . Ієрархії мереж відображають уявлення про те, що декілька елементів управління можуть бути агреговані та спрямовані на навчання нижчого рівня, або випадок, коли декілька навчальних елементів можуть управлятися однією мережею керівника вищого рівня.
Аналіз тенденції вивчення топологій
Ми можемо проаналізувати тенденції в архітектурі машинного навчання. У нас є три топологічні тенденції.
Глибина в вимірі причинності - Шари для обробки сигналу, де вихід одного шару активацій подається через матрицю ослаблених параметрів (ваг) на вхід наступного шару. У міру встановлення більшого контролю можна досягти лише більшої глибини градієнта заднього простягання назад.
Розмірність вхідного сигналу - від скалярного введення до гіперкубів (відео має горизонтальну, вертикальну, глибину кольору, включаючи прозорість та кадр.) Зауважте, що це не те саме, що кількість входів у сенсі сприйняття.
Топологічний розвиток - вищевказані два мають декартову природу. Розміри додаються під прямим кутом до існуючого розміру. Оскільки мережі проводяться в ієрархіях (як у Лаплакійських ієрархіях) та Мебіусі, як смуги (як у GAN), то тенденції є топографічними і найкраще представлені спрямованими графами, де вершини - це не нейрони, а менші їх мережі.
Які топології відсутні?
Цей розділ розкриває зміст заголовного питання.
- Чи є якась причина, чому декілька мета-вершин, кожна з яких представляє нейронну мережу, можуть бути влаштовані таким чином, що декілька мета-вершин верховинців можуть спільно керувати кількома службовими мета-вершинами?
- Чому зворотне поширення сигналу про помилку є єдиним нелінійним еквівалентом негативного зворотного зв’язку?
- Чи не можна застосовувати співпрацю між мета-вершинами, а не наглядом, де є два взаємних ребра, що представляють елементи керування?
- Оскільки нейронні мережі використовуються в основному для вивчення нелінійних явищ, чому забороняються інші типи замкнених шляхів у проектуванні сіток або їх взаємозв'язку?
- Чи є причина, чому звук не може бути доданий до зображення, щоб відеокліпи можна було автоматично класифікувати? Якщо це так, чи є можливим вилучення фільму за сценарієм, і чи можна використовувати змагальну архітектуру для створення екранізацій та виробництва фільмів без системи кіностудії? Як виглядатиме ця топологія як спрямований графік?
- Хоча ортогонально розташовані осередки можуть імітувати довільне розташування упаковки неортогональних вершин і ребер, чи ефективно це зробити в комп'ютерному зорі, де нахил камери, крім плюс-мінус 90 градусів, звичайний?
- Чи ефективно розташовувати окремі осередки в мережах або мережах комірок в системах AI ортогонально в системах навчання, спрямованих на розуміння та складання природних мов чи штучне пізнання?
Примітки
Штучні клітини в MLP використовують функції арифметичної передачі з плаваючою або фіксованою точкою, а не електрохімічні передачі імпульсів на основі амплітуди та порогу, заснованого на близькості. Вони не є реалістичним моделюванням нейронів, тому називати вершини нейронами було б помилкою для такого роду аналізу.
Кореляція особливостей зображення та відносні зміни між пікселями в безпосередній близькості значно вищі, ніж у віддалених пікселів.