Візуалізація тренувань з глибокої нейромережі

13

Я намагаюся знайти еквівалент діаграм Хінтона для багатошарових мереж, щоб скласти графік ваг під час тренувань.

Навчена мережа дещо схожа на Deep SRN, тобто вона має велику кількість матриць з декількома вагами, що зробить одночасний графік декількох діаграм Хінтона візуально заплутаним.

Хтось знає про хороший спосіб візуалізації процесу оновлення ваги для періодичних мереж з декількома шарами?

Я не знайшов багато робіт з цієї теми. Я думав відображати інформацію, пов'язану з часом, про ваги на шар, якщо я не можу щось придумати. Наприклад, дельта ваги в часі для кожного шару (опускаючи використання кожного окремого з'єднання). PCA - це ще одна можливість, хоча я хотів би не робити великих додаткових обчислень, оскільки візуалізація проводиться в Інтернеті під час навчання.

— runDOSrun
джерело

10

Я знаю, що я закриваю, це ConvNetJS :

ConvNetJS - це бібліотека Javascript для навчання моделей глибокого навчання (переважно нейронних мереж) повністю у вашому браузері. Відкрийте вкладку і ви тренуєтесь. Ні вимог до програмного забезпечення, ні компіляторів, ні установок, ні графічних процесорів, ні потужності.

Демонстрація демонстрацій на цьому веб-сайті важить і те, як вони змінюються з часом (майте на увазі, його безліч параметрів, оскільки практичні мережі мають багато нейронів). Більше того, якщо вас не влаштовує їх графік, є доступ до параметрів мереж, і ви можете побудувати графік за своїм бажанням (оскільки це JavaScript).

— Пьотр Мігдал
джерело

Спасибі! Досить цікаво, що вони вирішили використовувати кілька діаграм Хінтона для побудови їх ваги. Я все ще думаю, що важко інтерпретувати, як тільки у вас занадто багато шарів / з'єднань, але добре бачити це принаймні.

— runDOSrun

5

Виходячи з мого короткого розуміння тем, пов’язаних із вашим запитанням, я вважаю, що Gephi ( https://gephi.github.io ; оригінальний переспрямований посилання gephi.org туди) повинен мати можливість обробляти динамічну візуалізацію нейронної мережі . Здається , що для того, щоб досягти своєї мети, ви повинні транслювати ваш граф (и) з відповідними вагами ( https://forum.gephi.org/viewtopic.php?t=1875 ). Для трансляції вам, швидше за все, знадобиться цей плагін : https://marketplace.gephi.org/plugin/graph-streaming .

ОНОВЛЕННЯ : Ви також можете знайти корисне програмне забезпечення SoNIA: http://web.stanford.edu/group/sonia .

— Олександр Блех
джерело

1

Дуже цікава ідея! Дійсно, візуалізація глибокої мережі на зразок соціальної мережі - це те, про що я не замислювався. Основна відмінність між моделями полягає в тому, що ці графіки кодують інформацію у своїх вузлах, тоді як нейронні мережі роблять це в межах своїх з'єднань. Але це можна змінити, наприклад, встановивши значення вузла соціальної мережі на ваги вихідних з'єднань нейронної мережі.

— runDOSrun

Я радий, що ідея вам сподобалась. Ви можете запросити / прийняти. І не забудьте переглянути програмне забезпечення SoNIA, за посиланням на яке я нещодавно оновив свою відповідь. Нарешті, якщо ви використовуєте (або плануєте використовувати) R, ось ще одна важлива для вас цікава інформація: sna.stanford.edu/rlabs.php .

— Олександр Блех