Знакові (іграшкові) моделі нейронних мереж


18

Мої професори фізики в середній школі, а також благородний лауреат Фейнман завжди представляли те, що вони називали іграшковими моделями, щоб проілюструвати основні поняття та методи фізики, такі як гармонійний генератор, маятник, прядильна поверхня та чорний ящик.

Які моделі іграшок використовуються для ілюстрації основних понять та методів, що лежать в основі застосування нейронних мереж? (Довідники, будь ласка.)

Під іграшковою моделлю я маю на увазі особливо просту мережу мінімального розміру, застосовану до сильно обмеженої проблеми, за допомогою якої можна представити основні методи та перевірити та покращити своє розуміння шляхом фактичної реалізації, тобто побудови базового коду та бажано певною мірою робити / перевірка основної математики вручну або за допомогою символічного додатка з математики.


@Sycorax, чудово, але реф за 1 та 3.
Том Коупленд

2
Ви повинні мати на увазі Нобеля, а не Благородного.
Руслан

@Ruslan, це досить поширена помилка. Я так радий бачити, що ви та двоє інших вважаєте це настільки стимулюючим / мотиваційним, що я дозволю, щоб подібні особистості сподобалися.
Том Коупленд

Відповіді:


14

Одним з найкласичніших є Перцепрон у 2 вимірах, який сягає 50-х років. Це хороший приклад, оскільки це стартовий майданчик для більш сучасних методик:

1) Не все лінійно відокремлюється (звідси необхідність нелінійної активації або методів ядра, декількох шарів тощо).

2) Perceptron не збігатиметься, якщо дані не є лінійно відокремленими (безперервні заходи поділу, такі як softmax, зниження швидкості навчання тощо).

3) Незважаючи на те, що існує нескінченно багато рішень для поділу даних, зрозуміло, що деякі є більш бажаними, ніж інші (максимальне розділення меж, SVM та ін.)

Для багатошарових нейронних мереж вам можуть сподобатися приклади класифікації іграшок, які поставляються з цією візуалізацією .

Для конволюційних нейронних мереж MNIST - це класичний золотий стандарт, із симпатичною візуалізацією тут і тут .

Для RNN дійсно проста проблема, яку вони можуть вирішити, - це бінарне додавання , яке вимагає запам'ятовування 4 шаблонів.


+1 за широке покриття NN! від персептрона до RNN.
Хайтао Ду

Приємно. Тип відповідей, які я шукаю.
Том Коупленд

Вибачте, я не хотів редагувати вашу відповідь - я мав намір додати цей абзац до свого.
Sycorax каже, що повернеться до Моніки

8
  1. Проблема XOR - це, мабуть, канонічна проблема іграшок ANN.

    Річард Бленд, червень 1998 р. Університет Стірлінга, кафедра обчислювальної техніки та математики обчислювальної техніки Технічний звіт " Навчання XOR: вивчення простору класичної проблеми "

  2. The TensorFlow майданчик являє собою інтерактивний інтерфейс для декількох іграшок нейронних мереж, в тому числі і XOR Джелліролл.

  3. Обчислення найбільшого власного значення симетричної матриці фіксованого розміру (2х2 або 3х3) - це те, що я використовую в демонстраційних класах.

    А. Цічокі та Р. Унбехауен. " Нейронні мережі для обчислення власних значень та власних векторів " Біологічна кібернетика Грудень 1992, Том 68, Випуск 2, стор 155–164

Такі проблеми, як MNIST, безумовно, є канонічними, але їх не легко перевірити вручну - якщо у вас не буде величезного вільного часу. Код не є особливо базовим.

Що стосується завдань NLP, банк Penn Tree є дуже стандартним набором даних, використовуваних, наприклад, у Войцеха Заремба, Іллі Суцкевера, "Oriol Vinyals", "Постійне регулювання роботи нейронної мережі " та, ймовірно, сотні інших робіт.


-4

Я не знаю фізичної іграшки, але найкращий приклад, який я знаю, - це багатошаровий AI, створений за допомогою генетичного алгоритму, щоб грати в Super Mario Brothers. Вихідний код знаходиться у описі відео.

MarI / O - машинне навчання для відеоігор: https://www.youtube.com/watch?v=qv6UVOQ0F44


3
Ви можете детально прочитати питання та два інші відповіді.
Том Коупленд
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.