Я опублікував основну ідею детермінованої різноманітності генеративних змагальних мереж (GAN) у публікації в блозі 2010 року (archive.org) . Я шукав, але не міг знайти нічого подібного ніде і не мав часу спробувати його реалізувати. Я не був і досі не є дослідником нейронної мережі і не маю зв’язків у цій галузі. Я скопію сюди щоденник блогу:
2010-02-24
Метод навчання штучних нейронних мереж для створення відсутніх даних в контексті змінного. Оскільки ідею важко вкласти в одне речення, я буду використовувати приклад:
У зображенні можуть бути відсутні пікселі (скажімо, під розмазанням). Як можна відновити відсутні пікселі, знаючи лише навколишні пікселі? Одним із підходів буде нейронна мережа "генератора", яка, враховуючи вхідні пікселі, генерує відсутні пікселі.
Але як тренувати таку мережу? Не можна очікувати, що мережа точно створить відсутні пікселі. Уявіть, наприклад, що відсутні дані - це лата трава. Можна було б навчити мережу з купою зображень газонів, з прибраними ділянками. Учитель знає, яких даних немає, і міг би оцінити мережу відповідно до середньоквадратичної різниці (RMSD) між згенерованим нальотом трави та вихідними даними. Проблема полягає в тому, що якщо генератор зіткнеться із зображенням, яке не є частиною навчального набору, то нейронна мережа не зможе розмістити все листя, особливо посередині патча, в точно потрібних місцях. Найнижча помилка RMSD, ймовірно, була б досягнута мережею, що заповнює середню область патча суцільним кольором, який є середнім кольором пікселів на типових зображеннях трави. Якби мережа намагалася генерувати траву, яка виглядає переконливо для людини і як така виконує своє призначення, було б невдале покарання за метрикою RMSD.
Моя ідея така: (див. Малюнок нижче): Тренуйте одночасно з генератором мережу класифікаторів, яка задається у випадковій або чергується послідовності, згенерованими та вихідними даними. Класифікатор повинен в цьому контексті навколишнього зображення здогадуватися, чи вхід є оригінальним (1) або згенерованим (0). Мережа генераторів одночасно намагається отримати високий бал (1) від класифікатора. Сподіваємось, результат полягає в тому, що обидві мережі стартують дійсно просто, і просуваються до генерування та розпізнавання все більш і більш вдосконалених функцій, наближаючись і, можливо, перемагаючи здатність людини розрізняти створені дані та оригінал. Якщо для кожного балу враховується кілька зразків тренувань, то RMSD є правильним показником помилки,
Навчання з штучної нейронної мережі
Коли я згадую RMSD в кінці, я маю на увазі метрику помилки для "оцінки ймовірності", а не значення пікселів.
Спочатку я почав розглянути питання про використання нейронних мереж у 2000 році (публікація comp.dsp) для створення пропущених високих частот для вибіреного цифрового звуку (перекомпонованого на більш високу частоту дискретизації) таким чином, який би був переконливим, а не точним. У 2001 році я зібрав аудіобібліотеку для тренінгу. Ось частини журналу EFNet #musicdsp Internet Relay Chat (IRC) від 20 січня 2006 року, в якій я (єхар) розмовляю про цю ідею з іншим користувачем (_Beta):
[22:18] <yehar> Проблема із зразками полягає в тому, що якщо у вас вже немає чогось "там", то що ви можете зробити, якщо ви зробите вибірку ...
[22:22] <yehar> Я одного разу зібрав великий бібліотека звуків, щоб я міг розробити "розумний" альго для вирішення цієї точної проблеми.
[22:22] <yehar> Я використовував би нейронні мережі
[22:22] <yehar>, але я не закінчив роботу: - D
[22:23] <_Beta> Проблема з нейронними мережами полягає в тому, що ви повинні мати певний спосіб виміряти
добротність результатів [22:24] <yehar> beta: у мене є думка про те, що ви можете розробити "слухача" на в той же час, коли ви розвиваєте "розумного творця звуку там"
[22:26] бета-версія: і цей слухач навчиться визначати, коли слухає створений або природний спектр. і творець одночасно розвивається, щоб спробувати обійти це виявлення
Інколи між 2006 та 2010 роками друг запросив експерта ознайомитися з моєю ідеєю та обговорити її зі мною. Вони вважали, що це цікаво, але сказали, що тренувати дві мережі, коли одна мережа може виконати роботу, не вигідно. Я ніколи не був впевнений, чи не вони отримають основної ідеї або якщо вони негайно побачили спосіб сформулювати це як єдину мережу, можливо, з вузьким місцем десь у топології, щоб розділити її на дві частини. Це було в той час, коли я навіть не знав, що зворотне розповсюдження - це все ще метод де-факто навчання (дізнався, що робити відео в захопленні Deep Dream 2015). Протягом багатьох років я говорив про свою ідею з парою науковців даних та іншими, які, на мою думку, могли зацікавити, але реакція була м'якою.
У травні 2017 року на YouTube [Дзеркало] я побачила презентацію підручника Яна Гудфеллоу , яка повністю зробила мій день. Мені це здалося такою ж основною ідеєю, з відмінностями, як я зараз розумію, викладеними нижче, і була наполеглива робота, щоб вона дала хороші результати. Також він дав теорію, або все базував на теорії, чому це має працювати, в той час як я ніколи не робив жодного формального аналізу своєї ідеї. Презентація Goodfellow відповіла на питання, які у мене були, і багато іншого.
GAN Goodfellow та запропоновані розширення включають джерело шуму в генераторі. Я ніколи не думав включати джерело шуму, але замість цього контекст навчальних даних краще узгоджував цю ідею з умовною GAN (cGAN) без введення векторного шуму та з моделлю, обумовленою частиною даних. Моє теперішнє розуміння на основі Матьє та ін. 2016 рік - джерело шуму не потрібне для корисних результатів, якщо є достатня варіативність входу. Інша відмінність полягає в тому, що GAN Goodfellow мінімізує ймовірність журналу. Пізніше було введено найменше квадратів GAN (LSGAN) ( Mao et al. 2017), що відповідає моїй пропозиції RMSD. Отже, моя ідея відповідала б ідеї умовно-найменшої генеративної генеральної змагальної мережі (cLSGAN) без шумового введення в генератор та з частиною даних як умовою введення. А генеративні зразки генераторів з апроксимації розподілу даних. Зараз я знаю, якщо і сумніваюся, що шумний внесок у реальному світі дозволив би це зробити з моєю ідеєю, але це не означає, що результати не були б корисними, якби не.
Різниці, згадані у вище, є основною причиною, чому я вважаю, що Гудфллоу не знав і не чув про мою ідею. Інша справа, що в моєму блозі не було іншого вмісту машинного навчання, тому він би користувався дуже обмеженою експозицією в колах машинного навчання.
Це конфлікт інтересів, коли рецензент чинить тиск на автора, щоб цитувати власну роботу рецензента.