Можливі також GAN (генеративні змагальні мережі) для тексту?

Чи GAN - генеративні змагальні мережі - хороші лише для зображень, чи можуть бути використані і для тексту?

Мовляв, тренуйте мережу генерувати змістовні тексти із резюме.

UPD - цитати винахідника GAN Ian Goodfellow.

GAN не застосовуються до NLP, оскільки GAN визначені лише для даних, що мають реальне значення. ( 2016 ) джерело

Це не принципово хибна ідея. Має бути можливість зробити хоча б одне з наступних ... (2017) джерел

Так, GAN можуть використовуватися для тексту. Однак існує проблема поєднання того, як працюють GAN і як текст, як правило, генерується нейронними мережами:

• GAN працюють шляхом розповсюдження градієнтів через композицію Generator і Discriminator.
• Текст, як правило, генерується за допомогою остаточного шару softmax над токеновим простором, тобто вихід мережі зазвичай є ймовірністю генерації кожного маркера (тобто дискретної стохастичної одиниці).

Ці 2 речі не працюють добре самостійно, тому що ви не можете поширювати градієнти через дискретні стохастичні одиниці. Для цього можна вирішити два основні підходи: алгоритм REINFORCE та репараметрізація Gumbel-Softmax (також відомий як розподіл бетону ). Враховуйте, що REINFORCE, як відомо, має великі відмінності, тому вам потрібні великі обсяги даних, щоб отримати хороші оцінки градієнта.

Як приклад REINFORCE для текстових GAN можна переглянути статтю SeqGAN . Приклад Gumbel-Softmax ви можете переглянути в цій статті .

Іншим абсолютно іншим варіантом є відсутність дискретного стохастичного блоку як виходу генератора (наприклад, генерування жетонів детерміновано у вбудованому просторі), отже, усунення первісної проблеми зворотного розповсюдження через них.

На цю тему є ще більш конкретні дослідження:

Підготовлений генератор здатний складати речення з певним рівнем граматики та логіки.

Xuerong Xiao, "Генерація тексту за допомогою генеративного змагального навчання"

Це питання стосується цього: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientist-problem

Так, GAN тепер можна використовувати і для дискретних даних. Перший екземпляр цієї інтуїції з'явився, коли виникли GAS-та Wasserstein (WGAN). Іан Гудфелло звернувся до підходу до посилення навчання до цієї проблеми на Конференції NIPS 2016 Також у цій статті йдеться про просування в GAN стосовно дискретних даних.