Чи можна використовувати автокодери для контрольованого навчання?

9

Чи можна використовувати автокодери для контрольованого навчання без додавання вихідного шару ? Чи можемо ми просто подати його зв'язаним вектором вводу-виводу для тренувань і реконструювати вихідну частину з вхідної частини під час виконання висновку? Вихідна частина трактуватиметься як пропущені значення під час висновку, і буде застосовано деяку імпутацію.

neural-networks

— rcpinto
джерело

Я не зовсім розумію. Якщо ви навчаєте його за допомогою векторів вводу-виводу, вам також знадобляться вихідні вектори, роблячи умовивід, щоб подати його в мережу. Що ти збираєшся з цим робити?

— Дідам I

Ні, вони вважатимуться відсутніми величинами та певним чином приписатись. Потім автокодер намагатиметься реконструювати його (можливо, знадобиться кілька ітерацій). Питання полягає саме в доцільності цієї ідеї. Відредагую, щоб уточнити.

— rcpinto

2

Один такий документ, про який я знаю, і який я реалізував, - це напівпідконтрольне навчання за допомогою Ladder Networks . Я цитую тут їх опис моделі:

Наш підхід слід за Вальполою (2015), яка запропонувала мережу Сходів, де допоміжним завданням є позначення уявлень на кожному рівні моделі. Структура моделі являє собою автокодер з пропускними з'єднаннями від кодера до декодера, і навчальна задача подібна до заданої для позначення автокодер, але застосовується до кожного шару, а не лише до входів. Пропускні з'єднання знімають тиск для представлення деталей у вищих шарах моделі, оскільки через пропускні з'єднання декодер може відновити будь-які деталі, відкинуті кодером.

Для подальших роз'яснень щодо архітектури перевірте Деконструкція архітектури драбинкової мережі Йошуа Бенджо.

— AlexGuevara
джерело

1

Я пригадую, як читав документи про такі системи, якщо я вас правильно зрозумів, але наразі не можу пригадати заголовки.

Ідея полягала в тому, щоб використовувати на основі символів генеративні RNN, навчити їх на послідовності, закодовані як "datadatadatadata | відповідь", а потім при подачі в "otherdatadata |" тоді він би продовжував генерувати якусь очікувану відповідь.

Але, наскільки я пам'ятаю, це була просто акуратна ілюстрація, оскільки якщо у вас є дані, щоб зробити щось під наглядом, то ви отримаєте кращі результати звичайними методами.

— Петерис
джерело