Яка різниця між "трансферним навчанням" та "адаптацією домену"?

Чи є якась різниця між «трансферним навчанням» та «адаптацією домену»?

Я не знаю про контекст, але я розумію, що ми маємо деякий набір даних 1 і тренуємось на ньому, після чого у нас є ще один набір даних 2, для якого ми хочемо адаптувати свою модель, не перекваліфікуючись з нуля, для чого «перенести навчання» та "адаптація домену" допомагає вирішити цю проблему.

Відповідно до галузі конволюційних нейронних мереж:

• Під «трансферним навчанням» я маю на увазі «finetuning» [1]

• У цьому випадку [2] це не піддається нагляду, але чи слід завжди адаптувати домен?

Здається, що між дослідниками існують розбіжності щодо того, в чому полягає різниця між «трансферним навчанням» та «адаптацією домену».

Від {0}:

Поняття адаптації домену тісно пов'язане з трансферним навчанням. Трансферне навчання - це загальний термін, який відноситься до класу проблем машинного навчання, які передбачають різні завдання або сфери. У літературі ще немає стандартного визначення трансферного навчання. У деяких роботах він взаємозамінний з адаптацією домену.

Від {1}:

Список літератури:

• {0} Лі, Ци. "Огляд літератури: алгоритми адаптації домену для обробки природних мов." Кафедра інформатики Випускник центру, Міський університет Нью-Йорка (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=uk&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( дзеркало) )

• {1} Пан, Сінно Джаалін і Цянь Ян. "Опитування щодо трансферного навчання." IEEE Операції зі знань та інженерії даних 22, вип. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=uk&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( дзеркало ) (цитати 2.6k)

З статті Хал Дауме [1]:

Стандартний параметр класифікації - це вхідний розподіл p (X) та розподіл міток p (Y | X). Адаптація домену: коли p (X) змінюється між навчанням та тестом. Трансферне навчання: коли p (Y | X) змінюється між навчанням і тестом.

Іншими словами, в DA введення розподілу змінюється, але мітки залишаються однаковими; у TL розподільні входи залишаються однаковими, але мітки змінюються.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( дзеркало )

У всій літературі з трансферного навчання існує ряд термінологічних невідповідностей. Такі фрази, як трансферне навчання та адаптація домену, використовуються для позначення подібних процесів. Адаптація домену - це процес адаптації одного або декількох вихідних доменів для засобів передачі інформації для підвищення ефективності роботи цільового учня. Процес адаптації домену намагається змінити вихідний домен, намагаючись наблизити розподіл джерела до розподілу цілі. У налаштуваннях адаптації домену вихідний та цільовий домени мають різні граничні розподіли p (X). Згідно з опитуванням Пана, Трансферне навчання - це більш широкий термін, який також може включати випадок, коли є різниця в умовних розподілах p (Y | X) вихідної та цільової областей. У контрасті,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Я думаю, що "Трансферне навчання" - це більш загальний термін, а "Адаптація домену" - це сценарій "Трансферного навчання".

[1] Передавальна увага для адаптації домену. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Відповідно до [1], адаптація домену - це трансферне навчання в NLP: "Трансферне навчання в домені NLP іноді називається адаптацією домену".

[1] Пан, SJ та Q. Ян. «Опитування щодо трансферного навчання». Операції IEEE зі знань та інженерії даних 22, вип. 10 (жовтень 2010 р.): 1345–59. https://doi.org/10.1109/TKDE.2009.191 або https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf