Чим softmax_cross_entropy_with_logits відрізняється від softmax_cross_entropy_with_logits_v2?

Зокрема, я думаю, мені цікаво таке твердження:

Майбутні основні версії TensorFlow дозволять градієнтам потрапляти в мітки, що вводяться на задній панелі, за замовчуванням.

Що відображається при використанні tf.nn.softmax_cross_entropy_with_logits. У цьому ж повідомленні він закликає мене подивитися tf.nn.softmax_cross_entropy_with_logits_v2. Я переглянув документацію, але в ній вказано лише, що для tf.nn.softmax_cross_entropy_with_logits_v2:

Зворотне розповсюдження відбуватиметься як у логітах, так і в мітках. Щоб заборонити повторне розповсюдження на мітках, пропустіть тензори міток через stop_gradients перед подачею на цю функцію.

на відміну від tf.nn.softmax_cross_entropy_with_logits:

Зворотне розповсюдження відбуватиметься лише в логітах.

Будучи дуже новими в цій темі (я намагаюся пробитися через основні навчальні посібники), ці твердження не дуже зрозумілі. Я неглибоко розумію зворозне розповсюдження, але що насправді означає попереднє твердження? Як пов’язані розмноження та мітки? І як це змінюється, як я працюю, на tf.nn.softmax_cross_entropy_with_logits_v2відміну від оригіналу?

У вас є всі підстави плутатись, оскільки при контрольованому навчанні не потрібно повторно поширюватися на мітки. Вони вважаються істинною основою істини, і лише ваги потрібно відрегулювати, щоб відповідати їм.

Але в деяких випадках самі етикетки можуть надходити з різного джерела, іншої мережі. Одним із прикладів може бути змагальне навчання . У цьому випадку обидві мережі можуть отримати користь від сигналу про помилку. Ось чому tf.nn.softmax_cross_entropy_with_logits_v2його запровадили . Зауважте, що коли мітки є заповнювачами (що також є типовим), немає різниці, градієнт через потоки чи ні, тому що немає змінних, до яких можна застосувати градієнт.