Що означає «інваріант перестановки» у контексті нейронних мереж, що розпізнають зображення?

Я бачив термін "інваріант перестановки" завдання завдання розпізнавання знаків MNIST. Що це означає?

Відповіді:

У цьому контексті це стосується того, що модель не передбачає ніяких просторових зв’язків між ознаками. Наприклад, для багатошарового перцептрона, ви можете переставити пікселі, а продуктивність буде однаковою. Це не стосується конволюційних мереж, які передбачають сусідські відносини.

— байерж
джерело

так, це заплутана частина. Чи не має бути просторових співвідношень у класифікації цифр?

— RockTheStar

MNIST широко використовується як орієнтир (або перевірка здоровості) в нейронних мережах. Якщо ваша модель може отримати <1% помилки при перестановці інваріантного MNIST, ви переходите до чогось.

— байерж

Так, я маю на увазі, чи не існує просторових відносин у цифрах? Якщо перестановити цифрові пікселі, це змінить порядок пікселів, що істотно впливає на продуктивність !?

— RockTheStar

Тільки якщо модель передбачає це. mlps не роблять, convnets роблять. Ось чому порівнювати конвент з mlp на mnist дещо несправедливо.

— bayerj

Я бачу! Отож, у наборі даних із списку даних, чи є кращі mlps ефективнішими або convnet?

— RockTheStar

Функція векторного аргументу є перестановкою інваріантною, якщо значення не змінюється, якщо ми перестановлюємо компоненти , тобто, наприклад, коли : тощо. $f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— kjetil b halvorsen
джерело

Ця відповідь трохи вводить в оману, тому що в машинному навчанні алгоритм навчання часто є інваріантним перестановкою, тоді як функція, яку він повертає, не є.

— bayerj

@bayerj: Це цікава інформація, але я не можу побачити, що вона дає визначення, яке я дав, вводить в оману , це правильне визначення, але, можливо, не повна відповідь у цьому контексті.

— kjetil b halvorsen

Ви праві, визначення правильне. Але це не застосовується в тому, як ви це записуєте. В умовах перестановки інваріантного MNIST, про який запитував ОП, функції форми, яку ви записуєте, не виникають.

— bayerj