Чому нейронні мережі легко обдурити?

Я прочитав кілька статей про створення вручну зображень, щоб "обдурити" нейронну мережу (див. Нижче).

Це тому, що мережі лише моделюють умовну ймовірність ? Якщо мережа може моделювати спільну ймовірність p ( y , x ) , чи все ж такі випадки будуть мати місце?$p(y|x)$
$p(y,x)$

Я здогадуюсь, що такі штучно створені зображення відрізняються від тренувальних даних, тому вони мають низьку ймовірність . Отже, p ( y , x ) має бути низьким, навіть якщо p ( y | x ) може бути високим для таких зображень.$p(x)$$p(y,x)$$p(y|x)$

Оновлення

Я спробував кілька генеративних моделей, виявилося, що вони не є корисними, так що, мабуть, це є наслідком MLE?

Я маю на увазі у випадку, коли дивергенція KL використовується як функція втрат, значення де p d a t a ( x ) невелике, не впливає на втрати. Отже, для надуманого зображення, яке не відповідає p d a t a , значення p θ може бути довільним.$p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

Оновлення

Я знайшов блог Андрія Карпаті, який показує

Ці результати не характерні лише для зображень, ConvNets, і вони також не є «недоліком» у Deep Learning.

ПОЯСНЕННЯ ТА ПЕРЕДАЧА ДОПЕРЕДАВНИХ ПРИКЛАДІ Глибокі нейронні мережі легко обманюються: прогнози високої довіри для невпізнанних зображень

Моделі, про які ви звертаєтесь, називаються «генеративними» моделями, на відміну від дискримінаційних, і насправді не масштабують до даних високих розмірів. Частиною успіху NN в мовних завданнях є перехід від генеративної моделі (HMM) зробити "більш" дискримінаційну модель (наприклад, MEMM використовує логістичну регресію, яка дозволяє ефективно використовувати контекстні дані https://uk.wikipedia.org/ wiki / Hidden_Markov_model # розширення )

Я б заперечував, що причина їх обману є більш загальною проблемою. Це сучасне домінування «мілкої» ІР, керованої МЛ над більш досконалими методами. [у багатьох роботах зазначається, що інші моделі ML також легко обдурити - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow]

найефективнішою «мовною моделлю» для багатьох завдань є «мішок слів». Ніхто не може стверджувати, що це є значущою моделлю людської мови. не важко уявити, що такі моделі також легко обдурити.

аналогічно завдання комп'ютерного зору, такі як розпізнавання об'єктів, були революціонізовані "візуальною сумкою слів", яка вибухала більш обчислювально обчислювані методи (які не вдалося застосувати до масивних наборів даних).

CNN - я б стверджував, що краща "візуальна сумка слів" - як ви показуєте на своїх зображеннях, помилки робляться на рівні пікселя / низькому рівні; незважаючи на всю гіперболу, у прихованих шарах немає представництва високого рівня. (всі роблять помилки, справа в тому, що людина зробить "помилки" завдяки особливостям вищого рівня і, наприклад, розпізнає мультфільм про кота, якого я не знаю " не вірите, що НН хотів би).

Прикладом більш досконалої моделі комп’ютерного зору (яка працює гірше, ніж NN) є, наприклад, модель «деталі, що деформуються».

Наскільки я знаю, більшість нейронних мереж не використовують aa priori розподіл ймовірностей для вхідних зображень. Однак ви можете трактувати вибір навчального набору таким розподілом ймовірностей. На цей погляд, ці штучно створені зображення навряд чи будуть обрані як зображення у тестовому наборі. Один із способів виміру "спільної ймовірності" - це випадкове генерування зображень та їх мітка. Проблема полягає в тому, що переважна більшість VAST не матиме етикетки. Тому отримання розумної кількості мічених прикладів знадобиться занадто багато часу.