Чи глибоке навчання вбиває обробку зображень / комп'ютерний зір?

Я з нетерпінням чекаю поступити на магістратуру з обробки сигналів та зображень, а може, і з комп’ютерним баченням (ще не визначився), і це питання виникло.

Моє занепокоєння полягає в тому, що глибоке навчання не потребує вилучення функцій і майже не вимагає попередньої обробки входу, це вбиває обробку зображень (або обробку сигналів взагалі)?

Я не фахівець з глибокого навчання, але, здається, дуже добре працює у завданнях розпізнавання та класифікації, які знімають зображення безпосередньо замість векторного ознаки, як інші методи.

Чи є випадок, коли традиційний підхід до вилучення особливостей + класифікаційний підхід був би кращим, використовуючи методи обробки зображень, або це вмирає через глибоке навчання?

Цю публікацію багато оновлювали. Угорі ви можете побачити оновлення посилань. Нижче наведено варіанти початкової відповіді. Для короткої версії: успіхи конволюційних нейронних мереж та глибоке навчання виглядають як свого роду Галілейська революція. З практичної точки зору, класична обробка сигналів або комп’ютерний зір мертві ... за умови, що у вас є достатньо мічених даних, мало дбайте про очевидні збої в класифікації ( глибокі недоліки ), не маєте нескінченної енергії для проведення тестів, не замислюючись про викиди вуглецю , і не турбуйте раціональні пояснення. Для інших, це змусило нас переглянути про все , що ми робили раніше: виділення ознак, оптимізація (див мого колеги Ж.-К. Pesquet роботи над Deep Neural Мережевих структурами рішення варіаційних нерівностей), інваріантність, кількісна оцінка тощо. І з цього випливає справді цікаве дослідження, яке, сподіваємось, наздогнало твердо обґрунтовані принципи та подібну ефективність.

Оновлені посилання:

• 2019/07/19: Границя: Якщо ви зможете визначити, що є на цих зображеннях, ви розумніший за ШІ , або ви бачите корабельну аварію чи комах на мертвому листі?
• 2019/07/16: Передрук: природні змагальні приклади

Ми представляємо природні змагальні приклади - реальні, немодифіковані та природні приклади, які призводять до значної погіршення точності класифікатора. Ми підкреслимо 7500 природних змагальних прикладів і випустимо їх у тестовий набір класифікаторів ImageNet, який ми називаємо ImageNet-A. Цей набір даних служить новим способом вимірювання стійкості класифікатора. Як і змагальні приклади l_p, приклади ImageNet-A успішно переносяться на невидимі або класичні класи. Наприклад, на ImageNet-A a DenseNet-121 отримує близько 2% точності, зниження точності приблизно 90%. Відновити цю точність непросто, оскільки приклади ImageNet-A використовують глибокі недоліки в поточних класифікаторах, включаючи їх надмірну залежність від кольорових, фактурних та фонових сигналів. Ми зауважуємо, що популярні методи тренувань для підвищення стійкості мають незначний ефект, але ми показуємо, що деякі архітектурні зміни можуть посилити стійкість до природних змагальних прикладів. Необхідні майбутні дослідження для забезпечення надійного узагальнення цього жорсткого тестового набору ImageNet.

• 2019/05/03: Глибоке навчання: остаточний кордон для обробки сигналів та аналізу часових рядів? "У цій статті я хочу показати декілька областей, де сигнали чи часові ряди є життєво важливими".
• 2018/04/23: Я щойно повернувся з щорічної міжнародної конференції з акустики, мови та обробки сигналів, ICASSP 2018 . Мене вразила кількість робіт, дещо покладаючись на глибоке навчання, глибокі мережі тощо. Такій темі було присвячено два пленарні засідання з чотирьох (від Алекса Ачеро та Янна Лекуна). У той же час більшість дослідників, з якими я зустрічався, жартували з цього приводу ("Вибачте, мій плакат знаходиться на банках фільтрів, а не на глибокому навчанні", "Я не в цьому, у мене є невеликі набори даних") або цікавились, як набрати 0,5% на грандіозні виклики та втратити зацікавлених у моделюванні фізики чи статистичних пріорів.
• 14.01.2018: Чи може глибока сітка побачити кота? , від "абстрактного кота", до "найкращого кота", перевернутого, намальованого тощо, і якось перевершує результати на ескізах
• 2017/11/02: додано посилання на розсіювання перетворень / мереж
• 2017/10/21: Огляд згорткових нейронних мереж для зворотних проблем у зображенні
• Поглиблене навчання та його застосування для обробки сигналів та інформації , журнал IEEE "Обробка сигналів", січень 2011

Поглиблені посилання на вивчення "кроків" при стандартній обробці сигналів / зображень можна знайти внизу. Майкл Елад щойно написав Deep, Deep Trouble: Вплив глибокого навчання на обробку зображень, математику та людство (SIAM News, 2017/05), уривок:

Потім нейронні мережі раптом повернулися і з помстою.

Ця трибуна представляє інтерес, оскільки вона демонструє перехід від традиційної "обробки зображень", намагаючись моделювати / розуміти дані, до сфери правильності, не маючи особливого розуміння.

Цей домен розвивається досить швидко. Це не означає, що воно розвивається в якомусь навмисному чи постійному напрямку. Ні правильно, ні неправильно. Але сьогодні вранці я почув таке висловлювання (чи це жарт?):

поганий алгоритм з величезним набором даних може зробити краще, ніж розумний алгоритм з даними про підключення .

Ось моя дуже коротка спроба: глибоке навчання може дати найсучасніші результати, але не завжди зрозуміти, чому , і частина нашої роботи вченого залишається пояснити, чому все працює, який вміст даних тощо.

Глибоке навчання вимагає (величезних) добре розмічених баз даних. Будь-який час виконайте ремісничі роботи над окремими чи поодинокими зображеннями (тобто без величезної бази даних позаду), особливо там, де навряд чи вийде «безкоштовне зображення з тегами користувача» (у додатковому наборі набору « смішні коти, що грають в ігри та обличчя ») , ви можете дотримуватися традиційної обробки зображень на деякий час та отримувати прибуток. Нещодавно твіт резюмує , що:

Необхідність (безліч) мічених даних (без відсутніх змін) є вимикачем угод (і непотрібним) для багатьох доменів

Якщо їх вбивають (у чому я сумніваюся за короткий термін), вони ще не вмерли. Тож будь-яка навичка, яку ви здобудете в обробці сигналів, аналізі зображення, комп'ютерному зорі, допоможе вам у майбутньому. Про це, наприклад, йдеться у публікації блогу: чи ми забули про геометрію в комп’ютерному зорі? автор: Алекс Кендалл:

Глибоке навчання зробило революцію в комп'ютерному зорі. Сьогодні існує не так багато проблем, коли найкраще рішення не базується на моделі глибокого навчання. Зокрема, популярні нейромережі згортки, оскільки вони, як правило, працюють досить добре. Однак ці моделі в основному великі чорні коробки. Є багато речей, які ми про них не розуміємо.

Конкретним прикладом може слугувати наступне: пара дуже темних (наприклад, спостереження) зображень з одного і того ж місця, потребуючи оцінити, чи містить одне з них певну зміну, яку слід виявити, потенційно є питанням традиційної обробки зображень, більше Глибоке навчання (станом на сьогодні).

З іншого боку, настільки успішне, як глибоке навчання у великих масштабах, це може призвести до неправильної класифікації невеликих наборів даних, що може бути нешкідливим «в середньому» для деяких додатків. Два зображення, які трохи відрізняються від людського ока, можна класифікувати по-різному через DL. Або випадкові зображення можуть бути встановлені для певного класу. Дивіться, наприклад, глибокі нейронні мережі легко обманюються: прогнози високої довіри до невпізнанних зображень (Nguyen A, Yosinski J, Clune J. Proc. Комп'ютерне бачення та розпізнавання образів 2015), чи глибоке навчання має глибокі недоліки? , щодо змагальних негативів:

Мережа може неправильно класифікувати зображення після того, як дослідники застосували певне непомітне збурення. Збурення знаходять шляхом коригування значень пікселів для максимальної помилки прогнозування.

З усією належною повагою до "Глибокого навчання" подумайте про "масове виробництво у відповідь на зареєстроване, відоме, масове підтвердження чи очікуване поведінку", а не "єдиний предмет ремесла". Жодна краща (поки що) в єдиній шкалі індексу. Обом, можливо, доведеться співіснувати деякий час.

Однак глибоке навчання пронизує багато нових напрямків, як описано в посиланнях нижче.

• Глибоке навчання стисненню зображень
  • Адаптивне стиснення зображення в режимі реального часу , ICML 2017
  • Повна роздільна здатність стиснення зображень з періодичними нейронними мережами
  • Оптимізована стислість зображення в кінці до кінця , ICRL 2017
• Глибоке навчання для стиснення відео
  • Чи можна застосувати глибоке навчання до стиснення відео?
• Глибоке навчання для позначання, реставрації, видалення артефактів
  • CAS-CNN: Глибока згорнута нейронна мережа для придушення артефакту стиснення зображення
  • Суперроздільна здатність із глибокою згортковою статистикою

На щастя, деякі люди намагаються знайти математичне обґрунтування глибокого навчання, прикладом якого є розсіювання мереж або перетворень, запропонованих Стефаном Маллатом та співавторами, див. Сайт ENS для розсіювання . Гармонічний аналіз та нелінійні оператори, функції Ліпшіца, інваріантність трансляції / обертання, що краще для середньої людини, що обробляє сигнал. Дивіться, наприклад, Розуміння глибоких згорткових мереж .

По-перше, немає нічого поганого в тому, щоб робити ступінчасті роботи з обробки зображень чи комп’ютерного зору та використовувати глибоке навчання. Глибоке навчання не вбиває обробку зображень та комп’ютерний зір, це лише актуальна актуальна тема досліджень у цих галузях.

По-друге, глибоке навчання в основному використовується для розпізнавання об'єктних категорій. Але це лише одна з багатьох областей комп’ютерного зору. Існують й інші сфери, такі як виявлення об'єктів, відстеження, реконструкція 3D тощо. Багато з яких досі покладаються на функції "виготовлені вручну".

Ніяке глибоке навчання не вбиває обробку зображень. Для глибокого навчання вам потрібні величезні набори даних та багато обчислювальних ресурсів. Існує безліч додатків, де бажано мати можливість обробляти зображення з меншим навантаженням на обчисленні та меншими слідами пам’яті та не маючи доступу до величезних баз даних. Деякі приклади - мобільні телефони, планшети, мобільні камери, автомобілі, квадрокоптери. Глибоке навчання зараз дуже розкручене, оскільки існує кілька дуже вражаючих результатів для класифікації.

Класифікація - одна з багатьох проблем, з якою вирішує процес обробки зображень, навіть якщо це було б правдою, що глибоке навчання вирішить усі проблеми класифікації, залишилося б ще багато інших видів обробки зображень. Зниження шуму, реєстрація зображень, обчислення руху, морфінг / змішування, різкість, оптичні корективи та перетворення, обчислення геометрії, 3D-оцінка, 3D + часові моделі руху, стерео-зір, стиснення та кодування даних, сегментація, знімання обертів, стабілізація руху, комп’ютерна графіка, всі види візуалізації.

Сьогодні ми мали дискусію з моїм другом. Тут був дощовий день у Мюнхені, тоді як у значної частини Європи була сонячна атмосфера. Люди ділилися фотографіями в соціальних мережах, де вони були в приємних літніх сукнях, блукаючи морями. Вона була роздратована цією ситуацією і звернулася до мене і запитала: "Чи не могли б ви написати програмне забезпечення для блокування картинок у соціальних мережах, які передбачають такі милі фото літа, коли погода тут така погана?". Я сказав, чому ні. Все, що вам потрібно зробити, - це зібрати величезний набір літніх зображень, а негативних прикладів, подавати їх через мережу, яка робить бінарну класифікацію за рівнем "Блок" або "Неблок". Навчайте та налаштовуйте мережу. Це воно.

Потім я звернувся до себе: чи я насправді знаю, як написати простий алгоритм, щоб вирішити, чи гарна погода чи ні, не даючи машині замислитись за мене? Навряд чи ... Можливо ... Для допитливого читача ось декілька функцій, які ви могли б захотіти розробити, якщо ви спробуєте скористатися цим:

Двокласна класифікація погоди, Cewu Lu§ Di Lin, Jiaya Jia, Chi-Keung Tang , CVPR 2014

Очевидно, я б навіть не переймався цією публікацією CVPR сьогодні, а просто заглиблююся. Отже, наскільки мені подобається глибоке навчання за його надійне виконання у багатьох сценаріях, я також обережно використовую це. Навіть якщо це не вб'є мої знання з обробки зображень, це, як правило, знижує доменний досвід, який мені потрібен. Інтелектуально це не дуже елегантно.

Як тільки людина вирішить тримати себе на шляху і отримувати користь з обох світів, він стане на безпечній стороні.

Коротка відповідь: Ні. DL може розпізнати кухоль на фотографії, але це ніяк не вбиває обробку сигналів. Однак, ваше запитання є досить актуальним у ці неспокійні дні. Існує гарна дискусія на цю тему, показуючи Стефан Маллат і т.д., тут .

Інженерія даних все ще використовується в машинному навчанні для попередньої обробки та вибору даних, що надходять до DNN, щоб покращити час навчання та ефективність їх оцінки. Обробка зображень (матеріали між датчиком камери та біт-картами RGB / тощо., Що подаються до DNN), форма інженерії даних все ще потрібна.

Ретельне розуміння обробки сигналів (поряд з лінійною алгеброю, векторним обчисленням, математичною статистикою тощо) неодмінно необхідне для нетривіальної роботи в галузі глибокого навчання, особливо в комп'ютерному зорі.

Деякі документи з високим впливом у процесі глибокого навчання (тепер, коли більшість плодів, що висіли низько), свідчать про добре розуміння понять обробки сигналів.

Кілька мотиваційних концепцій:

• Розширені звивини : ознайомтеся з цим поштовим блогом . Одним з перших рівнянь було б хліб з маслом для людини, добре обгрунтованої (га) в концепціях обробки сигналів. Це також тісно пов’язане з жорстким алгоритмом, знайденим у класичній обробці сигналів вейвлетів.
• Транспоновані згорткові шари / Deconv шари. Знову основні концепції обробки сигналів.
• Формування конвеєрних фільтрів - потрібне гарне уявлення про операторські норми та зіставлення скорочень. Зазвичай це є або в курсі ЕЕ ступеня в теорії сигналів або в системах управління, або в курсах з математики з аналізу (реального або функціонального).
• Приклади змагальності : одна з перших робіт, що досліджували це ( "Інтригуючі властивості ..." ), формалізувала це з точки зору збурень і використовувала константи Ліпшица різних шарів і нелінійності в нейронній мережі для верхньої межі чутливості до такі збурення. Погоджений, аналіз був дуже попереднім, але, знову ж таки, я вважаю, що це підтверджує те, що для досягнення нетривіального прогресу в чому-небудь, включаючи глибоке навчання, потрібно нетривіальне розуміння теорії.

Список продовжується. Таким чином, навіть якщо ви закінчите роботу в галузі комп’ютерного зору і глибоке навчання своїм проблемам, фон обробки сигналів зробить вас дуже легко зрозуміти.

Я насправді не займаюся великою обробкою зображень, але працював у організації (ВМС США), яка робила та фінансувала дослідження класифікації сигналів востаннє, коли «Нейронні сітки» були гарячою темою, з середини до кінця 80-х. Мені довелося пережити велику кількість по суті маркетингових речей. Аргументи були такі:

• Це Нейрон, як і ваш мозок, і оскільки він перевершив лінійний класифікатор, він перемагає статистичні методи. Я насправді знаю деяких людей, які відхилили документи, оскільки вони використовували статистику для оцінки ефективності.
• Нейронні мережі є індуктивними, вони можуть правильно класифікувати речі, якщо жоден чи кілька прикладів не були у їх навчальних наборах.
• DARPA фінансує роботу, і всі ми знаємо, що все, що робить DARPA, є переможцем. (Google ще не було)
• Це не чудова ефективність, не потрібна матриця плутанини, не потрібні приори класів, я можу просто сказати вам, яка моя ймовірність помилки. Мені не потрібні межі, я просто виконую перемикання та перенавчання.
• Виберіть деякі функції та перейдіть до цього, його чорна скринька, масштабування, вирівнювання даних, неприйняття безладу, погані мітки, поява декількох класів, не моя проблема.
• Туман математики, машини Больцмана
• Давайте кинемо у SVD і, можливо, фрактальний розмір.
• Під контрольованою / непідконтрольною наживкою і перемикачем я знайду всі ваші приховані схеми. Хіба ця асоціативна пам’ять не є глибокою?

Книга Єпископа знадобилася, щоб придушити мій цинізм.

У більш ніж декількох додатках для оптимального алгоритму обробки сигналів потрібен буде вичерпний пошук перерахунку у великому просторі параметрів, який швидко стає непереборним. Велика ферма серверів може збільшити цей доступний простір пошуку, але в якийсь момент вам потрібно знайти евристику. Здається, DL зможе знайти деякі з цих евристик, але це не вирішує основну оптимізацію NP.

Моя точка зору з університету полягала в тому, що багато людей, що обробляють сигнали, трохи вороже ставляться до ML, я підозрюю, тому що вони відчували загрозу, що це посягає на їх домен. Але останнім часом було проведено чимало досліджень переваг складних глибоких нейронних мереж, які можуть припустити, що золотий квиток - це справді добре розуміння обох дисциплін.

Ну так. Так само, як розвиток мов програмування вищого рівня, таких як C ++ та Python, "убив" програмування монтажу. Це не означає, що не важливо вивчати складання, коли ви записуєтесь на курс CS. Це дає велике розуміння того, як працює комп’ютер, що відбувається за лаштунками мов вищого рівня, які основні принципи комп'ютерної мови і т. Д. Але ніхто, хто не знає розуму, не зможе програмувати настільний додаток у зборі.