Сучасний алгоритм навчання ансамблю у завданнях розпізнавання образів?


14

Структура цього питання полягає в наступному: спочатку я надаю поняття ансамблевого навчання , далі подаю список завдань розпізнавання шаблонів , потім наводжу приклади алгоритмів навчання ансамблю та, нарешті, ввожу своє запитання. Ті, кому не потрібна вся додаткова інформація, можуть просто подивитися на заголовки і перейти безпосередньо до мого питання.


Що таке ансамблеве навчання?

Відповідно до статті Вікіпедії :

У статистиці та машинному навчанні методи ансамблі використовують декілька алгоритмів навчання, щоб отримати кращу прогнозовану ефективність, ніж можна отримати з будь-якого зі складових алгоритмів навчання. На відміну від статистичного ансамблю в статистичній механіці, який зазвичай нескінченний, ансамбль машинного навчання посилається лише на конкретний кінцевий набір альтернативних моделей, але, як правило, дозволяє існувати набагато більш гнучку структуру серед цих альтернатив.


Приклади завдань розпізнавання шаблонів:


Приклади алгоритмів навчання ансамблю:

Наступні алгоритми навчання ансамблю, що використовуються для виконання завдань PR (відповідно до Wiki):

Складіть алгоритми навчання (керовані мета-алгоритми для комбінування кількох алгоритмів навчання разом):


Різні реалізації

  • Ансамблі нейронних мереж (сукупність моделей нейронної мережі, що приймають рішення шляхом усереднення результатів окремих моделей).
  • Випадковий ліс (ансамблевий метод навчання класифікації, регресії та інших завдань, які функціонують шляхом побудови безлічідерев рішеньу навчальний час та виведення класу, що єрежимомкласів (класифікація) або середнім прогнозуванням (регресією) особистості дерева).
  • AdaBoost (вихід інших алгоритмів навчання ("слабких учнів") об'єднується у зважену суму, яка представляє кінцевий вихід підсиленого класифікатора).

Додатково:

  • Методи, які використовують одну нейронну мережу для об'єднання різних класифікаторів
  • Метод областей компетентності

Моє запитання

Який із алгоритмів навчання ансамблю вважається найсучаснішим на сьогодні та фактично використовується на практиці (для виявлення обличчя, розпізнавання реєстраційних табличок транспортних засобів, оптичного розпізнавання символів тощо) підприємствами та організаціями? Використання алгоритмів навчання ансамблю повинно підвищити точність розпізнавання та призвести до кращої обчислювальної ефективності. Але чи справді так стоять справи в реальності?

Який метод ансамблю, потенційно, може виявити кращу точність класифікації та ефективність у завданнях розпізнавання образів? Можливо, деякі методи зараз застаріли або виявились неефективними. Можливо також, що методи ансамблю тепер, як правило, більше не використовуються на основі деяких нових алгоритмів. Тим, хто має досвід у цій галузі або має достатньо знань у цій галузі, чи можете ви допомогти з’ясувати питання?


Що я чув недавно, це те, що люди люблять XGBoost, і він показав справді вражаючі показники на кількох змаганнях Kaggle.
Sangwoong Yoon

Відповідь коротка: та, яка дає найкращу оцінку CV. Зазвичай це укладання
Олексій Григорьов

Успіх і невдача ансамблевої моделі є функцією моделей-членів ансамблю та характером даних. Ансамбль працює тому, що моделі-учасниці створюють певну різноманітність. Ваше питання, ймовірно, невідповідне без специфіки як тих моделей, які ви вкладаєте у свій ансамбль, так і відповідних наборів даних.
horaceT

Відповіді:


9

Сучасні алгоритми можуть відрізнятися від використовуваних у виробництві в галузі. Крім того, останні можуть вкласти кошти в точну настройку більш основних (і часто більш інтерпретаційних) підходів, щоб вони працювали краще, ніж те, що хотіли б вчені.

Приклад 1: За версією TechCrunch , у вересні Nuance почне використовувати "технологію глибокого навчання" у своїх продуктах розпізнавання мови Dragon.

Приклад 2: Chiticariu, Laura, Yunyao Li та Frederick R. Reiss. "Вилучення інформації, заснованої на правилах, мертва! Системи вилучення інформації на основі правил, що живуть на правилах!" У EMNLP немає. Жовтень, С. 827-832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=uk&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

введіть тут опис зображення

З цим сказано:

Який із алгоритмів навчання ансамблю вважається сучасним

Одна з найсучасніших систем класифікації зображень отримує певний виграш із ансамблем (як і більшість інших систем, наскільки я знаю): Він, Каймінг, Сянцю Чжан, Шаокін Рен і Цзян Сун. "Глибоке залишкове навчання для розпізнавання зображень." arXiv передрук arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=uk&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

введіть тут опис зображення


3

Я думаю, що можна сказати, що глибоке навчання є значною мірою найсучаснішим у більшості субдоменів комп'ютерного зору (класифікація, виявлення, суперроздільна здатність, виявлення краю, ...) за винятком дуже специфічної задачі, такої як SLAM, де глибоке навчання ще не нарівні з існуючими методами.

Часто для отримання середнього рівня конкурентних мереж використовується кілька додаткових відсотків, але мережі стають настільки хорошими, що це вже не має великого значення.

У виробництві це зовсім інше. Великі компанії, як правило, покладаються на старі алгоритми, які виявились ефективними, і що фахівці мають знання та багаторічну практику їх використання.
Плюс інтеграція нового алгоритму в ланцюжок поставок вимагає багато часу. Я думаю, що деякі компанії-камери досі використовують детектор Viola Jones для виявлення обличчя, і я знаю, що SIFT широко використовується у багатьох програмах у промисловості.

Вони також ще трохи скептично ставляться до глибоких методів навчання, які вважаються небезпечними чорними скриньками.
Але вражаючі результати цих алгоритмів повільно змушують людей змінити свою думку про це.

Стартапи більш охоче використовують такі рішення, оскільки для отримання фінансування вони повинні мати інноваційні рішення.

Я б сказав, що через двадцять років більшість продуктів на основі комп’ютерного зору використовуватимуть глибоке навчання, навіть якщо між ними буде виявлено щось більш ефективне.
Щоб додати відповідь Франка, глибоке навчання змінюється настільки швидко, що ResNets Kaiming Він більше не є найсучаснішим. Густо пов'язані конволюційні мережі та широкі та глибокі мережі з перезавантаженням SGD тепер є SOTA на EDIT CIFAR і SVHN, і, мабуть, Imagenet теж навіть це може змінитися за кілька днів із результатами ILSVRC 2016 16 вересня.

Якщо вас зацікавить більше сучасних результатів на MS-COCO, найважливіший набір даних виявлення вийде у ECCV у жовтні.


1
Насправді після подвійної перевірки статті, які я цитував, не згадують їх результати на Imagenet! Так що це моя помилка! але оскільки вони значно перевершують CIFAR і SVHN, я думаю, що це має бути те саме на Imagenet, але ви ніколи не знаєте. Я думаю, вони не згадували про це, щоб чекати результатів ILSVRC, але я можу помилятися!
Джин

1
@FranckDernoncourt ця несамовитість результатів є дуже захоплюючою, але також може чинити сильний тиск на людей, які хочуть опублікувати в цій галузі, що може призвести до помилок на зразок цієї нині сумно відомої статті SARM, яку автор відкликав сьогодні від NIPS.
джин

Дякую, так, я справді це побачив, але не отримав шансу перевірити цей папір ... У мене виникає проблема, щоб виправити мій список для читання з усіма цими новими PDF-файлами ANN: /
Франк Дернонкурт

Цей випадок вилучення SARM змушує мене переосмислити кризу відновлення статистики. Скільки деталей щодо впровадження потрібно вимагати в процесі перегляду, скільки занадто мало тощо
horaceT

2

З вашим запитанням багато що, якщо зазвичай, пошук найкращої моделі включає тестування більшості з них на даних. Тільки тому, що модель в теорії могла б дати більш точні результати, не означає, що вона завжди буде створювати модель з найменшою помилкою.

Якщо говорити ... Ансамблі Neural Net можуть бути дуже точними, якщо ви можете прийняти чорну скриньку. Варіація як за кількістю вузлів, так і за кількістю шарів може охопити велику кількість розбіжностей у даних, при введенні цього безлічі факторів моделювання було б легко переоцінити дані.

Випадкові ліси рідко дають найточніші результати, але розширені дерева можуть моделювати складні взаємозв'язки, як у завданнях ШІ, про які ви обговорювали, без особливого ризику перевитрати.

Можна подумати, ну чому б не просто зібрати всі ці моделі разом, але ця модель компромісує щодо можливих переваг окремих моделей. Знову це, ймовірно, призведе до деяких проблем із придатністю.

Моделі, які обчислювально ефективні, - інша справа, і я б не починав із дуже складної нейронної сітки. Використовуючи нейронну сітку в якості еталону, на мій досвід, вона була найбільш ефективною з використанням підсилених дерев.

Це ґрунтується на моєму досвіді та розумному розумінні теорії, що лежить в основі кожного з розглянутих типів моделювання.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.