Найпоширеніші сучасні методи сегментації зображень

Я дещо читав техніку сегментації зображень і цікавився сучасним, сучасним алгоритмам сегментації.

Які сучасні методи сегментації, які є "обов'язковим для читання", тобто в даний час найчастіше використовуються у спільноті? З якими методами ви контактували і виявили найбільш ефективними та корисними (і для якого застосування)?

Я не знаю про багато методів сегментації, але я мав справу зі структурами, які пропонують "вибір" фрагментів сегментації, які можна буде додатково вивчити для отримання задовільної сегментації.

Сподіваємось, хтось ще може написати про якийсь інший сучасний метод сегментації, про який я мало знаю.

Невеликий вступ про те, чому приємно мати вибір або рівні сегментації для іншого образу: сегментація - це неправильно визначена проблема. Земля істина не існує: бажані результати завжди залежать від вимог користувача і характеристик. Приємна цитата:

Навіть для фіксованого зображення може бути більше однієї "найкращої" сегментації, оскільки критерії, що визначають якість сегментації, залежать від програми. Це мотивувало нас зосередити наше дослідження на техніках розділення зображень, що надають "частини головоломки", які можна використовувати (...) для створення сегментації, що задовольняє конкретні потреби користувача

( П. Сойль: Обмежений зв'язок для ієрархічного розподілу зображення та спрощення (2008) )

Існують ієрархічні структури , ієрархічні декомпозиції зображень, які пропонують розділи зображень з різною складністю. Ці структури найбільш просто представлені у вигляді деревних структур, де кожен вузол представляє область на зображенні. Ідея зі структурами:

• листя структури є ділянками тонкої перегородки або надсегментацією зображення (наприклад, пікселі, плоскі зони - з’єднані області однакової інтенсивності, вододіл )
• посилання на дереві являють собою об'єднання або об'єднання (сусідніх) регіонів і утворюють більш складний регіон, і будуються таким чином, що найбільш ймовірно створюють регіони, відповідні об'єктам (сподіваємось :))
• складність регіонів збільшується вздовж кожної гілки від вузлів до кореня дерева
• кожен рівень дерева (також кожен зріз) - це розділення / сегментація зображення (грубіше, чим ближче до кореня)
• корінь дерева охоплює всю область зображення

Сегментація чому полягає з вивчення регіонів і запропонували свої союзи, щоб визначити області в дереві або вирізати з дерева , відповідного необхідної точності, або деякі відомі властивості про об'єкт інтересу або інших характеристик користувачів зумовленими.

Дерева (тобто ієрархічна декомпозиція зображень) з такими властивостями:

• $\alpha$ -речі
• $(\omega)$ -черепи
• Двійкові дерева розділів (спрямовані на сегментацію та виявлення об'єктів )

На додаток до посилань на документи, що вже надаються, деякі більш конкретні та менш конкретні поточні статті щодо таких методів сегментації:

• Кусті, Дж., Найман, Л.: Інкрементальний алгоритм щодо мінімальних ієрархічних лісів, що розкидаються, і рясність водоріз (2011)
• Сойль, П., Граццині, Дж.: Обмежена комунікація та перехідні регіони (2009)

(більш практичне):

• Serna, A., Marcotegui, B .: Реконструкція атрибутизованої реконструкції та адаптивна математична морфологія (2013)
• Merciol, F., Lefèvre, S .: Швидка сегментація зображень та відео на основі багатошарового представлення альфа-дерева (2012)

Як доповнення до відповіді Пенелопи , дві популярні сімейства (та модні) алгоритми.

Суперпікселі

Зараз дуже популярна сім'я алгоритмів під назвою Superpixels (є навіть кілька сесій Superpixel у CV-конференціях). Суперпікселі дуже схожі на надсегментацію (як те, що дає вододіл), тому потрібна деяка післяобробка.

Суперпікселі можна розглядати як невеликі однорідні області зображень . Відстань між пікселями оцінюється як при двосторонньому фільтруванні, тобто це суміш між їх просторовою відстані та їх візуальною схожістю, що доходить до 0, коли вони близькі та подібні, і до деякого більшого значення в іншому випадку.
Тоді методи суперпікселів намагаються застосовувати різні критерії, щоб утворити невеликі однорідні області щодо цього показника. Їх багато (на основі графіків, режиму пошуку / кластеризації ...), тому, мабуть, найкраще звернутися до цього технічного звіту .

(редагувати :) Якщо хтось шукає опубліковану рецензовану роботу, ця стаття є тими ж авторами і охоплює той самий матеріал, що і доповідь про техніку: Р. Аханта, А. Шаджі, К. Сміт, А. Лучі, P. Fua, S. Susstrunk: SLIC Superpixels порівняно з найсучаснішими методами Superpixel

Зауважте, що я писав першу версію відповіді, що візуально результати дуже схожі на те, що переливна сегментація дає вам. Це підтверджують автори звіту про техніку, які включають вододіли у відповідну робочу частину. Таким чином, вам також потрібно виконати ту саму післяобробку: хоча суперпікселі можуть бути зручними функціями, які використовуються замість пікселів, їх все одно потрібно згрупувати, щоб утворити регіони вищого рівня, якщо вам потрібно відстежувати / виявляти об'єкти.

Методи сегментації на основі графіків

Інша популярна сім'я алгоритмів походить від аналізу співвідношення пікселів, тобто того, наскільки пікселі близькі за своїм виглядом. Це дає сімейство методів сегментації, заснованих на теорії графіків, таких як нормалізований зріз (Дж. Ши, Дж. Малік: Нормалізовані надрізи та сегментація зображень ) .

Ось інтуїція такого підходу: припустимо, ваші пікселі тепер є точками (вершинами) графіка високого розміру.
На графіку дві вершини можуть бути з'єднані ребром , вага якого обернено пропорційний деякій відстані між вершинами. Зазвичай вагова функція буде деякою зворотною змішкою між їх просторовою відстані та їх візуальною схожістю 8а при двосторонньому фільтруванні).
Тоді, з урахуванням цього графіка, алгоритми сегментації можуть шукати кращі кластерови вершин, тобто груп вершин , які мають невелику внутригрупповое відстань і велику екстра-група відстань.

У підході до нормованого різання слід дотримуватися деякої додаткової обережності, щоб уникнути будь-яких упереджень, введених різними розмірами кластерів. Крім того, дослідження графів можна уникнути, обчисливши SVD матриці ваг, також відому як матриця зв’язку в теорії графіків.

Я думаю, що для глобального огляду сучасних алгоритмів сегментації потрібно шукати останні опитування. Гарний глобальний огляд із викликами представлений у Книзі Шеліскі .