Реєстрація зображень по сегментації


15

Алгоритми реєстрації зображень, як правило, базуються на точкових функціях, таких як SIFT (Шкала-інваріантна трансформація функцій).

Я бачив деякі посилання на особливості рядків, але мені було цікаво, чи можна порівняти сегменти зображень замість точок . Наприклад, задане джерело та перетворене зображення:

введіть тут опис зображення

Я можу зробити виявлення країв, розмиття та перетворення вододілу на кожному:

введіть тут опис зображення

На жаль, сегментація виявилася надто різною для кожного зображення, щоб відповідати окремим сегментам.

Я побачив деякі статті про відповідність фігур та дескрипторів фігур, які інваріантні для афінних перетворень, тому ця область здається перспективною ...

Чи існують якісь способи сегментації, більш надійні для виправлення (або навіть проективних) деформацій зображення?


1
Мій здоровий глузд говорить мені, що менші регіони більш стійкі до глобальних перетворень. Таким чином, сегментація повинна мати безліч дрібних сегментів. Також деякі особливості фігури інваріантні деяким перетворенням (наприклад, кола до обертання)
Андрій Рубштейн

MSER (максимально стійкі крайні регіони) - це регіони, а не точки. І вони інваріантні для афінної трансформації. Але це не метод сегментації, строго кажучи.
Нікі Естнер

@nikie Якщо ви поставите свій коментар як відповідь, я би прийняв його. Мене зацікавила сегментація, оскільки особливості регіону містять певну інформацію про перетворення зображення і, можливо, можуть бути використані для відгадування перетворення між зображеннями. Я обов'язково вивчу статтю про MSER.
Libor

Зараз я працюю над CBIR за допомогою компонентних дерев. Представлення зображення компонентного дерева не так сильно би залежало від деформацій (навіть проективних) зображення; різні рівні дозволяли б проводити порівняння та операції до різного рівня деталізації, і повинні працювати краще, ніж сучасні методики із зображеннями з низькою текстурою. . Зараз це лише тема дослідження, щойно розпочалася, але, сподіваємось, у підході є щось, інакше мені не дадуть дозволу на це. Але, якщо хтось ще щось зробив у цьому напрямку, це може бути корисним.
пенелопа

@penelope Ці роботи над CBIR можуть також бути корисними для мозаїки зображень (моя особлива зацікавленість), де у нас є безліч зображень із подібними функціями. Сучасний популярний підхід - це високомірний пошук дескрипторів точок (наприклад, SIFT), який може призвести до помилкових збігів між зображеннями, тоді як "регіони" або "компоненти", а не точки, можуть бути дискримінаційними. Чи є у вас посилання на документи про зображення зображень на компонентному дереві? Велике дякую.
Libor

Відповіді:


4

MSER (максимально стійкі крайні регіони) - це регіони, а не точки. І вони інваріантні для афінної трансформації. Але це не метод сегментації, строго кажучи

Неофіційно кажучи, ідея полягає у тому, щоб знайти краплі під різними порогами, а потім вибрати краплі, які мають найменшу зміну форми / площі за діапазон порогів. Ці регіони повинні бути стабільними для великого діапазону масштабів сірого та геометричного перетворень.


4

Зараз я працюю над CBIR, використовуючи Дерева компонентів , що має бути відносно новою ідеєю. Деякі очікувані переваги використання компонентних дерев для опису зображень:

  • Представлення зображення компонентного дерева не так сильно залежатиме від деформацій (навіть проективних) до зображення
  • Вивчення різних рівнів дерева дозволило б порівняти та виконати операції до різного рівня деталізації
  • Дискримінація та опис повинні працювати краще, ніж сучасні методи щодо зображень із низькою текстурою.

Щойно я почав з досліджень, пов’язаних з цією темою, у мене є лише розпливчасте уявлення про мої цілі: представляти зображення з Деревом компонентів, а потім порівнювати вказані Дерева компонентів, безпосередньо з пошуку векторизованого зображення. Я, мабуть, зможу сказати набагато більше через кілька тижнів (або місяців), але поки що я можу запропонувати лише список робіт, рекомендованих мені як вступ до Дерев компонентів (я їх ще не читав):

Можливо, я можу оновити відповідь так, і якщо знайду щось відповідне.

Крім того, якщо ваша мета - певним чином більш точно відповідати областям зображення, а не лише точкам , оскільки регіони можуть бути більш дискримінаційними, у Дж. Сівіча та А. Зіссермана виникла приємна пропозиція : "Відео Google: пошук тексту. Підхід до відповідності об'єктів у відеороликах " .

Я маю на увазі розділ, що стосується просторової консистенції , де група збігів між характеристичними точками приймається лише в тому випадку, якщо точки функції зберігають схожу просторову конфігурацію в обох зображеннях. Таким чином, відповідність не тільки залежить від типу вилученої функції (DoG, MSER, ...) або дескриптора (SIFT), але й розглядає більш широке оточення точки функції, роблячи її (принаймні трохи) залежно від регіону

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.