Обробка зображень до виявлення функцій

Я реалізував функцію детектора на основі кутів Харріса . Він працює чудово в більшості разів, але є випадки, коли він працює погано. Мені потрібно змусити його працювати на багатьох різних зображеннях, не конфігуруючи їх окремо.

Проблема полягає у пороговому значенні детектора. Якщо встановлено занадто низький рівень, детектор спрацьовує занадто багато разів, що призводить до величезної кількості функцій. Якщо встановлено занадто високо, можливостей занадто мало.

Я частково вирішив це за допомогою ANMS (Adaptive Non-Maximal Suppression), щоб зменшити кількість функцій, перш ніж призначити їм вектори дескриптора.

Однак проблема подібних зображень:

У них низька контрастність, і я не можу "дозволити" поріг встановлення занадто низький для всіх зображень. Це призведе до того, що детектор буде працювати над цими зображеннями, але інші зображення міститимуть тисячі тисяч функцій, які повільно фільтруватимуться з ANMS, і це зашкодить загальній продуктивності.

Я думав про коригування зображення перед виявленням функції. Можливо, вирівнювання гістограми зробить цю роботу. Це може бути дійсною операцією, оскільки глобальна зміна контрасту не впливає на дескриптори ознак (вони інваріантні для зміни яскравості та контрасту).

Можливо, робота з адаптивним порогом або якась евристика спрацювала б краще.

Будь-які інші пропозиції?

Можливістю було б зробити просте виявлення ребер (наприклад, Лаплас) і використовувати середню інтенсивність результату як основу для порогу для кутів Харріса. Коли у вас низька контрастність, ви отримаєте менше ребер і з меншою інтенсивністю, при високому контрасті ви отримаєте більше ребер і з більшою інтенсивністю.

Ви не єдиний, хто бореться з цією проблемою. Якщо у вас є доступ до паперових баз даних, це може бути цікавим:

• Алгоритм автоматичного адаптаційного виявлення кута Гарріса на основі блокової обробки

Можливо, варто пошукати більше (автоматичне) адаптивне виявлення кута Гарріса.

Вам справді доводиться використовувати куточки Гарріса? Після кутів Харріса багато функцій, які мають кращі властивості. Хороший огляд можна знайти в цій статті:

• А. Л. Даль, Х. Аньес і К. С. Педерсен. Пошук комбінації найкращого детектора функцій - дескриптора

Виходячи з цієї статті, а також мого особистого досвіду, я б запропонував перейти або на MSER (максимально стійкі зовнішні регіони) , або навіть поєднати їх із DoG (Різниця гауссів) - функції, вперше представлені як частина трубопроводу SIFT.

Якщо проблема справді полягає в низькій контрастності , то функції MSER дійсно повинні зробити вас щасливими: вони (досить) інваріантні змінам освітлення. Коротше кажучи, вони пов'язані областями зображення, стабільними за допомогою ряду різних порогових бінаризацій.

Процес вилучення функцій не залежить від обчислення дескрипторів, тому інтегрувати нові способи вилучення функцій у свій процес не повинно.

Крім того, я чув (але ніколи не працював з) багатомасштабні куточки Гарріса як розширення до куточків Харріса. Я мало знаю про них і особисто не можу рекомендувати жодних матеріалів для читання на цю тему, тому я залишаю пошук статей та підбір найцікавіших матеріалів для вас.

Крім того, я можу припустити, що розміщене вами зображення може мати інші проблеми, ніж низька контрастність . З мого особистого досвіду, рослинність, як кущі або, можливо, поле, яке ви маєте, а також чудові міхурові хмари, як правило, дають "загальні риси" - риси, які, як правило, мають однакові (або несхожі) дескриптори, як і багато інших ознак.

Практично це означає, що при виконанні відповідності характеристик на двох зображеннях з різної точки зору, функції, витягнуті з таких видів поверхонь, як правило, неправдиво узгоджуються. Я зробив магістерську дисертацію, що в значній частині йдеться про вилучення особливостей, яке буде використано для узгодження функцій, яке надалі використовується для обчислення перетворення гомографії між двома зображеннями, коли я стикався з цією проблемою. Наразі я не знайшов жодної статті, яка б описувала цю проблему, але моя теза може бути корисною для вашого загального підходу.

Нарешті, як ви встановили, пороги та методи, які добре працюють на більшості зображень, виділяють мало особливостей у подібних образах, через переважно однорідні області. Цей вид зображень створює проблеми у відповідності функцій (які можна поширити на зшивання зображень), пошуку зображень на основі вмісту, і я б припустив відстеження, а також подібних програм. Наразі жоден метод не працює на них.

Методи, які добре працюють на подібних образах, а також типові випадки вивчаються і досліджуються в даний час, наприклад, підхід, над яким я почав працювати, коротко описаний у цій відповіді .