Перелік можливих функцій зображення для пошуку зображень на основі вмісту


15

Я намагаюся знайти список можливих особливостей зображення, таких як колір, орієнтовані краї тощо, для вимірювання їх зручності використання у випадку пошуку однакових / подібних об'єктів на зображеннях. Хтось знає такий список чи хоча б якісь функції?


Це поза темою, але чи може CBIR отримати функцію з набору даних Open Image? Чи можливо отримати функцію зображення, навіть якщо зображення не зберігається на локальному диску?
Quix0te

Відповіді:


25

Поле саме надто велике. Тому я сумніваюся, що тут ви можете мати повний список. Однак MPEG 7 є одним з головних зусиль у стандартизації цієї області. Тож те, що тут включено, не є універсальним - але, принаймні, самим первинним.

Ось декілька ключових наборів функцій, які визначені в MPEG7 (я дійсно можу говорити лише про Visual Descriptors; інші не бачать цього в повному обсязі).

Існує 4 категорії візуальних дескрипторів:

1. Дескриптори кольорів, які включають:
домінуючий колір,
макет кольорів (по суті основний колір на основі блоку за блоком);
масштабований колір (по суті гістограма кольору),
кольорова структура (по суті локальна гістограма кольору)
та кольорові простори, щоб зробити речі взаємодіючими.

2. Дескриптори текстур (див. Також це ), який включає:
Дескриптор перегляду текстур - який визначає деталізацію / грубість, регулярність та напрямок. Однорідний дескриптор текстури - заснований на банку фільтрів Gabor. та
гістологічна грань

3. Дескриптори форми, які включають:
Дескриптори на основі регіону - скалярні атрибути розглянутої форми - наприклад, площа, ексцентриситети тощо. На
основі контуру, який фіксує фактичні характерні риси форми та
3D-дескриптори

4. Дескриптори руху для
руху відеокамери (тривимірні параметри руху камери)
Траєкторія руху (об’єктів на сцені) [наприклад, витягнута алгоритмами відстеження] Параметричний рух (наприклад, вектори руху, що дозволяє описувати рух сцени. Але це може бути складнішими моделями на різних об’єктах).
Діяльність, яка є більш семантичним дескриптором.


MPEG 7 не визначає "Як вони видобуваються" - він визначає лише те, що вони означають, і як їх представляти / зберігати. Тож існують дослідження, як їх видобувати та використовувати.

Ось ще один хороший документ, який дає зрозуміти цю тему.

Але так, багато з цих особливостей є досить елементарними, і, можливо, додаткові дослідження створять більш складний (і складний) набір функцій.



6

Існує також книга, яка вкладає набір робіт, пов’язаних з цією темою. Це називається Принципи пошуку візуальної інформації .


Googleing про книги не виявляє багато позитивних відгуків. Справді більше скарг, ніж позитивних. Ви все ще вважаєте, що це хороша довідка, і якщо так, то, можливо, ви могли б сказати нам, коли це було вам корисно? :)
пенелопа

Головною причиною цього є не те, що я його дуже використовував, але мій учитель рекомендував це (і я ціную його думку). Googleing про це показує, що це справді пачка паперів, а не насправді книга. Він також показує свою досить стару, але все ж одну з небагатьох книг на цю тему. Тому я вважаю, що моя відповідь все-таки підходить.
Geerten

3

@Dipan Mehta висвітлював дескриптори функцій, які можна використовувати. Дозвольте мені зараз спробувати висвітлити іншу сторону монети, згадуючи деякі методи виявлення функцій, які витягують особливості, корисні для CBIR .

Мій орієнтир для мого дослідження CBIR були праці Сівіка, Зіссермана та Ністера, Стіуніуса . Є більше сучасних праць цих авторів, але вони представляють усі відповідні ідеї.

Вони стверджують, що для впровадження ефективних методів CBIR слід використовувати особливості взаємодоповнюючих властивостей :

  • Регіони, адаптовані до форми, - як правило, зосереджені на кутових ознаках

    приклади: Гарріс кути, багатомасштабний Гарріс, Дог (Різниця гауссів - але також реагує на краї!)

  • Максимально стабільні регіони - як правило, зосереджені наособливостях, що нагадують краплі

    приклади: MSER (максимально стійкі зовнішні регіони), DoG

Не дивно, що Вікіпедія також пропонує хорошу класифікацію типів ознак (детекторів), вказуючи тип регіонів інтересів, які вони виявляють для більшості сучасних широко використовуваних функцій:

  • крайові детектори
  • кутові детектори
  • детектори крапель
  • конькові детектори

Більшість сучасних статей, які я читав, клянуться, що дескриптори SIFT (інваріантне масштабне перетворення) є дескрипторами і є достатньо надійними для використання у поєднанні з обраними детекторами функцій. Список літератури включає:

  • вже надані посилання
  • Миколайчик, Шмід займається порівнянням місцевих дескрипторів
  • Даль оцінює комбінації детектор-дескриптор

Примітка! що ці документи не стосуються КБІР суворо, але використовуються як посилання в роботах, пов'язаних з CBIR .

Нарешті, відверто зазначається, що успішні методи CBIR не залежать лише від використовуваних детекторів функцій та дескрипторів , але також:

  • ефективна структура пошуку (квантування візуальних особливостей)
  • спосіб побудови дескрипторів зображень - або на основі загальних візуальних особливостей (локальних дескрипторів), або шляхом порівняння глобальних дескрипторів зображень (це зовсім нова ідея, тому наразі немає посилань)
  • вимірювання відстані між дескрипторами зображень

Також я вже відповів на деякі питання, що стосуються CBIR щодо DSP та stackoverflow , обидва супроводжуються посиланнями та поясненнями, і я думаю, що вони можуть бути актуальними, тому ви можете поглянути:

  • DSP: 1
  • stackoverflow: 1 , 2
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.