Як витягти дорожні знаки з фотографії?

Які методи аналізу зображень я можу використовувати для витягування дорожніх знаків із зображення, наприклад, наведеного нижче?

Редагувати:

Після анізотропної дифузії: тло, яке я не хочу, трохи очищається

Після розширення:

Поріг після дифузії: не в змозі визначити найкращий поріг для цієї мети

Однак я не в змозі зрозуміти, як видалити фон?

Редагувати: я просто хочу, щоб ці частини мого зображення

Зйомка іншого вхідного зображення:

Застосування серединної фільтрації та виявлення ребер:

Після фільтрації шапки знизу:

Як можна ізолювати дорожні знаки, будь ласка, допоможіть?

Ви спробували щось таке, як кореляція?

( EDIT ). Ідея кореляції полягає у використанні шаблону (у вашому випадку зразка підготовленого дорожнього знаку) та порівнянні його з кожною позицією на тестовому зображенні. Операція порівняння, яку я використовував для створення зображень нижче, називається нормалізованою перехресною кореляцією . Грубо кажучи, ви стандартизуєте (середнє = 0, стандартне відхилення = 1) пікселів у шаблоні та частині зображення, яку ви хочете зіставити, примножуєте їх піксель на піксель та обчислюєте середнє значення продуктів. Таким чином ви отримуєте "бальну відповідність", тобто міру подібності між шаблоном і тестовим зображенням у кожному положенні тестового зображення. Позиція з найкращим співвідношенням (найвищим співвідношенням) є найбільш вірогідним кандидатом на посаду дорожнього знаку. (Власне, я використав функцію MathematicaCorrelationDistance для генерування зображення нижче, що становить 1 - (нормалізована кореляція). Отже, найтемніша пляма на зображенні відповідності відповідає найкращому збігу).

Інших шаблонів у мене немає, тож я просто обрізав знак з другої картинки, яку ви розмістили:

Незважаючи на те, що шаблон трохи повернутий, перехресна кореляція все ще виглядає корисною

і найкраща відповідність знайдеться в потрібній позиції:

(Вам знадобиться кілька масштабованих версій кожного шаблону, щоб виявити знаки будь-якого розміру, звичайно)

Під час моїх майстрів проект, в якому брав участь мій керівник, займався виявленням та розпізнаванням різного роду сигналізації дорожнього руху у відеопослідовностях (наприклад, виявлення доріг, виявлення центральної лінії дороги, а також виявлення та розпізнавання дорожніх знаків ). Кадри відео, над якими ми працювали, багато в чому схожі на ваші приклади зображень.

Хоча я особисто не працював над дорожніми знаками, я думаю, що найкращі результати були отримані за допомогою алгоритму Віола-Джонса (папір) . Якщо коротко, це алгоритм, який використовує каскад слабких класифікаторів (з точністю трохи вище, ніж у випадкового алгоритму) для побудови сильного класифікатора, який є надійним навіть у складних завданнях.

Проект отримав назву MASTIF (картографування та оцінка стану інфраструктури дорожнього руху) і зробив дійсно хорошу роботу. Сторінка публікації проекту може бути дуже корисною, оскільки містить посилання на всі опубліковані документи, що стосуються проекту. Щоб дати вам ідею, дозвольте виділити деякі публікації (у хронологічному порядку):

• Karla Brkić, Axel Pinz, Siniša Šegvić: "Виявлення дорожніх знаків як складова автоматизованої системи інвентаризації інфраструктури дорожнього руху"
• А. Мартинович, Г. Главаш, М. Юрібашич, Д. Сутич та З. Калафатич: "Виявлення в реальному часі та розпізнавання дорожніх знаків"
• Ігор Боначі, Іван Кусалич, Іван Ковачек, Зоран Калафатич, Синіша Шегвич: "Виправлення помилкових сигналів тривоги та неточності локалізації у виявленні та розпізнаванні дорожніх знаків"

Ще раз я особисто не працював над дорожніми знаками, але, думаю, тут можна знайти багато корисного матеріалу. Також я б запропонував переглядати цитовані посилання в документах, оскільки вони також можуть бути корисними.

Що ж, googling road way signs detectionдає безліч хороших робіт на цю тему.

Деякі використовують кольорову сегментацію через своєрідні сині, зелені, червоні кольори тощо.

Деякі застосовують спочатку згладжування Гаусса, потім виявляють рельєфне ребро та пошук контуру, щоб витягнути табличку.

Спробуйте перейти за двома посиланнями: Посилання 1 , Посилання 2

Я, безумовно, не є експертом тут, але ви можете почати з виявлення ребер (наприклад, canny), потім перетворення Hough для виявлення кіл, прямокутників, квадратів або трикутників (на основі знаку, який ви хочете виявити), тоді ви можете зробити шаблон відповідність або збіг гістограми, якщо кольори досить чіткі (над кандидатами, поверненими перетворенням Хогга).

Перший крок (виявлення кандидатів за допомогою перетворення Хогга) - це більш важкий крок. Я можу придумати багато способів спробувати виявити, чи є цей кандидат знаком чи ні. Це весела проблема. Насолоджуйтесь її вирішенням :)

До речі, я впевнений, що ви можете знайти хороші науково-дослідні статті, які дуже пов’язані