Обчислення гомографії на основі виявлених ліній

Я знаю, що ви можете обчислити гомографії від зображення до площини камери, використовуючи точки відповідності між "ідеальною моделлю" та точками зображення.

Я роблю це для футбольного поля / поля, і використовував виявлення країв, щоб знайти білі лінії на полі.

Але камера не (завжди) охоплює весь крок, тому я не бачу всіх кутів ... і я лише кути на 100% відомих точок у моделі (жодних інших відмінних точок).

Отже, проблема полягає в тому, що якщо лінія не перетинається з іншою лінією і не утворює кут, я знаю лише точки зображення лінії, а не відповідні координати "ідеального / реального світу" в моделі.

Чи я можу використовувати виявлені рядки для обчислення гомографії чи навіть просто набору кандидатських гомографій , навіть якщо виявлені лінії не перетинаються між собою та створюють кут?

Приклад зображення, що показує висоту, наше поле зору та точки кроку, де я можу знати відповідні координати реального світу / моделі (зелені кола) та приклад з двох ліній, які можуть бути абсолютно марними, оскільки в нашому полі зору , У мене немає поняття, в який момент вони починаються або зупиняються у відповідному реальному світі / моделі кроку:

Червоні лінії - це приклади ліній, які я хотів би використати, але я не знаю їхніх координат реального світу, і їх важко оцінити, оскільки залежно від пози камери, відповідні точки можуть бути "де завгодно".

Я поясню два підходи до цього:

1) Один із підходів потребує алгоритму відповідності рядків. Після зіставлення ліній ви можете просто використовувати кінцеві точки рядків для обчислення гомографії. Щоб досягти того, що дескриптори на основі EDLine або LSD нещодавно запропоновані в OpenCV. Також реалізовано хешування та швидке узгодження їх. Перегляньте відео тут:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Недавнє сховище opencv_contrib містить вихідний код цих методів.

У випадку, якщо кінцеві точки рядка шумні, ви можете безпосередньо використовувати лінії для обчислення гомографій. Потім такі документи читатимуть:

Внутрішній звіт: Обчислювальні гомографії з трьох ліній чи точок у зображенні пари Г. Лопес-Ніколя, Дж. Дж. Герреро, О. А. Пелледжеро, К. Саґес

Внутрішній звіт: 2003-V01 Надійна відповідність рядків та оцінка гомографій одночасно Г. Лопес-Ніколас

Імовірнісне узгодження ліній для їх гомографії Taemin Kim, Jihwan Woo і In So Kweon

2) Тут наведено один метод, специфічний для полів:

" Використання лінійних та еліпсисних функцій для виправлення трансляції хокейного відео .", Гупта, Анкур, Джеймс Дж. Літтл та Роберт Дж. Вудхем Комп'ютер та Робот Віжон (CRV), 2011 р. Канадська конференція на. IEEE, 2011 рік.

і

" Поєднання лінійних і точкових відповідностей для оцінки гомографії .", Дуброфський, Елан та Роберт Дж. Вудхем . Міжнародний симпозіум з візуальних обчислень. Спрингер Берлін Гейдельберг, 2008 р.

Ідея така: будь-який рядок, параметризований його коефіцієнтами відображається на на іншому зображенні, використовуючи:$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

$$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$$

У такому вигляді рівняння можна безпосередньо підключити до методу DLT:

$$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$$

Єдина відмінність - це нормалізація, яку ви знайдете у посиланнях вище.

Додавання еліпсів: Будь-яка точка лежить на перерізі якщо . Це породжує відношення перетворення:$x$$C$$x^TCx=0$

$$C' = H^{-T}CH^{-1}$$

Посилання, наведені вище, також пояснюють, як вставити це обмеження в алгоритм DLT.

За допомогою еліпсів і ліній можна вивести міцні проективні відносини.

Якщо лінії не паралельні, ви можете обчислити точку їх перетину і використовувати її як точку відліку. У своїй картині ви також можете використовувати фіолетові точки:

До речі, перетин ліній не повинен бути на зображенні. Поки лінії паралельні

Якщо лінії паралельні, ви можете використовувати їх для отримання додаткових обмежень. Наприклад, якщо у вас N <4 бали та K рядки, ви можете оцінити перетворення

Нагадаємо, що рівнянням проективного перетворення є:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

Ваша мета - знайти коефіцієнти$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

Таким чином, якщо є лінія яка відображається на , то:$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Його можна переписати так:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

( x , y ) a x + b y + c = $A,B,C$ - відомі значення, тому що ви обчислили рівняння ліній. Ви можете ввести будь-яку точку для якої , і отримати додаткове обмеження. Поєднайте їх разом із обмеженнями, які ви отримуєте від балів, і ви можете отримати додаткову інформацію. Зауважте, що ви не отримаєте більше інформації з більш ніж двох точок, оскільки будь-яка третя точка додасть лінійно залежні лінії до матриці обмежень.$(x,y)$$ax+by+c = 0$

Додаткові посилання " Оцінка гомографії Елана Дубровського " - Див. Частину 2.3.1, оцінка гомографії за лініями.