Калібрована камера / модель штифтового отвору камери та розробка 3d-позиції

У мене відкалібрована камера і є внутрішні параметри. У мене також є зовнішні параметри відносно точки (світового походження) на площинній поверхні в реальному світі. Цей момент я встановив як початок у реальних координатах [0,0,0] з нормою [0,0,1].

З цих зовнішніх параметрів я можу визначити положення та обертання камери у світових площинах 3d координат, використовуючи це тут: http://en.wikipedia.org/wiki/Camera_resectioning

Тепер у мене є друга точка, яку я витягнув координати зображень для [x, y]. Як мені тепер дістати 3d положення цієї точки у світовій системі координат?

Я думаю, що інтуїція тут полягає в тому, що я повинен простежити промінь, який йде від оптичного центру камери (для якого я зараз маю положення 3D, як описано вище), через площину зображення [x, y] камери, а потім через мою площину реального світу, яку я визначив у верхній частині.

Тепер я можу перетинати світовий координатний 3d-промінь з площиною, оскільки я знаю нормальну, і вказувати на цій площині. Що я не отримую - це те, як я знаходжу 3d-положення та напрямок, коли він залишає площину зображення через піксель. Мене бентежить перетворення через різні системи координат.

Якщо у вас є зовнішні засоби, то це дуже просто. Екстерсинація - це те саме, що мати "позу перед камерою" і те саме, що мати гомографію. Перевірте цю публікацію в stackoverflow.

У вас є екстринсики, які також називають позою камери, яка описується як переклад і поворот:

$\displaystyle Pose =\begin{bmatrix}R|t \end{bmatrix} = \begin{bmatrix}R_{11} &R_{12}&R_{13}&t_x\\R_{21}&R_{22}&R_{23}&t_y\\R_{31}&R_{32}&R_{33}&t_z \end{bmatrix}$

Отримати гомографію з Pose можна таким чином:

$\displaystyle H = \frac{1}{t_z}\begin{bmatrix}{R_{1x}}&{R_{2x}}&{t_x}\\{R_{1y}}&{R_{2y}}&{t_y}\\{R_{1z}}&{R_{2z}}&{t_z}\end{bmatrix}$

Тоді ви можете спроектувати свої 2D точки у відповідні 3D точки, помноживши Гомографію на точки:

$p_{2D}=\begin{bmatrix}x &y &1\end{bmatrix}\quad$ додати $\quad z=1\quad$ щоб зробити їх однорідними

$p_{3D}=H*p_{2D}$

$p= p / p(z)\quad$ Нормалізуйте бали

У вас є два варіанти, використовуйте назад проекцію або проекцію між двома площинами (гомографія).

Задній проекцією ви берете псевдооборотну матрицю камери та помножуєте результат за допомогою однорідного подання точки зображення:$P$

$\textbf{C}$$\textbf{X}$$\textbf{V} = \omega\begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$

$\Pi = \begin{bmatrix}\pi_1 & \pi_2 & \pi_3 & \pi_4\end{bmatrix}^T, \pi_1X + \pi_2Y + \pi_3Z + \pi_4 = 0$$\textbf{L}(t) = \Pi$$t$

$3\times3$$H$

$\textbf{x}$

$H$

$d$$\textbf{T} = -R\textbf{C}$

Ви не можете знати 3d положення другої точки. Це може бути будь-яка точка на промені від вашого центру камери до нескінченності.

Ви можете зробити наступне:

• Створіть заздалегідь визначений 3d простір, який буде нагадувати реальну життєву сцену
• Отримайте більше точок зображень з іншого кута, використовуючи перетин променів під різними кутами, ви можете отримати апроксимацію 3d-точки.