2D kamera kullanarak 3D Konum tahmini

Bir kameram (iPhone) var, görüntüde özelliklerini çok iyi bildiğim bir 3D kontrol nesnesim var. (Kontrol nesnem). Hareket halindeki ikincil bir nesne de vardır. Nihai hedef, belirli bir süre için hareketli nesnenin 3D yörüngesini oluşturmaktır. (İzleme)

Sormayı seviyorum, öğrenebilir miyim?

• Telefonun kontrol nesnesine uzaklığı (tartışma amacıyla, kameranın belirli bir yükseklikte olduğunu ve bunların hiçbirinin bilinmediğini, ancak kamera bilinen yüzeye dik olduğunu varsayalım)

• Nesneyi sonraki her karede bulabileceğim ikincil nesne. Amacım, 3D yörüngesini yukarıda belirttiğim gibi tahmin etmektir.

Bonus soru, sistemi kontrol nesnesine olan mesafenin (tercih edilmese de) ayarlanabileceği şekilde yapabiliriz, bu ikinci noktaya yardımcı olur mu?

Nesnenizde bilinen 6 nokta (bilinen 3D koordinatları, ve ) varsa, nesnenin koordinat sistemiyle ilgili kameranın konumunu hesaplayabilirsiniz.$X, Y$$Z$

Önce bazı temel bilgiler.

Homojen koordinat, homojen koordinat ölçek faktörü olarak eklediğimiz öklid koordinatının vektör sunumudur. . Kendi hesaplamalarınızda mümkün olduğunca sık tutmaya çalışın (yani homojen koordinatı son öğesiyle bölerek "normalleştirdiğiniz" anlamına gelir: ). Ayrıca, 2D için (bu ve$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$2D veya 3D nokta olsun, her nokta için farklıdır). Homojen koordinat sunumu matematiği kolaylaştırır.

Kamera matrisi, 3D dünyasından görüntü sensörüne projeksiyon matrisidir:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Burada (piksel birimleri ile) görüntü sensörü üzerindeki bir nokta ve bir (kendi birimler olarak milimetre sahip sağlar ki) 3D noktası öngörülmüştür.$\textbf{x}$$\textbf{X}$

İki 3 vektör arasındaki çapraz ürünün, matris-vektör-çarpma olarak tanımlanabileceğini hatırlıyoruz:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Ayrıca çapraz üretim not etmek de yararlıdır .$\textbf{v} \times \textbf{v} = \textbf{0}$

Şimdi projeksiyon matrisini önceki denklemlerden çözmeye çalışalım . Projeksiyon denklemini sol taraftan s çapraz ürün matrisi ile :$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Sonuç sıfır vektör olmalıdır. Şimdi denklemi açarsak:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

Biraz yeniden düzenleme ile projeksiyon matrisini matrisin dışına çıkarabiliriz :$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Nerede $\textbf{P}_n$ devri $n$: kamera matrisinin th satırı $P$. Önceki (büyük) matris denkleminin son satırı, ilk iki satırın doğrusal birleşimidir, bu nedenle ek bilgi getirmez ve dışarıda bırakılabilir.

Küçük bir duraklama, böylece zorlarımızı toplayalım. Bilinen her 3D-> 2D yazışma için önceki matris denkleminin oluşturulması gerektiğini unutmayın (en az 6 tane olmalıdır).

Şimdi, her nokta yazışması için, yukarıdaki matrisin ilk iki satırını hesaplayın, $2\times12$ matrislerin üst üste gelmesi ve yeni matris elde edilmesi $A$ hangisi için

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

12 bilinmeyen ve (en azından) 12 denklemimiz olduğu için bu çözülebilir. Tek sorun şu ki önemsiz cevabı istemiyoruz

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Neyse ki zorlamak için tekil değer ayrışmasını (SVD) kullanabiliriz

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

Denklemleri çözmek için matrisinin SVD'sini hesaplayın ve en küçük öz değerine karşılık gelen tekil vektörü seçin. Bu vektör, A matrisinin null vektörü ve aynı zamanda kamera matrisi için çözümdür . Sadece, ayrıştırılması ve form .$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

Şimdi nesneye olan mesafeyi bilmek istediniz. şöyle tanımlanır:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

burada , nesnelerin başlangıç ​​noktasına göre kamera konumudur. Bu çözülebilecek hesaplayarak ler boş vektör.$\textbf{C}$$P$$P$

(Hartley, Zisserman - Bilgisayarlı Görmede Çoklu Görünüş Geometrisi)

Son olarak, iki kare için kamera konumunu hesapladığınızda, için iki denklemi çözerek bilinmeyen nesnelerin konumlarını (veya nesnenin bazı noktalarının konumlarını) hesaplayabilirsiniz :$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

Bu, kamera matrislerini nasıl çözdüğümüzle neredeyse aynı şekilde gider:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Ve bunun gibi.