Adım Adım Kamera Görsel İzleme ve Düzlemsel İşaretleyiciler için Tahmin Tahmini

Bir süredir artırılmış gerçeklik ve görsel izleme uygulamaları için kamera pozu tahmini üzerine çalışıyorum ve görevle ilgili çok fazla ayrıntılı bilgi olmasına rağmen, hala çok fazla kafa karışıklığı ve yanlış anlama olduğunu düşünüyorum.

Bence sıradaki sorular adım adım cevaplamanın ayrıntılı bir adımını hak ediyor.

Kamera gerçekleri nelerdir?
Kamera dışsallığı nedir?
Homografiyi düzlemsel bir işaretleyiciden nasıl hesaplarım?
Eğer homografim varsa, kamera pozunu nasıl alabilirim?

— Jav_Rock
kaynak

Yaptığınız renormalizasyon konusunda belirsizim: 1. H, bazı prosedürler kullanılarak verilerden bulunan homografidir (SVD). 2. inv (K) * H = A burada çalıştığınız şey. Sonra bir dönme matrisinin ortonormal sütunları olarak q1 = a1 / norm (a1) ve q2 = a2 / norm (a2) yaparsınız ve çeviri vektörünü elde etmek için t / (bir şey) alırsınız. Sadece q1 ve q2'yi farklı şeylere göre nasıl bölebilirsiniz ve neyi böldüğünüzüzü nasıl seçersiniz? Ya fikir olduğunu inv (K) vermek şey tarafından SVD prosedürü ve çarpma yakın ama oldukça dik / ortonormal rotasyon matrisi, inci o kadar

— user2600616

Fakat 3D noktayı nasıl alabilirim (X, Y, 1)?

— waschbaer

Buradaki tek sorunun dışsal parametreleri elde etmek olduğunu anlamak önemlidir. Kamera gerçekleri çevrimdışı olarak ölçülebilir ve bu amaç için çok sayıda uygulama vardır.

Kamera gerçekleri nelerdir?

Kameraya özgü parametrelere genellikle kamera kalibrasyon matrisi denir . Yazabiliriz $K$

K = [\begin{matrix} α_{u} & s & u_{0} \\ 0 & α_{v} & v_{0} \\ 0 & 0 & 1 \end{matrix}]

$K = \begin{bmatrix}\alpha_u&s&u_0\\0&\alpha_v&v_0\\0&0&1\end{bmatrix}$

nerede

ve , ve koordinat yönlerindekiölçek faktörüdürve kameranınodak uzaklığı ile orantılıdır: ve . ve , ve yönlerindebirim mesafe başına piksel sayısıdır. $\alpha_u$ $\alpha_v$ $u$ $v$ $f$ $\alpha_u = k_u f$ $\alpha_v = k_v f$ $k_u$ $k_v$ $u$ $v$
ana nokta olarak adlandırılır, genellikle görüntü merkezinin koordinatlarıdır. $c=[u_0,v_0]^T$
, eğer eğim, sadece sıfırdan farklı bir ve olmayan diktir. $s$ $u$ $v$

Gerçek bilindiğinde bir kamera kalibre edilir. Bu kolayca yapılabilir, böylece bilgisayarlı görüşte bir amaç olarak düşünülmez, ancak çevrimdışı bir önemsiz adımdır.

Bazı bağlantılar:

ftp://svr-ftp.eng.cam.ac.uk/pub/reports/mendonca_self-calibration.pdf

Kamera dışsallığı nedir?

Kamera harici veya Dış Parametreler a, bir dünyadan Öklides dönüşümüne karşılık koordinat sistemi kameraya koordinat sistemi matris. , dönme matrisini ve çevirisini gösterir. $[R|t]$ $3\times4$ $R$ $3\times3$ $t$

Bilgisayarlı görü uygulamaları bu matrisi tahmin etmeye odaklanmaktadır.

[R | t] = [\begin{matrix} R_{11} & R_{12} & R_{13} & T_{x} \\ R_{21} & R_{22} & R_{23} & T_{y} \\ R_{31} & R_{32} & R_{33} & T_{z} \end{matrix}]

$[R|t] = \begin{bmatrix} R_{11}&R_{12}&R_{13}&T_x\\R_{21}&R_{22}&R_{23}&T_y\\R_{31}&R_{32}&R_{33}&T_z \end{bmatrix}$

Homografiyi düzlemsel bir işaretleyiciden nasıl hesaplarım?

Homografi, 3B düzlemi ve görüntü projeksiyonunu ilişkilendiren, homojen bir matristir. Elimizdeki Bir düzlem eşyazımı bir noktaya harita , bu düzlem ve karşılık gelen 2 boyutlu nokta üzerine çıkıntı altındaki olduğu $3\times3$ $Z=0$ $H$ $M=(X,Y,0)^T$ $m$ $P=K[R|t]$

\tilde{m} = K [\begin{matrix} R^{1} & R^{2} & R^{3} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 0 \\ 1 \end{matrix}]

$\tilde m = K \begin{bmatrix} R^1 & R^2 & R^3 & t \end{bmatrix} \begin{bmatrix} X \\ Y \\ 0 \\ 1 \end{bmatrix}$

= K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}] [\begin{matrix} X \\ Y \\ 1 \end{matrix}]

$= K \begin{bmatrix}R^1&R^2&t\end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}$

H = K [\begin{matrix} R^{1} & R^{2} & t \end{matrix}]

$H = K \begin{bmatrix}R^1 & R^2 & t \end{bmatrix}$

Homografiyi hesaplayabilmek için dünya-kamera çiftlerine ihtiyacımız var. Düzlemsel bir işaretçimiz varsa, özellikleri çıkarmak için görüntüsünü işleyebilir ve ardından eşleşmeleri elde etmek için sahnedeki bu özellikleri tespit edebiliriz.

Direct Linear Transform'u kullanarak homografiyi hesaplamak için sadece 4 çifte ihtiyacımız var.

Eğer homografim varsa, kamera pozunu nasıl alabilirim?

Homografi ve kamera pozluyor aynı bilgiyi içerir ve birinden diğerine geçmek kolaydır. Her ikisinin de son sütunu, çeviri vektörüdür. Sütun, bir ve iki homograf da kolon biri ve iki kamera poz matris. Sadece sütun üç bırakılır arasında ve ortogonal olması gerektiğinden, bir ve iki sütunlarının yan ürünü olarak hesaplanabilir: $H$ $K[R|t]$ $H^1$ $H^2$ $R^1$ $R^2$ $R^3$ $[R|t]$

R^{3} = R^{1} \otimes R^{2}

$R^3 = R^1 \otimes R^2$

Artıklık nedeniyle normalleştirmek gerekir örneğin matrisin [3,4] elementine bölün. $[R|t]$

— Jav_Rock
kaynak

Kalibrasyonun “CV'nin amacı değil kolay” olduğunu söylemek yanıltıcı olduğunu düşünüyorum. Her zamanki gibi, bozulma parametrelerini de tahmin etmemiz gerekir. Kendi kendine kalibrasyon yerine, ayrı kalibrasyon prosedürü yapılabiliyorsa daha esnek olduğundan düzlemsel kalibrasyon (Zhang - Kamera Kalibrasyonu için Esnek Yeni Bir Teknik) öneririm. Ayrıca, "Eğer homografim varsa, kamera pozunu nasıl alabilirim?" De küçük bir hatadır. hesaba katmadığınızdan kalibrasyon (H_ {calib} = K ^ -1H).

— buq2

homografiden kamera pozu yanlıştır. Bunu yapmanın birkaç yolu var 'bazıları önemsiz.

— mirror2image

Neden yanlış olduğunu anlamıyorum. Bunu bu şekilde hesaplarım ve çalışır. Neden yanlış olduğunu söylüyorsun?

— Jav_Rock

Son bölümde H ^ 1 ve R ^ 1'in eşit ve eşit olduğunu yazdınız, ancak 3. bölümde H = K [RT] olduğunu belirtiyorsunuz ki bu R ^ 1'in aslında K ^ -1H ^ 1 olduğunu gösteriyor. Ancak, denklemleri karşılayacak ve R ^, R ^ ve T'yi (bilinmeyen ölçek) çözerken sorunlara neden olacak sonsuz sayıda H olduğu için bu kesinlikle doğru değildir. Cevabınız sağlam içsel ve bozulma kalibrasyonunu göz ardı ediyor ve denklemlerin bazıları yanlış, bu nedenle bu soru için iyi bir cevap değil.

— buq2

Evet, adım 3'teki kalibrasyon matrisini kodumdan aldığımda eksikti ve kodları farklı bir fonksiyonda K ile çarptım.

— Jav_Rock

İki boyutlu durumu çok iyi açıklarken, Jav_Rock tarafından önerilen cevap üç boyutlu alanda kamera pozları için geçerli bir çözüm sunmuyor. Bu sorun için birden fazla olası çözüm bulunduğunu unutmayın.

Bu makale , homografinin ayrıştırılması için kapalı formüller sunmaktadır, ancak formüller biraz karmaşıktır.

OpenCV 3 zaten tam olarak bu ayrışmayı uygular ( ayrıştırmaHomografiMat ). Bir homografi ve doğru şekilde ölçeklendirilmiş bir içsel matris göz önüne alındığında, işlev dört olası dönüş ve çeviri kümesi sağlar.

Bu durumda içsel matrisin piksel birimlerinde verilmesi gerekir; bu, temel noktanızın genellikle (imageWidth / 2, imageHeight / 2)ve odak uzunluğunuzun genellikle olduğu anlamına gelir focalLengthInMM / sensorWidthInMM * imageHeight.

— Emiswelt
kaynak

Doğru ölçeklendirilmiş bir içsel matris nedir?

— Guig

Cevabımı güncelledim. Lütfen yukarıya bakınız.

— Emiswelt

Hey @Emiswelt, odak uzaklığı değil focalLengthInMM / sensorWidthInMM * imageWidthmi? Neden onun yerine yüksekliği seçtin?

— El Marce,