RANSAC Tahmini Homografilerini Filtreleme

Aralarında çeviri olmayan kameralarla çekilen görüntü çiftleri arasındaki homografi tahmini için RANSAC algoritması kullanıyorum (saf döndürme ve ölçek / yakınlaştırma değişikliği). Vakaların yarısında iyi çalışır. Doğru çıktı şuna benzer:

resim açıklamasını buraya girin

Kırmızı çizgiler filtrelenmiş yazışmalardır ve dörtgenler, homografinin perspektifi nasıl bozduğunu gösterir.

Ancak bazen, bunlar gibi birçok kötü durum meydana gelir:

resim açıklamasını buraya girin

RANSAC döngüsünde zaten basit bir testim var. Basit bir dörtgen (birim kare) yapar ve örnek dönüşümü ile dönüştürür. Sonra dönüşümün dışbükeyliğini koruyup kormadığı anlaşılıyor.

Ancak yine de, içbükey dörtgenler demetleri çıkıyor.

"Güzel" davranıyor ve yanlış çözümleri filtreliyorsa, homografiyi nasıl test edeceğiniz hakkında bir fikriniz var mı?

Üç dönüştürülmüş noktanın hiçbirinin doğrusal olmadığını test ettikleri bazı kodlar buldum. Ancak deltoidleri ve diğer "geçersiz" dörtgenleri filtrelemeyeceği için bu yeterli görünmüyor ...

homography estimation transform

— Libor
kaynak

Yanıtlar:

Bu konuda ilginç bir makale var: http://link.springer.com/chapter/10.1007%2F978-3-642-17691-3_19#

Bu makalede, RANSAC algoritmasındaki homografileri hesaplamadan önce bazı yanlış yazışmaları filtrelemek için bir yöntem açıklanmaktadır.

— gond68
kaynak

Homografinin iyi olup olmadığını kontrol etmede bir sorun var.

Doğru homografileri kontrol etmek için algoritma birisini ilgilendirebilir, bu yüzden buraya yazacağım:

$ABDC$

\begin{array}{rcl} A : & (- w / 2, - h / 2, 1.0) \\ B : & (w / 2, - h / 2, 1.0) \\ C : & (- w / 2, h / 2, 1.0) \\ D : & (w / 2, h / 2, 1.0) \end{array}

$\begin{eqnarray} A:& (-w/2,-h/2, 1.0) \\ B:& (w/2,-h/2, 1.0) \\ C:& (-w/2,h/2, 1.0) \\ D: &(w/2,h/2, 1.0) \end{eqnarray}$

$w,h$

$A'B'D'C'$ $C'=HC$

$\vec{u}$ $\vec{v}$

\begin{array}{rcl} d_{1} : & A + (D - A) s = A + \vec{u} s \\ d_{2} : & B + (C - B) t = B + \vec{v} t \end{array}

$\begin{eqnarray}d_{1} :& A+(D-A)s =A+ \vec{u}s \\ d_{2} :& B + (C-B)t=B+\vec{v}t \end{eqnarray}$

$d_{1}=d_{2}$

t = \frac{1}{d} [(B_{y} - A_{y}) {\vec{u}}_{x} - (B_{x} - A_{x}) {\vec{u}}_{y}]

$t=\frac{1}{d}\left[(B_{y}-A_{y})\vec{u}_{x} - (B_{x}-A_{x})\vec{u}_{y}\right]$

s = \frac{1}{d} [(A_{x} - B_{x}) {\vec{v}}_{y} - (A_{y} - B_{y}) {\vec{v}}_{x}]

$s=\frac{1}{d}\left[(A_{x}-B_{x})\vec{v}_{y} - (A_{y}-B_{y})\vec{v}_{x}\right]$

$s,t \in (0,1)$

$s,t \in (\lambda, 1.0-\lambda)$ $\lambda=0.01$

Yukarıdaki algoritmada düzeltilen eski sorun:

Sorunu burada buldum - belirli bir homografiye sahip olmak, test daha küçük bir dörtgen için geçebilir, ancak daha büyük bir dörtlü için geçemez. Bu yüzden bazı "hasta" homografiler geçti.

Yeşil kare bir kaynak görüntüyü, turuncu ise dönüştürülmüş bir görüntüyü temsil eder. Gördüğünüz gibi, sol taraf dışbükeydir, ancak kaynak daha büyük olduğundan deforme olmaya başlar:

resim açıklamasını buraya girin

Son olarak, daha büyük kaynak verimi dönüştürülmeyen dörtgen:

resim açıklamasını buraya girin

$(x,y,w)$ $x$ $y$ $w$

Algoritmayı buna göre düzelttim.

— Libor
kaynak

$x_i \sim Hx_i^'$ $\sum_{j=1\dots n}\|x_j - Hx_j^'\|$ $H^'$ $x^' = H^'x$ $\sum_{j=1\dots n}\|x_j - Hx_j^'\| + \|x_j^' - H^'x\|$

Hartley ve Zisserman - Bilgisayarla Görmede Çoklu Görüntü Geometrisi bölüm 4.2 ve özellikle 4.2.3 ve denklem (4.8).

— buq2
kaynak

Görüntülenen dörtgenler sadece oraya konur. Uyum çok iyi olduğu için yazışmalardan eminim. Hartley & Zisserman tarafından önerilen normalize edilmiş DLT algoritmasını kullandım ve daha sonra bahsettiğiniz gibi yinelemeli iyileştirme ve yönlendirmeli eşleme kullandım.

— Libor

Ama homograf oturması olamaz o belki de bulunmayan hangi (ağaçlarda olanları apartmanda (aynı düzlemde muhtemelen) ve olanları: iki nokta gruplarını orada ilk resimde olduğu gibi iyi kendi gruplarının içinde aynı düzlem). Temel matrisi kullanmak istemediğinizden emin misiniz?

— buq2

Çizgiler karşılık gelen noktaları birleştiriyor ve hepsini kontrol ettim - görüntüler hizalandığında hepsi buluşuyor. Eşleşen görüntü çiftlerini hariç tuttuğumda, güzel bir panorama ortaya çıkıyor.

— Libor

Görüntüler dönen bir kamera kullanılarak yapılır, bu yüzden uçaklar değişir gibi görünebilir, ancak kameralar optik merkez etrafında döndüğünden, bir homografinin tahmin edildiğinden eminim. Hatta odak uzaklığı ve dönüş matrisini hesaplayabilirim. Ama sorun başka bir yerde, benim yazılımda bir garip bulmak zorunda ...

— Libor

Ahh, kameralar arasında çeviri olmadığı bilgisini eklemediniz. O zaman haklısın ve homografi görüntüler arasındaki dönüşümü anlatıyor.

— buq2