Tespit edilen çizgilere dayalı bir homografi hesaplama

"Mükemmel bir model" ile görüntü noktaları arasındaki yazışma noktalarını kullanarak görüntüden kamera düzlemine benzerlikler hesaplayabileceğinizi biliyorum.

Bir futbol sahası / saha için yapıyorum ve sahadaki beyaz çizgileri bulmak için kenar algılamayı kullandım.

Ancak kamera (her zaman) tüm perdeyi kapsamaz, bu yüzden tüm köşeleri göremiyorum ... ve ben sadece köşeler modelde% 100 bilinen noktalar (başka ayırt edici noktalar yok).

Sorun şu ki, çizgi başka bir çizgiyle kesişmediği ve bir köşe oluşturmadıkça, çizginin görüntü noktalarını biliyorum, modeldeki "mükemmel / gerçek dünya" koordinatlarına karşılık gelmiyor.

Ben bazı yolu var mı bir eşyazımı veya aday homographies hatta sadece bir dizi hesaplamak için tespit edilen hatlarını kullanmak tespit hatları birbirleri ile değil kesiştiği yapmak ve bir köşe oluşturmak bile,?

Sahayı, görüş alanımızı ve karşılık gelen gerçek dünya / model koordinatlarını (yeşil daireler) bildiğim saha noktalarını gösteren örnek resim ve görüş alanımızdan bu yana tamamen işe yaramayabilecek 2 satır örneği , Tam olarak hangi noktada başladıkları veya sahadaki ilgili gerçek dünyada / modelde durduklarına dair hiçbir fikrim yok:

Kırmızı çizgiler kullanmak istediğim çizgilerin örnekleridir, ancak onların gerçek dünya koordinatlarını bilmiyorum ve bunları tahmin etmek biraz zor çünkü kamera pozuna bağlı olarak, karşılık gelen noktalar "herhangi bir yerde" olabilir.

Bunun için iki yaklaşımı açıklayacağım:

1) Bir yaklaşım bir çizgi eşleştirme algoritması gerektirir. Çizgileri eşleştirdikten sonra, çizgileri hesaplamak için çizgilerin uç noktalarını kullanabilirsiniz. Bunun için EDLine veya LSD tabanlı tanımlayıcılar yakın zamanda OpenCV'de önerilmiştir. Ayrıca, karma ve hızlı eşleştirme de uygulanmaktadır. Videolara buradan göz atın:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Son opencv_contrib deposu, bu yöntemlerin kaynak kodunu içerir.

Çizgi uç noktalarının gürültülü olması durumunda, çizgileri doğrudan hesaplamak için çizgileri kullanabilirsiniz. Bu tür makaleler daha sonra şunları okuyacaktır:

İç Rapor: 2005-V04 Bir Görüntü Çiftinde Üç Çizgi veya Noktadan Homografileri Hesaplama G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

İç Rapor: 2003-V01 Eş zamanlı olarak sağlam çizgi eşleştirme ve tahmin tahmini G. Lopez-Nicolas

Homografi için Hatların Olasılıkla Eşleştirilmesi Taemin Kim, Jihwan Woo ve In So Kweon

2) Burada verilen alanlara özgü bir yöntem vardır:

" Yayın hokey videosunun düzeltilmesi için çizgi ve elips özelliklerinin kullanılması .", Gupta, Ankur, James J. Little ve Robert J. Woodham Bilgisayar ve Robot Vizyonu (CRV), 2011 Kanada Konferansı. IEEE, 2011.

ve

" Homografi tahmini için çizgi ve nokta yazışmalarını birleştirme .", Dubrofsky, Elan ve Robert J. Woodham . Uluslararası Görsel Hesaplama Sempozyumu. Springer Berlin Heidelberg, 2008.

Bunu katsayıları ile parametrize herhangi çizgi: fikri aşağıdaki gibidir eşleştiren Diğer görüntüdeki :$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

Bu formda denklem doğrudan DLT yöntemine takılabilir:

Tek fark, yukarıdaki referanslarda bulacağınız normalleşmedir.

Elips Ekleme: herhangi bir nokta konik bölümü, yalan ise . Bu dönüşüm ilişkisine yol açar:$x$$C$$x^TCx=0$

Yukarıdaki referanslar ayrıca bu kısıtlamanın DLT algoritmasına nasıl ekleneceğini açıklamaktadır.

Elips ve çizgiler kullanarak, sağlam bir yansıtmalı ilişki elde etmek mümkündür.

Çizgiler paralel değilse, kesişme noktalarını hesaplayabilir ve referans noktası olarak kullanabilirsiniz. Resminizde mor noktaları da kullanabilirsiniz:

Bu arada, çizgilerin kesişmesinin görüntüde olması gerekmez. Çizgiler paralel olduğu sürece

Çizgiler paralelse, ek kısıtlamalar almak için bunları kullanabilirsiniz. Örneğin, N <4 puanınız ve K çizginiz varsa, dönüşümü tahmin edebilirsiniz

Projektif dönüşüm denkleminin şunu hatırlayın:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

Amacınız katsayılarını bulmaktır$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

Bu nedenle, bir çizgi varsa , o zaman:$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Şu şekilde yeniden yazılabilir:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$ bilinen değerlerdir, çünkü çizgi denklemlerini hesapladınız. olan herhangi bir noktayı girebilir ve ek kısıtlama elde edebilirsiniz. Noktalardan aldığınız kısıtlamalarla birleştirin ve ek bilgi alabilirsiniz. İki noktadan daha fazla bilgi elde edemeyeceğinizi unutmayın, çünkü herhangi bir üçüncü nokta sınırlama matrisine doğrusal bağımlı çizgiler ekleyecektir.$(x,y)$$ax+by+c = 0$

Ek referanslar " Elan Dubrovsky tarafından Homografi tahmini " - Bkz. Bölüm 2.3.1, hatlardan homografi tahmini.