Stereo kameralardan yoğun nokta bulutları nasıl elde edilir?

Sahne rekonstrüksiyonu için bir stereo kamera kullanmaya çalışıyorum, ancak genellikle sadece seyrek nokta bulutları elde edebilirim (yani görüntünün yarısından fazlası uygun derinlik bilgisine sahip değildir).

Stereo işleme algoritmalarının görüntülerde doku varlığına bağlı olduğunu ve eşitlik aralığı veya korelasyon penceresi boyutu gibi daha iyi sonuçlar elde etmek için ayarlanabilecek birkaç parametreye sahip olduğunu fark ediyorum. Bu parametreleri ayarladığım kadarıyla, Kinect gibi aktif bir sensör kullanılarak elde edilebilecek şeylere uzaktan bile yakın sonuçlar elde edemiyorum.

Bunu istememin sebebi, çoğu zaman bitişik bölgelere karşılık gelen nokta bulutlarının bir eşleşme elde etmem için yeterli örtüşmemesi, bu nedenle yeniden yapılanma ciddi şekilde bozuluyor.

Computer Vision uzmanlarına sorum şu: genel olarak daha yoğun nokta bulutları elde etmek için ne yapabilirim (ofis ortamımı keyfi olarak değiştirmeden)?

Göze çarpan nokta algılamayı atlamayı deneyebilir ve görüntünün üzerinde yoğun bir şekilde örnek (ızgara gibi) ve her örnek noktasında bir özellik tanımlayıcısı hesaplayabilirsiniz. Muhtemelen her piksel için bir tanımlayıcı hesaplamak kadar ileri gidebilirsiniz.

Ölçek değişmezliğini kaybedebilirsiniz, ancak nesnelerin her iki görüntüde yaklaşık olarak aynı ölçekte olacağı için stereo görüş için çok fazla zarar vermeyeceğini düşünüyorum.

Başka bir yaklaşım, birden fazla göze çarpan nokta algılama algoritmasını birleştirmek olabilir: köşeler, kenarlar, lekeler vb. Daha sonra, algılanan tüm noktalar için aynı özellik tanımlayıcı algoritmasını kullanmanız gerekir, ancak bu ikinci bölümün uygulanması biraz zor olabilir.

Böylece geçmişte kullandığım stereo görüntü işleme algoritmaları piksel piksel uygulandı. Sadece iğne deliği kamera modelini kullandık ve derinlik tahminlerimiz gerçekle eşleşene kadar ölçüm bandı ile bazı eski moda ölçümler yaptık.

Bir çift paralel kamera için denklemler:

• $d =$ kameralar arasındaki mesafenin yarısı
• $f =$ kameraların odak uzaklığı (aynı olduğu varsayılır)
• Koordinat Çerçeveleri:
  • $x, y, z =$ kameralar arasındaki koordinat çerçevesi (yani kamera temel çerçevesi)
  • $u_R, v_R$ kamera robotun perspektifinden sağ kamerada koordinatlar (u yatay, v dikey)
  • $u_L, v_L$ sol kamerada kamera koordinatları
  • Not: kamera koordinatlarının kökleri kameralar arasındaki koordinat çerçevesinde bulunur (yani u eksenleri ters yönlere bakar)

$u_L = \frac{f(x-d)}{z}$ ,$u_R = \frac{f(x+d)}{z}$

$zu_R = f(x+d)$ ,$zu_L = f(x-d)$

$z(u_R - u_L) = 2df$

$z = \frac{2df}{u_R - u_L}$

$y = \frac{v_L*z + df}{f}$

$x = \frac{u_L*z + df}{f}$

Bu denklemleri kullanarak yoğun bir stereo bulut hesaplayabilirsiniz. Kameralarınızdaki her piksel için bir tane.

"Görüntünün yarısından fazlası uygun derinlik bilgisine sahip değil" derken, hangi yarısı?

Karşılaştığımız bir konu, nesneye olan mesafe taban çizginizle aynı büyüklükte ise (genellikle çok geniş açılı kameralarla ilişkilendirilirse), "standart" yoğun stereo algoritmaların çok iyi çalışmadığıdır. Libelas kütüphanesini kullanıyoruz ve geliştiricileri bize bunun "büyük temel stereo" olarak adlandırıldığını ve başka bir sorun olduğunu söyledi.

KITTI Stereo Benchmark liderlerine bir göz atın . Bu kıyaslama, belirli bir noktada bir eşitsizlik üretmeme algoritmalarını cezalandırır, bu nedenle en iyi performans gösterenler yoğun çıktılar üretir (birçok noktada tahminleri için fazla zemine sahip olmasalar bile). Bazı yöntemlerde, deneyebileceğiniz bağlı olan herkese açık bir kod bulunur.

Uzun zaman aldıkları için cezalandırılmadığına dikkat edin, bu nedenle birçok yöntem çalıştırılacak görüntü başına dakika sırasını alacaktır ve uygulamanız için uygun olmayabilir. Bir GPN'de hala bir saniyeden daha az bir sürede çalışırken, çok iyi sonuçlanmış olsa da, birçok CNN tabanlı yöntem tanıtıldı. Bunlardan en az birinin (CRL) genel kodu vardır.

Görüntülerinizde bunlarla hala iyi derinlik tahminleri almıyorsanız, sadece görünür bir yaklaşımdan mümkün olanın sınırlarını görüyor olabilirsiniz. Noktaları iyi bir şekilde eşleştirebilmek için bölgede temel olarak belirgin bir doku olması gerekir ya da tekstüre olmayan bölgelerde bazı güçlü varsayımlar (örneğin, pürüzsüzlük) yapmak için bir temele ihtiyacınız vardır.