Bir 3D yapısını bir dizi görüntüden nasıl yeniden oluşturabilirim?

Aşağıdaki şekilde gruplandırılmış bir dizi kontur (çizgi segmenti kümesi) var:

$S_i = \{I^0, I^\frac{\pi}{4}, I^\frac{2\pi}{4}, \ldots, I^\frac{7\pi}{4} \}$

nerede

• $S_i$ , bir somut nesnenin fotoğraf dizisini gösterir.
• $I^j$ , bakış açısına sahip bir resmi gösterir ( , önden görünüş anlamına gelir). $j^{th}$$j=0$

(arka görünüm) örneği : $I^\pi$

Nesnenin 3B yapısını verilen ile nasıl yeniden oluşturabilirim ?$S_i$

Biri beni bazı gazetelere yönlendirebilir veya hatta bazı anahtar kelimeler verebilir mi? Nokta bulutlarıyla çalışan bir sürü makale olduğunu biliyorum ama bunlar çizgilerle çalıştığım gibi çalışmıyor.

Aslında bu oldukça zor bir konu. Klasik çoklu görünüm 3d rekonstrüksiyonu ilk etapta nokta eşleştirme ile ilgilidir, yani her görüntüde aynı noktayı bulur. Her görüntü için kamera (görünüm) parametreleri göz önüne alındığında, orijinal 3B nokta yeniden oluşturulabilir. (Bir lazer veya projektör kullanılarak sahne aydınlatılabilir, böylece eşleştirme nispeten kolay yapılabilir.)

Alanın İncil'i Hartley ve Zisserman'ın Bilgisayarla Görüşteki Çoklu Görüntü Geometrisidir

Kitapta, üç görünüm arasında çok yönlü bir kısıtlama olan trifokal tensör hakkında bir bölüm var. Sadece nokta değil, aynı zamanda çizgi yazışma kısıtlamaları da içerir. Yeniden yapılanmada çok iyi kullanılabilir.

Bu nedenle, kontürleriniz ilk etapta eşleştirilmeli ve kamera parametrelerini bilerek yeniden yapılandırılabilir (kamera kalibrasyonu kitapta da yer almaktadır). O zaman 3 boyutlu konturlara sahip olacaksın, daha fazlası değil. Gerçek yüzeyler için yoğun nokta eşleştirmesi yapmanız gerekir. Bahsettiğim tensör iyi görünmesine rağmen düz çizgiler için kullanılıyor ve modern bir otomobilin her yerinde kavisli çizgiler olduğundan eminim.

Bu kontürleri nasıl aldığınızı bilmiyorum ama yayınladığınız görüntüyü görmek, bu algoritmanın sağlamlığı konusunda oldukça şüpheliyim, bu yüzden yeniden yapılanma fakir olacak.

Aklıma gelen bir diğer yöntem ise görsel gövde veya uzay oymacılığı . Kontur matematiği de yapılmalıdır. Yöntemi çalıştırarak her kontur üzerinde modele sahip olabilirsiniz.

Fodor Hartley ve Zisserman kitabı tarafından bahsedilmesine rağmen, pratik algoritmalardan çok genel bir anlayış için kesinlikle okumaya değer. Oldukça modası geçmiş ve bu yöntemler etkili değil. Sorununuz hakkında - problem formülasyonunun kendisi çok nadirdir. Fodor'un bahsettiği gibi, kontur yerine eşleştirme özelliği ile başlayan noktalar çok daha kolaydır. Puan durumunda mevcut Modern yöntemlerin kesinlikle en genel Triggs "Paketi Ayarlama - A Modern Sentezi" ile kağıdıdır Ama paket ayarlama kullanmadan önce böyle bir şey kullanarak görüntülerde maç karşılık gelen noktayı olurdu SIFT veya şablon eşleştirme. 3D rekonstrüksiyon için GoogleBazı tam yöntem örnekleri için. Bunun için açık kaynak paketlerini de kullanabilirsiniz, birkaç tane var.

Konturları kullanmakta ısrar ederseniz, problem hala zor olsa da (zorlukla) izlenebilmektedir. İlk önce tüm görüntülerde ilgili kontürleri tanımlayacak ve eşleştireceksiniz, bundan sonra maliyet fonksiyonunu yazın - her bir eşleştirilen kontür grubu için kamera görüntüsünün ve her bir görüntünün yöneliminin fonksiyonu olarak yeniden yapılanma hatalarının toplamını yazın. Bundan sonra bu maliyet fonksiyonunu en aza indiren kamera pozisyonu setini bulun. Bu işlemin her adımı son derece zordur ve Triggs gibi iyi bir genel bakış yoktur. İlgili bazı makaleleri "kontür" "terimlerinin bir birleşimi olarak google" "paket ayarlaması" "yeniden eşleştirme hatası" "3B yeniden yapılandırma" ile eşleşir.

Check out Görüntüler'den Modeli İmar biraz farklı ne yaptığını den ama bir 3d modele görüntülerden gitmek konusunda konuşun. Ayrıca MeshLab'a bir göz atın, verilerinizi içine aktarabileceğiniz bazı yeniden yapılandırma algoritmaları vardır.