Orman Görüntülerinde İz Tespiti


30

Bir orman sahnesi görüntüsünde (iz boyunca bir noktaya duran kamera perspektifinden) bir izi (çizgi veya noktadan noktaya eğri olarak) tanımlamak için herhangi bir araştırma / makale / yazılım farkında mı?

Gibi bir resim alabilir bir algoritma bulmaya çalışıyorum:

alt metin

ve aşağıdaki gibi muhtemel bir "iz" tanımlayan bir maske üretmek:

alt metin

Gördüğünüz gibi, orijinal resim biraz bulanık, bu da çok kullanışlı. Görüntü kaynağı mükemmel netlemeyi garanti edemez, bu nedenle makul miktarda gürültü ve bulanıklığı kaldırabilmem gerekiyor.

İlk düşüncem, bir Gauss bulanıklığı uygulamak ve görüntüyü keskin renk farklılıkları arayan bitişik blokları karşılaştırarak (bir iz “kenarı” işaret ederek) bloklara ayırmaktı. Ancak, gölgelerdeki ve ışıklandırmadaki diğer değişikliklerin kolayca attığını hemen fark ettim.

SURF özelliklerini çıkarmayı düşünüyordum, ancak yalnızca SURF / SIFT ile görüntü tamamen net ve tutarlı bir ışıklandırıldığında çok başarılı oldum.

Ayrıca görüntüleri ölçeklendirmeyi ve maskeleri çok daha küçük boyutlara (örneğin 100x75) küçültmeyi, 1xN vektörlere dönüştürmeyi ve FANN tabanlı bir sinir ağını (görüntünün girdiği ve maskenin istendiği olduğu yerlerde) eğitmek için kullanmaya çalıştım çıktı). Bu kadar küçük bir boyutta bile, giriş vektörünün% 75'i olan 1 gizli katmanla, çalışması 6 saat sürdü ve yine de test setinde herhangi bir maskeyi tahmin edemedi.

Herhangi biri konuyla ilgili başka bir yöntem veya makale önerebilir mi?


1
Bununla ilgili hiçbir şeyden bahsetmedin ama kamera / görüntü elde etmeyi kontrol ediyor musun? İnsanlar benzer durumlarda yakın kızılötesi görüntüleri kullanarak bitki örtüsü indeksini kullanırlar (bir uydudan orman kapsamını hesaplamayı düşünün). Yakın kızılötesi varsa, sorunu çözmek için doğrudan ileri.
carlosdc

Bir şekilde yapıyorum. Ucuz bir monoküler kamerayla (web kamerası / cep telefonu kamerası) resimler çekiyorum, ancak kızılötesi depoladıklarını sanmıyorum.
Cerin

Bitki örtüsü ve kir spektrumları arasında ayrım yapabilen çoklu renk filtreleri kullanmak muhtemelen yardımcı olacaktır
endolith

Eğitmek ve tespit etmek için bir Bayesian yaklaşımı denediyseniz merak ediyorum. Birkaç gün önce yazdığım bir cevabı aldım, fakat denedikten sonra reddettiğinizi düşündüğüm için sildim. Henüz bu seçeneği değerlendirmediyseniz, geri almaktan memnuniyet duyarım.
Lorem Ipsum

@yoda, Bayesian yaklaşımı ile ne demek istiyorsunuz? Ayrık sınıflandırma ve mantıksal ağlara uygulandığı için sadece Bayesian ile tanıştım. CV'ye uygulandığını bilmiyorum. Sizin tarafınızdan herhangi bir yazı gördüğümü hatırlamıyorum.
Cerin

Yanıtlar:


13

Kendi başına yeterli olmayabilir, ancak sorunlardan birinin aydınlatma varyasyonları ile ilgili olması nedeniyle, bir gölge çıkarma ön işleme adımı yardımcı olabilir. Düşündüğüm teknik aşağıdaki makalede açıklanmıştır:

"Görüntülerden Gölgelerin Çıkarılması Üzerine", GD Finlayson, SD Hordley, C. Lu ve MS Drew, IEEE Örüntü Analizi ve Makine Zekası (PAMI), Cilt.28, Sayı.1, Ocak, 2006, s.59- 68. http://www.cs.sfu.ca/~mark/ftp/Pami06/pami06.pdf

Sürecin ilk bölümü, muhtemelen bu durumda istediğiniz şey olan bir aydınlatma değişmeyen gri tonlamalı görüntü üretir. İşte gazetede verdikleri örneğin bir atış:

Gölge Kaldırma
(kaynak: datageist.com )

Aslında, bir "renklilik" imajı üretmek için süreci bir adım daha ileriye götürmek, canlı ve ölü yapraklar arasında temiz bir şekilde ayrım yapmak için ihtiyaç duyduğunuz şey olabilir. Bir kez daha, gazeteden bir örnek:

Boyanabilirlik
(kaynak: datageist.com )

Bununla birlikte, tespit, kameranın ilk önce kalibre edilmesi gerektiğidir. Bunun mümkün olduğunu varsayarak, tarif ettikleri temsillerin bir kombinasyonu, kullandığınız diğer yöntemleri daha etkili hale getirecektir.


12

Bence yeterince bilgiye sahip inanmıyorum içinde maske görüntü üretmek için kaynak resmin. Renge bölünerek başlayabilirsiniz, yani yeşil iz değildir, gri / kahverengidir. Bununla birlikte, maskenizde temsil edilmeyen “iz sınırlarında” gri / kahverengi bölgeler vardır. (Kaynak görüntünüzün sol alt çeyreğine bakın.)

Sağladığınız maske kaynak görüntüde görünmeyen yapısal kısıtlamaları ifade eder: örneğin, izleriniz sabit genişliktedir - o zaman bu bilgiyi desen tanımlayıcınızın döndürdüğü ön maskeyi sınırlamak için kullanabilirsiniz.

Yapı konusuna devam: Yollar başkalarıyla birleşir mi? Patikalar belirli toprak / çakıl özellikleriyle sınırlandırılmış mı? Bir insan olarak (örüntü tanıma konusunda oldukça iyidir!), Sol alt kadranda gösterilen özelliklere meydan okuyorum: "iz" olarak indirim yapamayacağım gri / kahverengi bölgeler görüyorum. Belki daha fazla bilgiye sahip olsaydım, bunu kesin bir şekilde yapabilirdim: bir harita ve kaba bilinen bir yer, bu iz üzerinde kişisel deneyim ya da belki de bu noktaya götüren bir görüntü dizisi - belki de tanıyıcı "bilirse bu görüş çok belirsiz değildir "Bu sahneye neyin yol açtığı.

Bir resim koleksiyonu bence en ilginç yaklaşımdır. Bu düşünce hattına devam etmek: bir görüntü yeterli veri sağlayamayabilir, ancak panoramik bir manzara sahneyi küçümseyebilir.


Evet, yollar başkalarıyla birleşiyor. Ve evet, izler toprak / çakıl özellikleriyle belirlenir, bu özelliklerin iz bırakmayan alanlardan farklı olması gerekir. Görüntünün bazı bölümlerde zor olabileceğine katılıyorum, ancak izin nerede olduğu hakkında oldukça iyi bir tahminde bulunmak için yeterli bilgi olduğunu düşünüyorum. Bu ize aşina olmasa da, onunla bir problemin yokmuş gibi geliyor (sol alt kısımdaki anlaşılabilir alan hariç).

Aslında, izin sınırları olarak oldukça iyi bir tahminde bulunabilirim. Ancak, korkarım kaynak görüntüde gösterilenden daha fazla bilgiye güveniyorum. Bir izin ne olduğunu "biliyorum" - muhtemelen izleri içeren göze çarpan özelliklerin bir modelini veya şablonunu oluşturduğum için: doğrudan tecrübe yoluyla veya resimlerde iyi tanımlanmış izleri görmek, vb. Özetlemek için: kaynak görüntü, kaynak görüntüde gözlemlediğimden çok daha fazlasını çiziyorum.

Bir vizyon sisteminin yararlanabileceği yolun bazı özellikleri var: muhtemelen yolun serbest, gezilebilir alanı temsil ettiğini varsayabiliriz. Bu nedenle, ağaç, çalı ve kaya özellikleri "iz değil" olarak sınıflandırılabilir. Belki bir doku analizi bunları ayırt etmeye yardımcı olabilir? Yine de emin değilim: ağaçların altındaki zemin (orta sol üst) ize oldukça benziyor.

İlk fikrim, doku çok kaba olduğunda yüksek tepki veren LU veya Eigen dönüşümlerine atıfta bulunmak olurdu. Bununla birlikte, burada iz / iz içermeyen arasındaki ana ayırt edici özellik renk gibi görünmektedir. Belki de onu HSV renk uzayına dönüştürmek ve 'dünyevi' bir tonu olan kahverengimsi veya koyu sarı olan piksellerden bir maske yapmak zor bir tahminde bulunacaktır.
AruniRC

12

Rasgele bir görüntüdeki izleri sihirli olarak algılayacak tek bir algoritma yok. Bir makine öğrenmeye dayalı rutini uygulamanız ve izleri tespit etmek için "eğitmeniz" gerekecektir. Çok fazla ayrıntıya girmeden, işte denetimli bir öğrenme yaklaşımında ne yapacağınız hakkında kaba bir taslak.

  1. Sizin (amiriniz) “iz” olarak nitelendiren ve arka plan “orman” ın ne olduğunu etiketlediğiniz farklı ortamlardaki izlerin resimlerini kastettiğim bir dizi "eğitim örneğine" ihtiyacınız olacak. Görüntüleri daha küçük bölümlere ayırır (tipik olarak 8x8) ve blokların DCT'sini (ayrık kosinüs dönüşümü) alarak bir "özellik alanına" dönüştürürsünüz. Bu durumda her bloğun DCT'si size 64 puanlık bir "özellik vektörü" verir.
  2. Bir özellik alanı tanımlama özellikler seti, (sizin 64 nokta özelliğini vektörü bir alt kümesi) ve bir sınıf alanı sınıfları ile ve , sen hesaplamak Eğitim setlerinden:XxYy1=traily2=forest

    • sınıf koşullu dağılımlar
      • PX|Y(x|trail) , sınıfın durumunda özelliklerin koşullu yoğunluğu . trail
      • PX|Y(x|forest) , sınıf olduğunda özelliklerin koşullu yoğunluğu . forest
    • sınıf olasılıkları veya önceliği
      • trbirilPY(trail) , bir blokta bulma olasılığıtrail
      • forEstPY(forest) , bir blokta bulma olasılığıforest
  3. Bununla, resminizi sınayın (daha küçük parçalara bölerek) ve arka olasılığı hesaplayın. Bayes'in karar teorisini kullanarak, ikili (bu durumda) seçim ölçütlerinizi şöyle tanımlayabilirsiniz:

    y~i(x)=argmaxyiPX|Y(x|yi) PY(yi)
    burada her bloğu en yüksek arka olasılık olan o sınıfa atadığınız. Bu, ikili maskenize neden olur.

Bunun yaklaşıma ilişkin basitleştirilmiş bir bakış olduğunu unutmayın. Dikkate alınması gereken birkaç şey var ve bunların en önemlisi, probleminiz için doğru özellikleri seçmektir. Ayrıca karışım modelleri ve çekirdek bazlı yoğunluk tahminleri kullanmak gibi daha karmaşık şeyler de yapabilirsiniz, ancak bunların hepsi çok ayrıntılı ve cevap yazmak için zaman alıcıdır.

Bu yaklaşımın denemeye değer olduğunu belirten bir motivasyon ve onay için, işte uzun zaman önce yaptığım bir ödev olarak yaptığım şeye bir örnek, ulaşmaya çalıştığınız şeye çok benzer. Amaç, arka plan bitki örtüsünden hayvanı tespit etmektir (soldaki görüntü). Sağdaki şekil, ön plan ile arka plan arasında ayrım yapmak için "öğrendikten" sonra elde edilen ikili maskeyi gösterir.

görüntü tanımını buraya girin görüntü tanımını buraya girin

Makine öğrenmesi hakkında daha fazla bilgi edinmek için birkaç ders kitabına bakmak isteyebilirsiniz. Alanında iyi bilinen ve sıklıkla önerilen ders kitaplarından biri:

T. Hastie, R. Tibshirani ve J. Friedman, İstatistiksel Öğrenmenin Öğeleri: Veri Madenciliği, Çıkarım ve Tahmin. 2. Baskı, Springer-Verlag (2008)

Sağlanan bağlantıda artık ücretsiz bir PDF olarak mevcut. Bir başka iyi kitap:

RO Duda, PE Hart ve DG Stork, Desen Sınıflandırması , 2. Baskı, John Wiley & Sons (2001)


1
Bu notta, makine öğrenmeye mükemmel bir giriş olan ml-class.org adresine dikkat çekmek istiyorum .
bjoernz

İlginç bir yöntem. Bununla birlikte, Py (iz) ve Py (orman) derken "tüm resimde bir iz bulma olasılığı" derken, onları 8x8 blokta veya tüm görüntünde bulma olasılığını mı kastediyorsunuz? Tüm görüntü, her ikisinin de% 100 olacağını hayal ediyorum, çünkü tüm eğitim görüntüleri bu ikisine birden sahip olacak.
Cerin

@Cerin: Üzgünüm, Py (iz) ile, bir blokta bulma olasılığını kastediyorum. Bu, tüm resimdeki toplam blok sayısına göre iz bırakan tüm blokların toplamı olacaktır. Bunu düzeltmek için düzenlemiştim
Lorem Ipsum

X özellik alanını nasıl tanımlarsınız? 64 nokta özellik vektörlerinin boyutsallığını 10 özellik gibi bir şeye düşürmek için K-Means kümesi gibi bir şey kullanır mısınız?
Cerin

@Cerin Evet, K-aracı, boyutluluğun azaltılmasına yönelik yaygın yaklaşımlardan biridir.
Lorem Ipsum


5

Doku bölümlemesi için bir sorun gibi görünüyor (renk bölümlemesi değil) Birçok yöntem var,

sık sık Gabor dalgacıklarını kullanıyorlar, bunun gibi http://note.sonots.com/SciSoftware/GaborTextureSegmentation.html

Süper piksel tabanlı segmentasyon http://ttic.uchicago.edu/~xren/research/superpixel/

ve benzer grafik kesim segmentasyonu http://en.wikipedia.org/wiki/Graph_cuts_in_computer_vision

işte wiki genel bakış http://en.wikipedia.org/wiki/Segmentation_(image_processing)


gabor doku segmentasyonları güzel görünüyor!
nkint
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.