Mathematica ile Waldo'yu nasıl bulabilirim?

Bu hafta sonu beni rahatsız ediyordu: Nerede Waldo'ları çözmek için iyi bir yol nedir ? Mathematica (görüntü işleme ve diğer işlevler) kullanarak [ Kuzey Amerika dışında 'Wally' bulmacaları?

Şimdiye kadar sahip olduğum şey, bazı kırmızı olmayan renkleri karartmak suretiyle görsel karmaşıklığı biraz azaltan bir işlev:

whereIsWaldo[url_] := Module[{waldo, waldo2, waldoMask},
    waldo = Import[url];
    waldo2 = Image[ImageData[
        waldo] /. {{r_, g_, b_} /;
          Not[r > .7 && g < .3 && b < .3] :> {0, 0,
          0}, {r_, g_, b_} /; (r > .7 && g < .3 && b < .3) :> {1, 1,
          1}}];
    waldoMask = Closing[waldo2, 4];
    ImageCompose[waldo, {waldoMask, .5}]
]

Ve bunun 'çalıştığı' bir URL örneği:

whereIsWaldo["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"]

(Waldo yazar kasaya aittir):

Waldo'yu buldum!

Nasıl yaptım

İlk olarak, kırmızı olmayan tüm renkleri filtreliyorum

waldo = Import["http://www.findwaldo.com/fankit/graphics/IntlManOfLiterature/Scenes/DepartmentStore.jpg"];
red = Fold[ImageSubtract, #[[1]], Rest[#]] &@ColorSeparate[waldo];

Sonra, gömleğin içindeki kırmızı ve beyaz geçişleri bulmak için bu görüntünün basit bir siyah-beyaz desenle korelasyonunu hesaplıyorum.

corr = ImageCorrelate[red, 
   Image@Join[ConstantArray[1, {2, 4}], ConstantArray[0, {2, 4}]], 
   NormalizedSquaredEuclideanDistance];

Kullandığım Binarizeyeterince yüksek korelasyon ile görüntüdeki piksellerin dışarı almak ve bunları kullanarak bunları vurgulamak etrafında beyaz bir daire çizmek içinDilation

pos = Dilation[ColorNegate[Binarize[corr, .12]], DiskMatrix[30]];

Seviyeyle biraz oynamam gerekiyordu. Seviye çok yüksekse, çok fazla sayıda yanlış pozitif seçilir.

Sonunda yukarıdaki sonucu elde etmek için bu sonucu orijinal görüntü ile birleştiriyorum

found = ImageMultiply[waldo, ImageAdd[ColorConvert[pos, "GrayLevel"], .5]]

"Bunu yapmanın kurşun geçirmez bir yolundaki" tahminim (CIA'nın herhangi bir uydu görüntüsünde Waldo'yu her zaman bulmayı düşünüyorum, çizgili gömlekler gibi rakip unsurlar olmadan tek bir görüntü değil) ... Boltzmann makinesini eğitiyordum birçok görüntüsünde - oturma, ayakta durma, tıkalı vb. tüm varyasyonları; gömlek, şapka, kamera ve tüm işler. Waldos'un büyük bir cesedine ihtiyacınız yoktur (belki 3-5 yeterli olacaktır), ancak daha fazlası daha iyidir.

Bu, doğru düzenleme ne olursa olsun çeşitli öğelere olasılık bulutları atayacak ve daha sonra ortalama bir nesne boyutunun ne olduğunu (segmentasyon yoluyla) belirleyecek, kaynak görüntüyü bireysel insanlara en çok benzeyen nesnelerin hücrelerine parçalayacaktır (olası oklüzyonlar ve poz değişiklikleri dikkate alınarak) ), ancak Waldo resimleri genellikle aynı ölçekte çok sayıda insan içerdiğinden, bu çok kolay bir görev olmalı, daha sonra önceden eğitilmiş Boltzmann makinesinin bu segmentlerini besleyin. Size her birinin Waldo olma olasılığını verecektir. En yüksek olasılıkla bir tane alın.

OCR, ZIP kodu okuyucuları ve inatçı el yazısı tanıma bugün böyle çalışıyor. Temel olarak cevabın orada olduğunu biliyorsunuz, az ya da çok neye benzemesi gerektiğini biliyorsunuz ve diğer her şeyin ortak unsurları olabilir, ama kesinlikle "değil", bu yüzden "değil" lerle uğraşmazsınız, daha önce gördüğünüz tüm "olası" seçenekler arasında "bu" olma olasılığına bakın (örneğin posta kodlarında BM'yi yalnızca 1s, sadece 2s, sadece 3s vb. her makineye rakam ekleyin ve en güvenilir olanı seçin.

@GregoryKlopper ile, Waldo'yu (veya ilgilenilen herhangi bir nesneyi) keyfi bir görüntüde bulmanın genel yolunu çözmenin doğru bir yolun denetimli bir makine öğrenimi sınıflandırıcısı yetiştirmek olduğuna katılıyorum . Pozitif ve negatif etiketli birçok örnek kullanarak, Destek Vektör Makinesi , Artırılmış Karar Güdük veya Boltzmann Makinesi gibi bir algoritma bu sorun üzerinde yüksek doğruluk elde etmek için eğitilebilir. Mathematica, bu algoritmaları Makine Öğrenim Çerçevesinde bile içerir .

Bir Waldo sınıflandırıcısının eğitimi ile ilgili iki zorluk şöyle olacaktır:

1. Doğru görüntü özellik dönüşümünü belirleme. @ Heike'ın cevabı faydalı olacaktır: kırmızı bir filtre ve soyulmuş bir desen detektörü (örn. Dalgacık veya DCT ayrışması) ham pikselleri sınıflandırma algoritmasının öğrenebileceği bir biçime dönüştürmenin iyi bir yolu olacaktır. Görüntünün tüm alt bölümlerini değerlendiren blok tabanlı bir ayrışma da gerekli olacaktır ... ancak bu, Waldo'nun a) her zaman kabaca aynı boyutta olması ve b) her görüntüde her zaman tam olarak bir kez bulunmasıyla daha kolay hale gelir.
2. Yeterli eğitim örneklerinin alınması. SVM'ler her sınıftan en az 100 örnekle en iyi sonucu verir. Ticari artırma uygulamaları (örn. Dijital kameralarda yüze odaklanma) milyonlarca olumlu ve olumsuz örnek üzerinde eğitilmiştir.

Hızlı bir Google görsel araması bazı iyi verileri ortaya çıkarır - bazı eğitim örneklerini toplamaya ve şu anda kodlamaya devam edeceğim!

Bununla birlikte, bir makine öğrenme yaklaşımı (veya @iND tarafından önerilen kural tabanlı yaklaşım) bile Waldos Ülkesi gibi bir imaj için mücadele edecektir !

Mathematica'yı tanımıyorum. . . çok kötü. Ama çoğunlukla yukarıdaki cevabı seviyorum.

Yine de cevabı çözmek için sadece çizgilere güvenen büyük bir kusur var (kişisel olarak bir manuel ayarlamayla ilgili bir sorunum yok ). Zaman zaman gömlek desenini kırdıklarını gösteren bir örnek ( burada Brett Champion tarafından listelenmiştir ) sunulmaktadır. Böylece daha karmaşık bir model haline gelir.

Uzaysal ilişkilerle birlikte şekil kimliği ve renk yaklaşımını denerdim. Yüz tanımaya çok benzer şekilde, birbirlerinden belirli oranlarda geometrik desenler arayabilirsiniz. Uyarı, genellikle bu şekillerin bir veya daha fazlasının tıkalı olmasıdır.

Görüntü üzerinde beyaz bir denge elde edin ve görüntüden kırmızı bir denge çekin. Waldo'nun her zaman aynı değer / renk tonu olduğuna inanıyorum, ancak görüntü bir taramadan veya kötü bir kopyadan olabilir. O zaman daima Waldo'nun gerçekte olduğu bir dizi renge bakın: kırmızı, beyaz, koyu kahverengi, mavi, şeftali, {ayakkabı rengi}.

Bir gömlek deseni ve ayrıca Waldo'yu tanımlayan pantolon, gözlük, saç, yüz, ayakkabı ve şapka var. Ayrıca, görüntüdeki diğer insanlara göre Waldo sıska tarafta.

Yani, bu fotoğraftaki insanların yüksekliğini elde etmek için rastgele insanlar bulun. Görüntüdeki rastgele noktalarda bir grup şeyin ortalama yüksekliğini ölçün (basit bir anahat oldukça az sayıda bireysel insan üretecektir). Her şey birbirinden standart bir sapma içinde değilse, şimdilik göz ardı edilir. Ortalama yüksekliklerin görüntünün yüksekliği ile karşılaştırın. Oran çok büyükse (örneğin, 1: 2, 1: 4 veya benzer şekilde yakınsa), tekrar deneyin. Bazı standart sapmaların dışındaki herhangi bir ortalama hariç, numunelerin birbirine oldukça yakın olduğundan emin olmak için 10 (?) Kez çalıştırın. Mathematica'da mümkün mü?

Bu sizin Waldo bedeniniz. Walso sıska, bu yüzden 5: 1 veya 6: 1 (veya her neyse) ht: wd. Ancak bu yeterli değildir. Waldo kısmen gizlenmişse yükseklik değişebilir. Yani, ~ 2: 1 kırmızı-beyaz bir blok arıyorsunuz. Ancak daha fazla gösterge olmalı.

1. Waldo'nun gözlükleri var. Kırmızı-beyazın 0,5: 1 üzerinde iki daire arayın.
2. Mavi pantolon. Kırmızı-beyazın ucu ile ayaklarına olan mesafe arasındaki herhangi bir mesafede aynı genişlikte herhangi bir miktarda mavi. Gömleğini kısa giydiğine dikkat edin, bu yüzden ayaklar çok yakın değildir.
3. Şapka. Kırmızı-beyaz, başının iki katına kadar herhangi bir mesafe. Aşağıdaki koyu saçlara ve muhtemelen gözlüklere sahip olması gerektiğini unutmayın.
4. Uzun kollu. kırmızı-beyaz ana kırmızı-beyaz bir açıyla.
5. Koyu saç.
6. Ayakkabı rengi. Rengi bilmiyorum.

Bunlardan herhangi biri geçerli olabilir. Bunlar aynı zamanda resimdeki benzer insanlara karşı negatif kontrollerdir - örneğin # 2 kırmızı-beyaz önlük (ayakkabılara çok yakın) giyen negatifler, # 5 açık renkli saçları ortadan kaldırır. Ayrıca, şekil bu testlerin her biri için sadece bir göstergedir. . . belirtilen mesafe içinde tek başına renk iyi sonuçlar verebilir.

Bu işlem yapılacak alanları daraltacaktır.

Bu sonuçların saklanması , içinde Waldo olması gereken bir dizi alan üretecektir . Diğer tüm alanları hariç tutun (örneğin, her alan için ortalama kişi boyutunun iki katı büyüklükte bir daire seçin) ve ardından @Heike'nin kırmızı hariç tümünü kaldırarak ortaya koyduğu işlemi çalıştırın.

Bunu nasıl kodlayacağınız hakkında bir fikriniz var mı?

Düzenle:

Bunu nasıl kodlayacağınız üzerine düşünceler. . . Waldo kırmızı hariç tüm alanları hariç tutun, kırmızı alanları iskeletleyin ve tek bir noktaya indirin. Waldo saç kahverengi, Waldo pantolon mavi, Waldo ayakkabı rengi için de aynısını yapın. Waldo ten rengi için dışlayın, ardından anahattı bulun.

Ardından, kırmızı olmayanları hariç tutun, tüm kırmızı alanları genişletin (çok fazla), sonra iskeletleyin ve budama yapın. Bu bölüm olası Waldo merkez noktalarının bir listesini verecektir. Bu, diğer tüm Waldo renk bölümlerini karşılaştırmak için işaretleyici olacaktır.

Buradan, iskeletlenmiş kırmızı alanları (dilate olanları değil) kullanarak, her alandaki çizgileri sayın. Doğru sayı varsa (dört, değil mi?), Bu kesinlikle olası bir alandır. Değilse, sanırım sadece hariç tut (Waldo merkezi olarak ... hala onun şapkası olabilir).

Ardından, yukarıda bir yüz şekli, yukarıda bir saç noktası, pantolonun altında, ayakkabıların altında vb.

Henüz kod yok - hala dokümanları okuyor.

Waldo'yu OpenCV kullanarak bulmak için hızlı bir çözümüm var.

Waldo'yu bulmak için OpenCV'de bulunan şablon eşleme fonksiyonunu kullandım .

Bunu yapmak için bir şablona ihtiyaç vardır. Bu yüzden Waldo'yu orijinal görüntüden kırptım ve şablon olarak kullandım.

Daha sonra cv2.matchTemplate()işlevi kullanılan yöntem olarak normalleştirilmiş korelasyon katsayısı ile birlikte çağırdım . Aşağıda beyaz olarak gösterildiği gibi tek bir bölgede yüksek bir olasılık döndürdü (sol üst bölgede bir yerde):

Olası en yüksek bölgenin konumu, cv2.minMaxLoc()daha sonra Waldo'yu vurgulamak için dikdörtgeni çizmek için kullandığım işlev kullanılarak bulundu :