Görüntü yamalarını niteliksel olarak karşılaştırmak için iyi metrik


11

Bir görüntüdeki küçük kare yamaları "eşleştirmeye" çalışıyorum. İlk bakışta, bir "benzerlik" ölçüsü elde etmek için bu dizilerden ikisinin Öklid uzaklık stili karşılaştırmasını yapmak mantıklı görünmektedir. Bu, birçok durumda iyi çalışır (bu metriğe göre "en iyi" yama (en düşük değer), sorgu yamasına çok benzer). Bununla birlikte, bunun çok kötü bir eşleşme sağladığı birçok durum vardır. Örneğin, şu iki yama çiftini alın:

Bir tuğla duvarın iki yaması, skor 134 (bu, ortalama mutlak piksel farkının bileşenlerinin toplamıdır):

Kaynak Düzeltme Eki Hedef Yama

Bir tuğla duvarın bir yaması, bir çim parçası, 123 puan!

https://i.stack.imgur.com/d7lBZ.png https://i.stack.imgur.com/d2TBE.png

Bir insan için, çim "açıkça" tuğla ile eşleşmez, ancak bu metrik aksini söyler. Sorun sadece yerel istatistiksel varyasyonda.

Histogram karşılaştırması gibi bir şey kullanırsam, tüm uzamsal bilgileri tamamen kaybederim - örneğin, bir yama üstte çim ve altta tuğla ise, tam olarak altta çim ve üstte tuğla bulunan bir yama ile tam olarak eşleşir (tekrar , başka bir "açıkça yanlış" maç).

Bu fikirlerin her ikisini de yukarıdaki Çifti 1 için "benzer" olarak değerlendirecek, ancak bir yama ve dikey aynası örneğim için de benzer olmayan makul bir değere birleştiren bir metrik var mı?

Herhangi bir öneriniz için teşekkür ederiz!


1
Bileşenlerin toplamını alırken renk uzayındaki tüm "uzamsal" bilgileri kaybedersiniz. Bileşenleri ayrı ayrı değerlendirin, örneğin iki vektör üzerindeki Öklid mesafesini hesaplayın?
Geerten

Yanıtlar:


2

Temel fikir şudur: Renk bilgisinde yanlış bir şey yoktur - sadece yetersizdir. En iyi şey, çoklu özellik kümelerini birleştirmektir.

Bu belirsizliği çözmek için birden fazla özellik deneyebilirsiniz. Özellik kümesi söz konusu olduğunda aşağıdakileri kullanabilirsiniz:

  1. Renk ( MPEG7'nin baskın rengi gibi bir şey ) VEYA Renk Historgram
  2. Doku (filtre bankası yanıtı biçiminde) VEYA
  3. Kenar histogramları

Birincil karşılaştırma olarak, ilk olarak saf tuğla yaması ile saf çim yaması arasında ayrım yapmak istiyorum. Bunun için renk kesinlikle en potansiyel unsurdur.

Daha sağlam sınıflandırma yapmak için özellikleri birleştirme

Baskın bir renk (sadece birini değil ama kullanır) veya anahtar rengi ve kümeleri oluştururdum. Küme kafalarının nerede olduğunu görün;

Küme kafalarının her ikisi de beklenen alanlarda bulunuyorsa, sınıfın algılanması genellikle kolaydır, eğer bunlar gri alana düşerse, sınıf oraya aittir. Gri alana düşerse, başka bir özellik gereklidir.

Sameway, Doku matrisini kullanarak bağımsız olarak sınıflandırabilir ve sonuçların anlamlı olmasını sağlamak için her iki skoru birleştirebilirsiniz.

Mekansal problemlerle başa çıkmak

Özellikle, yamaların yarım tuğla ve yarım çim olan kısımlarına sahip olabileceğini fark ettiğinizde. Daha fazla özelliğe veya farklı bir matrikse ihtiyacınız olmadığını düşünüyorum. Bu iki şekilde ele alınabilir.

1. Farklı sınıflar olarak çoklu üyelik yama tutun. Örneğin, dışında birck-onlysınıf ve grass-onlysınıfın, ayrıca olabilir half-brick-half-grass-verticalve half-brick-half-grass-horizontaltoplam dört sınıfları olarak. Bu, daha önce tartıştığımız kümeleme yöntemi kullanılarak kolayca sınıflandırılabilir.

2. Çok ölçekli sınıflandırma ekleyin Örneğin, yamanın gri bir alanda olduğu göz önüne alındığında, yamayı iki parçaya bölebilirsiniz, yani sola veya sağa. Aynı şekilde yukarıdan aşağıya da bölebilirsiniz. Şimdi bu "yarım kısım" için özdeş sınıflandırma uygulayabilirsiniz. İdeal olarak, yukarıda listelenen özellik, tam parça arasındaki bir özellik benzerliğini karşılaştırmak için ölçeklenebilir yapmanıza izin vermelidir (örneğin, baskın renk boyutu ne olursa olsun aynı olabilir) veya yeniden boyutlandırmanız gerekebilir.

Daha fazla sınıf (bölüm 1'de olduğu gibi) veya daha fazla seviye (bölüm 2'de olduğu gibi) eklemek basit olacaktır; üst sınır iki faktörden oluşacaktır - herhangi bir ek bölüm artık sınıflandırmaya herhangi bir değer katmayacak veya aşırı gürültü sınıflandırmada belirsizliği etkili bir şekilde artıracaktır. Durduğunuz yer burası.


2

Başlangıç ​​olarak, 2 görüntü ve 3 ölçüm, en uygun karşılaştırma metriğini tanımlamak için kullanılabilecek herhangi bir istatistiksel modeli belirlemek için tam olarak yeterli değildir.

Bence yöntemler ve ipuçları için doku tanıma belgelerine bakmaya başlayabilirsiniz. Aktif bir alandır.

Değer için, birkaç algısal hashleme fonksiyonu (DCT ve Rastgele Projeksiyon tabanlı) testleri yaptım ve SIFT tanımlayıcı ile biraz deneme yaptım. Bu işlevler sınıflar arası ve sınıflar arası mesafeleri ayırabilir, ancak 3 görüntüden herhangi bir şeyi sonuçlandırmak imkansızdır.

Github üzerine kod .

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.