DCT ile Doku Sınıflandırması

Ayrı bir kosinüs dönüşümünün özelliklerini kullanarak bir görüntünün dokusunu sınıflandırmak ne kadar uygun olur? "Doku sınıflandırma dct" adlı googling , bu konuda bir sinir ağı kullanarak yalnızca tek bir akademik makale bulur .

Uygulamam için, tüm görüntünün tutarlı bir doku olduğu (örneğin bir battaniyenin, ağaç kabuğunun, çimenli alanın, vb.

Önceki bir soruya verilen yanıttan esinlenerek , aşağıdaki yaklaşımı düşünüyordum:

1. her görüntüyü NxN piksel bloklarına böl
2. her bloğun DCT'sini al
3. her DCT'yi 1xM dizisine düzleştirin ve bir K-Means kümeleme algoritmasına besleyin ve her DCT için küme etiketini alın
4. # 3'ten her resim için her etiketi sayarak her resim için kümeleme etiketlerinin bir histogramını hesaplayın
5. bir SVM sınıflandırıcısını bir dizi [(histogram, resim etiketi)] besleyerek eğitin

Bu ne kadar iyi çalışır? SIFT / SURF algoritmalarıyla çıkarılan özellikleri kullanarak benzer bir sistem uyguladım, ancak sadece yaklaşık% 60 doğruluk elde edebildim.

DCT'yi dokuları sınıflandırmak için başka hangi yollarla kullanabilirim?

Şimdiye kadar önerdiğiniz şey makul bir yaklaşım gibi geliyor. Ancak, tıpkı SIFT'i denediğiniz gibi, deneyene kadar ne kadar iyi çalışacağını bileceğinizi sanmıyorum.

Yine de bir sorum var. Neden kendinizi DCT ile kısıtlıyorsunuz? Doku sınıflandırması için kullanılan çok sayıda temsil vardır: ortak oluşum matrisleri, yerel ikili kalıplar, vb. Doku sınıflandırması için DCT kullanımı hakkında yalnızca bir makale bulmuş olmanız, bunun en yaygın kullanılan özellik olmadığını gösterecektir. bu sorun için. İnsanların kullandıkları diğer özellikleri ve ne kadar iyi çalıştıklarını görmek için literatür aramanızı genişletmenizi tavsiye ederim.

Görüntüyü NxN bloğuna bölmezseniz, bunun yerine sürgülü pencereyi kullanırsanız, görüntünün her bir noktasında ortalanmış bloklar için DCT'yi hesaplayın, bu temelde dalgacık yaklaşımı kullanır. Bloklara bölen görüntünüz, sürgülü pencere ve altörnekleme görüntüsü kullanmakla aynıdır. Yani esasen dalgacıkların doku segmentasyonunun azaltılmış biçimini kullanıyorsunuz. Gabor dalgacık DCT yerine kullanılır çünkü genellikle: daha fazla parametreye (+ ölçek ve + yön) ve pürüzsüz zayıflamaya (pencerenin keskin kenarı yerine) sahiptir.

Bir kişinin DCT tabanlı doku segmentasyonu / sınıflandırması (veya başka bir etkinlik) yapmak istemesinin en büyük cazibelerinden biri, çoğu JPEG görüntüsünün ve MPEG videosunun zaten DCT'de olmasıdır. Öte yandan, genel olarak Gabor temelli yaklaşımın hesaplama açısından maliyetli olduğuna inanılmaktadır.

MID'den yüksek frekanslara ve / veya diyagonal frekanslara DCT ortak verimlilikleri, piksel alanındaki yerel varyasyonların iyi bir temsilini yansıtır.

Ancak, tüm bunlar göründüğü kadar iyi olmayabilir. İlk olarak, çoğu standartta DCT blokları 8x8 boyutundadır. Dolayısıyla, ima edilen nokta, sahnenin 8 piksel nokta periyodikliğine sahip bir patern varsa, bu rezonans etkisinin, bitişik blokların karşılık gelen katsayılarının benzerliği açısından görünür olacağı, ancak periyodiklik değiştiğinde bu ilişki değiştiğidir.

Saf DCT blokları ile Gabor arasındaki kritik farkı anlamak Gabor'un bir ölçeğe sahip olmasıdır. Dolayısıyla, dokunun "periyodikliğini" veya "inceliğini / pürüzlülüğünü" değiştirirseniz Gabor, DCT'nin 8x8 blok boyutundaki sabit değerlendirmesinin iyi uymayacağı yerde onu keşfedecektir.

Bununla birlikte, farkına varılması gereken şey, böyle bir ölçek fenomenini değerlendirmek için birden fazla bloğa birlikte bakarak bu örüntüler oluşturmaktır . Örneğin temel bir yaklaşım olarak, 16x16 blok mu yoksa 32x32 boy blok mu olacaktı diye sor, ortak verimde sonuçlanan kalıplar ne olurdu? İlgili yerlerdeki ortak verimliliklerin sömürülmesi için bir ilişkisi olacaktır ve kişinin gerçek doku ölçeğini keşfetmesine izin verilecektir.

Bu gerçekten de takip edilmesi gereken iyi bir araştırma konusudur.

NOT: MPEG7 bile (MPEG oluşturan komitelere çok yakın) - DCT yerine doku için Gabor tabanlı özellikler öneriyorlar.