Bir 2d ikili matrisin entropi / bilgi / kalıplarını ölçme

İki boyutlu bir ikili matrisin entropi / bilgi yoğunluğunu / kalıp benzerliğini ölçmek istiyorum. Açıklama için bazı resimler göstereyim:

Bu ekran oldukça yüksek bir entropiye sahip olmalı:

A)

Bu orta entropiye sahip olmalı:

B)

Sonunda bu resimlerin hepsinin sıfıra yakın entropiye sahip olması gerekir:

C)

D)

E)

Entropiyi yakalayan bir indeks var mı, cevap. bu göstergelerin "desen benzerliği"?

Elbette, her bir algoritma (örneğin, sıkıştırma algoritmaları veya ttnphns tarafından önerilen döndürme algoritması ) ekranın diğer özelliklerine duyarlıdır. Aşağıdaki özellikleri yakalamaya çalışan bir algoritma arıyorum:

• Dönme ve eksenel simetri
• Kümeleme miktarı
• tekrarlar

Belki daha karmaşıksa, algoritma özellikle " Gestalt prensibi " nin psikolojik özelliklerine duyarlı olabilir :

• Yakınlık yasası:
• Simetri yasası: Simetrik imgeler, mesafeye rağmen bile toplu olarak algılanır:

Bu özelliklere sahip göstergelere "düşük entropi değeri" atanması gerekir; rastgele / yapılandırılmamış noktalara sahip ekranlara "yüksek entropi değeri" atanması gerekir.

Bu özelliklerin hepsini tek bir algoritmanın yakalayamayacağının farkındayım; bu nedenle, yalnızca bazılarını veya hatta yalnızca tek bir özelliği ele alan algoritmalar için öneriler de oldukça açıktır.

Özellikle, somut, mevcut algoritmalar veya özel, uygulanabilir fikirler arıyorum (ve bu kritere göre ödülü vereceğim).

Psikolojik ve geometrik öğeler de dahil olmak üzere tüm sezgileri yakalayan basit bir prosedür var . Bizim algımızın temeli olan mekansal yakınlığı kullanmaya dayanır ve sadece simetriler tarafından kusursuz bir şekilde ölçülenleri yakalamanın kendine özgü bir yolunu sağlar.

$m$$n$$k=2$$2$$3$$3$$\min(n,m)$$\min(n,m)$

Bunun nasıl çalıştığını görmek için en Arayacağım söz konusu diziler için hesaplamalar yapalım yoluyla üstten alta doğru,. Burada için hareketli toplamlarının grafikleridir ( elbette ki orijinal dizi) tatbik .$a_1$$a_5$$k=1,2,3,4$$k=1$$a_1$

Saatin sol üstünden saat yönünde, , , ve eşittir . Diziler ile , daha sonra ile , ile ve ile , sırasıyla. Hepsi "rastgele" görünüyor. Bu rastgeleliği temel 2 entropisi ile ölçelim. İçin , bu entropiler dizisidir . Buna "profili" diyelim .$k$$1$$2$$4$$3$$5$$5$$4$$4$$2$$2$$3$$3$$a_1$$(0.97, 0.99, 0.92, 1.5)$$a_1$

Burada, aksine, hareketli toplamları :$a_4$

İçin , düşük entropi nereden küçük farklılıklar vardır. Profil . Değerleri sürekli olarak değerlerinden daha düşüktür ve sezgisel güçlü bir "model" olduğunu .$k=2, 3, 4$$(1.00, 0, 0.99, 0)$$a_1$$a_4$

Bu profilleri yorumlamak için bir referans çerçevesine ihtiyacımız var. İkili değerlerin Mükemmel rastgele dizi sadece yarım onun eşit değerlere sahip olacaktır ve eşit diğer yarısı bir entropi için, . İçinde hareket eden toplamlar tarafından mahallelerde yaklaşık olarak hesaplanabilir ki (en azından büyük diziler için) onlara öngörülebilir entropilerini vererek binom dağılımları sahip olma eğilimi olacak :$0$$1$$1$$k$$k$$1 + \log_2(k)$

Bu sonuçlar kadar olan dizilere sahip simülasyonlarla ortaya çıkar . Bununla birlikte, komşu pencereler arasındaki korelasyon nedeniyle (pencere boyutu dizinin boyutlarının yaklaşık yarısı olduğunda) ve az miktarda veri nedeniyle küçük diziler için ( burada göre dizileri gibi) parçalanırlar . Burada rasgele bir referans profili ile gerçek bazı profil çizimleri ile birlikte yöntemleri ile elde diziler:$m=n=100$$5$$5$$5$$5$

Bu çizimde referans profili sabit mavidir. Dizi profilleri karşılık kırmızı,: : altın, : yeşil, : açık mavi. ( dahil olmak , resmi profiline yakın olduğu için .) Genel olarak profiller soru karşılık gelir: görünür sıralama arttıkça çoğu değerinde daha düşük olurlar . İstisna : sonuna kadar, , hareketli toplamlar en düşük entropiler arasında olma eğilimindedir . Her: Bu şaşırtıcı bir düzenlilik ortaya koymaktadır tarafından mahallede$a_1$$a_2$$a_3$$a_4$$a_5$$a_4$$k$$a_1$$k=4$$2$$2$$a_1$ , tam olarak veya siyah kareye sahiptir, asla veya daha fazla olmaz. Birinin düşündüğünden çok daha az "rastgele". (Bu, kısmen her mahalledeki değerlerin toplanmasına eşlik eden bilgi kaybından, olası mahalle yapılandırmalarını sadece farklı olası meblağlarda yoğunlaştıran bir prosedürden kaynaklanmaktadır . her bir mahalle içinde kümelenme ve yönlendirme için, bunun yerine hareket eden miktarda kullanarak biz concatenations hareket kullanmak. Başka bir deyişle, her bir ile mahalle sahip$1$$2$$2^{k^2}$$k^2+1$$k$$k$$2^{k^2}$olası farklı yapılandırmalar; hepsini ayırt ederek daha ince bir entropi ölçüsü elde edebiliriz. Böyle bir önlemin profilini diğer görüntülere göre yükselteceğini düşünüyorum .)$a_1$

Hareketli mahallelerdeki değerleri toplayarak (veya birleştirerek veya başka şekilde birleştirerek) kontrollü ölçeklerde bir entropiler profili oluşturma tekniği görüntülerin analizinde kullanılmıştır. İlk önce metni bir dizi harf, daha sonra bir dizi digraph (iki harfli diziler), daha sonra trigraphlar, vb. Olarak analiz etme iyi bilinen bir fikrinin iki boyutlu bir genellemesidir. analiz (bu, görüntünün özelliklerini daha ince ve daha ince ölçeklerde araştıran). Bir blok hareketli toplamı veya blok birleştirmeyi kullanmaya biraz özen gösterirsek (böylece pencereler arasında çakışma olmaz), ardışık entropiler arasında basit bir matematiksel ilişki ortaya çıkabilir; ancak,

Çeşitli uzantılar mümkündür. Örneğin, rotasyonel olarak değişmeyen bir profil için, kare olanlardan ziyade dairesel mahalleler kullanın. Tabii ki her şey ikili dizilerin ötesine geçiyor. Yeterince büyük dizilerle, durağan olmama durumunu tespit etmek için yerel olarak değişen entropi profilleri bile hesaplanabilir.

Bir halinde , tek sayıda isteniyorsa, bunun yerine tüm profilin, uzamsal rastgele (ya da bunun eksikliği) ilgi konusu olan ölçeği seçin. Bu örneklerde, bu ölçek bir en iyi karşılık olur ile veya göre onların uygulamalar için elektron hepsi üç ila beş hücreleri (yayılan gruplar güvenmek ve çünkü, mahalle hareketli bir ile uzağa mahalle sadece ortalamaları tüm varyasyon dizi ve böylece işe yaramaz). İkinci ölçekte, için entropiler yoluyla olan , , , , ve3 4 4 $3$$3$$4$$4$$5$$5$$a_1$$a_5$$1.50$$0.81$$0$$0$$0$ ; Bu ölçekte beklenen entropi (eşit olarak rastgele bir dizi için) . Bu, "oldukça yüksek entropiye sahip olması gerektiği" fikrini haklı çıkarır . Ayırt etmek , ve ile bağlanmıştır, (bir sonraki daha ince çözünürlükte bir nokta, bu ölçekte entropi ile kendi entropi şunlardır: yakın çevre) , , , sırasıyla, (rastgele ızgara beklenmektedir, oysa değerine sahip ). Bu önlemlerle, asıl soru dizileri tam olarak doğru sıraya koyuyor.$1.34$$a_1$$a_3$$a_4$$a_5$$0$$3$$3$$1.39$$0.99$$0.92$$1.77$

İlk olarak, önerim tamamen sezgiseldir: Örüntü tanıma alanında hiçbir şey bilmiyorum. İkincisi, benimki gibi alternatif onlarca öneri yapılabilir.

Düzenli bir konfigürasyonun (yani, düşük entropi ile) bir şekilde simetrik olması gerektiği, bunun için izomorfik olması gerektiği fikrinden başlıyorum. Örneğin, rotasyonlarda.

Yapılandırma orijinal ile aynı olana kadar matrisinizi döndürebilir (90 dereceye, 180 dereceden, vb'ye kadar ) . Her zaman 4 dönüş (360 derece) üzerinde hemfikir, ancak bazen daha önce hemfikir olabilir (resimdeki E matrisi gibi).

Her bir dönüşte, orijinal konfigürasyon ile döndürülmüş olan arasında özdeş olmayan hücre sayısını sayın. Örneğin, orijinal A matrisini 90 derecelik dönüşüyle karşılaştırırsanız , bir matriste spot bulunan ve diğer matristeki boş olan 10 hücreyi keşfedeceksiniz. Daha sonra orijinal matrisi 180 derecelik rotasyonla karşılaştırın: 11 bu gibi hücreler bulunacaktır. 10 hücre, orijinal A matrisi ile 270 derece rotasyon arasındaki tutarsızlıktır . 10 + 11 + 10 = 31, A matrisinin genel "entropisi" dir .

B matrisi için "entropi" 20, E matrisi için ise sadece 12'dir. C ve D matrisleri için "entropi" 0'dır, çünkü dönüşler 90 dereceden sonra durur: izomorfizm zaten elde edilmiştir.

Bilgiler genelde olarak tanımlanır . in kullanarak kodlamak için gereken bitlerin miktarı olduğunu açıklayan hoş bir teori var . Bu konuda daha fazla bilgi edinmek istiyorsanız, aritmetik kodlamayı okuyun .$h(x) = \log p(x)$$\log_2 p(x)$$x$$p$

Peki bu probleminizi nasıl çözebilir? Kolay. Verilerinizi temsil eden bir miktar bulun ve bunu kullanın burada bir sürpriz veya bununla ilgili bilgi almak için yeni bir örnek.$p$$-\log p(x)$$x$

Zor olan, için bir model bulmak ve verilerinizi oluşturmaktır. Belki 'muhtemel' olarak nitelendirdiğiniz matrisleri üreten bir algoritma ile karşılaşabilirsiniz.$p$

Uydurma için bazı fikirler .$p$

1. Yalnızca 5x5 matrislere bakıyorsanız, tüm olası matrisleri depolamak için yalnızca bit'e ihtiyacınız vardır , böylece hepsini sıralayabilir ve her birine belirli bir olasılık atayabilirsiniz.$2^{25}$
2. Bir kullan kısıtlı Boltzmann makinesini sizin veri sığdırmak için, (o zaman bilgi için bir yedek olarak serbest enerjiyi kullanmak zorunda istiyorum, ama bu sorun değil)
3. Zip'i yerine kullanacak şekilde kullanın ve yukarıdan gelen olasılık hikayesinin tamamını umursamayın. Eğer bir yaklaşım olarak zip kullanmak çünkü bile resmen tamam Kolmogorov karmaşıklığı ve bundan yapılmıştır yanı normalize sıkıştırma mesafesi giden bilgi teorisyenleri ,$-\log p(x)$
4. Belki mekansal önceki inançları dahil etmek için bir grafik model kullanın ve Bernoulli değişkenlerini yerel olarak kullanın.
5. Çeviri değişmezliğini kodlamak için evrişimli bir ağ kullanarak enerji tabanlı bir model kullanabilirsiniz .

Yukarıdaki fikirlerden bazıları oldukça ağır ve makine öğrenmesinden geliyor. Daha fazla tavsiye almak istemeniz durumunda, yorumları kullanmanız yeterlidir.

Aşağıdaki önerim düşülmek yerine içgüdüseldir, bu yüzden kanıtlayamam ama en azından bazı gerekçeler sunabilir. Noktaların konfigürasyonunun "entropisinin" değerlendirme prosedürü şunları içerir:

1. Sayısallaştır lekeleri.
2. Ortogonal Procrustes analizi ile birçok kez izin verilen konfigürasyonun karşılaştırmasını yapın .
3. Karşılaştırma sonuçlarının arsa (kimlik katsayısı) ve arsanın pürüzlülüğünü değerlendirmek.

Noktaları sayısallaştırın , yani koordinatlarını alın. Örneğin, aşağıda numaralandırılmış noktalar (numaralandırma sırası rasgele olabilir) ve koordinatlarıyla D yapılandırmanızdır.

spot x   y
1   1   1
2   3   1
3   5   1
4   2   2
5   4   2
6   1   3
7   3   3
8   5   3
9   2   4
10  4   4
11  1   5
12  3   5
13  5   5

Permütasyonlar yapın ve Procrustes analizi yapın. Lekeleri (verilerdeki satırlar) rastgele değiştirin ve orijinal (izin verilmeyen) verilerin izin verilen verilerle karşılaştırılmasını işleme alın; kayıt kimliği katsayısı (analizi ile iki oluşumun benzerlik ölçüsü, çıkış). Tekrarlama permütasyonu - Procrustes - katsayısı, birçok kez (örneğin 1000 kat veya daha fazla) tasarruf.

Düzenli bir yapı üzerinde yukarıdaki işlemden sonra elde edilen kimlik katsayılarından (IDc) ne bekleyebiliriz ?Örneğin yukarıdaki konfigürasyon D'yi düşünün. Ayarlanan orijinal koordinatları kendisiyle karşılaştırırsak, elbette IDc = 1 elde edeceğiz. Fakat eğer bazı noktalara IDc'yi orijinal set ve izin verilenler arasında bazı noktalara izin verirsek, 1'in altında bir değer olacaktır. Örneğin, örneğin, 1 ve 4 etiketli bir çift spot izin verelim. Şimdi, bunun yerine, 3. ve 5. noktalara izin verin. İlginç bir şekilde, IDc tekrar .964 olacaktır. Aynı değer, neden? Noktalar 3 ve 5, 1 ve 4'e simetriktir, böylece 90 dereceye döndürme onları üst üste getirir. Procrustes karşılaştırması, dönme veya yansıma duyarsızdır ve bu nedenle 1-4 çifti içindeki permütasyon, bunun için 5-3 çifti içindeki permütasyon ile aynıdır. Daha fazla örnek eklemek için, sadece 4 ve 7 noktalarına izin verirseniz, IDc tekrar olacaktır .964! Procrustes için 4-7 çiftindeki permütasyonun "aynı" olduğu anlaşılıyor. Yukarıdaki ikisinde olduğu gibi (IDc ile ölçüldüğü gibi) aynı derecede benzerlik gösterir. Açıkçası, bunların hepsi yapılandırma D'nin düzenli olmasından kaynaklanıyor.Düzenli bir konfigürasyon için, permütasyon / karşılaştırma deneyimizde oldukça farklı IDc değerleri elde etmeyi umuyoruz; düzensiz yapılandırma için değerlerin sürekli olma eğiliminde olacağını umuyoruz.

Kaydedilen IDc değerlerini çizin. Örneğin, değerleri sıralayın ve çizgi çizdirin. Deneyi yaptım - 5000 permütasyon - konfigürasyonlarınızın her birinde A, B (her ikisi de oldukça düzensiz), D, E (her ikisi de normal) ve işte çizgi grafiği:

D ve E satırlarının ne kadar pürüzlü olduğuna dikkat edin (özellikle D). Bunun nedeni değerlerin ayrıklığıdır. A ve B için değerler çok daha sürekli. Kendinize, çizim yapmak yerine, takdirsizlik / süreklilik derecesini tahmin eden bir istatistik türü seçebilirsiniz. A, B'den daha sürekli görünmüyor (sizin için A yapılandırması biraz daha az düzenli, ancak çizgi grafiğim bunu göstermiyor gibi görünüyor) veya değilse, belki de IDc değerlerinin başka bir desenini gösterebilir. Başka ne desen? Bu henüz cevabımın kapsamı dışında. A'nın B'den daha az düzenli olup olmadığı sorusu: Gözünüz için olabilir, ancak Procrustes analizi için veya başka birinin gözüyle ilgili olmayabilir.

Bu arada, bütün permütasyon / Procrustes deneyi çok hızlı bir şekilde yaptım. SPSS için kendi Procrustes analiz makroumu kullandım (web sayfamda bulundu) ve izinler için bazı kod satırları ekledim.

Her bir boyutu rastgele bir değişken olarak kabul eden, bu nedenle her bir matrisin bir sayı çifti kümesi olduğu düşünülen karşılıklı bilgi, sonuçtan emin olamadığım C hariç tüm durumlarda yardımcı olmalıdır.

TMVA el kitabındaki regresyon performansı analizi veya ilgili arxiv girişindeki Şekil 8'deki ( p24'ten başlayarak) tartışmaya bakın .

Desenin global özelliklerine bakmak yerine (simetriler gibi), yerel olanlara bir göz atabilirsiniz, örneğin her bir taşın (= siyah daire) sahip olduğu komşuların sayısı. Toplam taş sayısını gösterelim .$s$

Eğer rastgele fırlatılan taşlar komşuların dağılımı ise burada taşların yoğunluğu. Yer sayısı , bir taş iç kısımda ( ), kenarda ( ) veya köşede olup olmamasına bağlıdır .

Açıkça görülüyor ki, C) , D) ve E) ' deki komşuların dağılımı rastgele olmaktan uzak. Örneğin, D için) tüm iç taşların tam olarak komşusu vardır (rastgele dağılıma karşılık, Ölçülen değer yerine ).$4$$\approx (0\%,2\%,9\%,20\%,27\%,24\%,13\%,4\%,0\%)$$(0\%,0\%,0\%,0\%,100\%,0\%,0\%,0\%,0\%)$

Bu nedenle, bir örgütün rastgele olup olmadığını ölçmek için, komşularının dağılımını karşılaştırmanız ve onu rastgele bir . Örneğin, araçlarını ve farklılıklarını karşılaştırabilirsiniz.$P_{measured}(k|n)$$P_{rand,p}(k|n)$

Alternatif olarak, işlev mesafelerindeki mesafeleri ölçülebilir, örneğin: burada , ile noktaların ölçülen oranıdır. bitişik boşluklar ve , rastgele bir model için tahmin edilir, yani , ve .

Bir metin dizesinin en az gereksiz temsilini bulmak için olasılıkları ve geçiş olasılıklarını kullanarak Shannon'un (şüphesiz bir boyutlu) fikrine geri dönen bilgi içeriğini kavramsallaştırmanın gerçekten basit bir yolu var. Bir görüntü için (bu özel durumda, kare bir matristeki tanımlanmış bir ikili görüntü), x ve y türevlerinin (-1,0, + 1) bilgisinden benzersiz şekilde yeniden oluşturabiliriz. 3x3 geçiş olasılığı ve global olasılık yoğunluk fonksiyonu da 3x3 tanımlayabiliriz. Shannon bilgisi daha sonra 3x3 üzerine uygulanan klasik logaritmik toplama formülünden elde edilir. Bu ikinci derece bir Shannon bilgi ölçüsüdür ve 3x3 pdf'deki uzamsal yapıyı güzel bir şekilde yakalar.

Bu yaklaşım, 2'den (ikili) fazla olan gri tonlamalı görüntülere uygulandığında daha sezgiseldir, daha fazla ayrıntı için bkz. Https://arxiv.org/abs/1609.01117 .

Bunu okurken iki şey akla geliyor. Birincisi, gebelik özelliklerinin birçoğunun tahmin etmekte oldukça zorlayıcı olduğu ve gruplaşmanın nasıl gerçekleştiğine ilişkin modeller bulmaya çalışan birçok doktora düzeyinde çalışma yapmasıdır. İçgüdülerim, aklınıza gelebilecek en kolay kuralların karşı örneklerle sonuçlanacağı yönünde.

Şimdilik gestalt gruplarının açıklamasını bir kenara bırakabilirseniz, girişinizi bir görüntünün özel bir örneği olarak düşünmek faydalı bir soyutlamadır. Bilgisayar vizyonunda değişmez olan ve değişmeyen özellikli bir dizi özelliğe dayanan bir görüntüye imza atmayı amaçlayan birçok algoritma vardır. En iyi bilinenlerin SIFT özellikleri olduğunu düşünüyorum:

http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

Temelde çıktınız, bu özelliklerin ağırlığını veren yeni bir vektör olacaktır. Bu vektörü kullanabilir ve ya bir sezgisel başvuru yapabilir (belki de normu bulabilirsin) ve aradığınızı tanımladığını umabilirsiniz. Alternatif olarak, özellik vektörünü girdi olarak almak için bir sınıflandırıcıyı eğitebilir ve “entropi” hakkındaki izleniminizin ne olduğunu söyleyebilirsiniz. Bunun tersi, uygun SIFT özelliklerini kullanmasıdır (ki bu sizin probleminiz için kesinlikle aşikardır) ve çok uygun olabilecek bir çeşit haritalama oluşturacaktır. Dezavantajı ise, kendinizi etiketleyen birçok şey yapmanız gerekmekte olup, kullandığınız sınıflandırıcıya bağlı olarak, elde ettiğiniz sonuçları yorumlamak daha zor olabilir.

Umarım bu yardımcı olur! Burada birçok geleneksel bilgisayarlı görme algoritması da sizin için uygun olabilir - bu portaldaki wikipedia'da hızlı bir şekilde gezinmek size ek bilgi verebilir.

Örnekleriniz bana boolean cebirinden ve dijital devrelerden doğruluk tablolarını hatırlatıyor. Bu alanda, Karnaugh haritaları (http://en.wikipedia.org/wiki/Karnaugh_map), tüm şebekeyi ifade etmek için minimum boolean işlevini sağlamak için bir araç olarak kullanılabilir. Alternatif olarak, boolean cebir kimliklerini kullanmak, işlevi en aza indirgeyebilir. Küçültülmüş boolean işlevindeki terimlerin sayımı entropi ölçüsünüz olarak kullanılabilir. Bu size bitişik komşuları sıkıştırmanın yanı sıra dikey ve yatay simetri verir, ancak çapraz simetriden yoksundur.

Boolean cebri kullanılarak, her iki eksen de sol üst köşeden başlayarak AE'den etiketlenir. Bu şekilde, C örneği, boolean işleviyle eşleşir (! A ve! E). Diğer örnekler için, eksenlerin ayrı olarak etiketlenmesi gerekir (örn. AE, FJ).