«information» etiketlenmiş sorular

İki boyutlu bir ikili matrisin entropi / bilgi yoğunluğunu / kalıp benzerliğini ölçmek istiyorum. Açıklama için bazı resimler göstereyim: Bu ekran oldukça yüksek bir entropiye sahip olmalı: A) Bu orta entropiye sahip olmalı: B) Sonunda bu resimlerin hepsinin sıfıra yakın entropiye sahip olması gerekir: C) D) E) Entropiyi yakalayan bir …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Eğer ilgi sadece bir modelin parametrelerini tahmin ediyorsa (nokta ve / veya aralık kestirimi) ve önceki bilgiler güvenilir değilse, zayıf, (bunun biraz belirsiz olduğunu biliyorum; öncelikli zor) ... Neden birisi klasik yaklaşım yerine 'bilgi verici olmayan' uygunsuz önceliklerle Bayesian yaklaşımını kullanmayı seçsin?

44 bayesian  inference  prior  likelihood  information 

Aşağıdaki hiyerarşik modeli göz önüne alındığında, ve μ ~ L bir p l , bir Cı- e ( 0 , c ) burada , N ( ⋅ , ⋅ ) normal bir dağılımıdır. Marjinal dağılımı Fisher bilgisi için kesin bir ifade almak için bir yolu var mı X'in verilen c …

20 multilevel-analysis  information  fisher-information 

Zayıf tutarlı maksimum olabilirlik tahmin edicisinde (MLE) değerlendirilen gözlemlenen bilgi matrisinin, beklenen bilgi matrisinin zayıf tutarlı bir tahmincisi olduğunu kanıtlamaya çalışıyorum. Bu yaygın olarak alıntılanan bir sonuçtur ancak kimse bir referans veya kanıt vermez (Bence google sonuçlarının ve istatistiklerimin ders kitaplarının ilk 20 sayfasını bitirdim)! Zayıf şekilde tutarlı bir MLE …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Başlığın dediği gibi, boyut küçültme her zaman bazı bilgileri kaybediyor mu? Örneğin PCA'yı düşünün. Sahip olduğum veriler çok seyrek ise, "daha iyi bir kodlama" bulunabileceğini varsayabilirim (bu bir şekilde verilerin sıralamasıyla mı ilgili?) Ve hiçbir şey kaybolmazdı.

10 pca  information-theory  information