«maximum-entropy» etiketlenmiş sorular

Entropinin bir işlem / değişkenin rastgelelik ölçüsü olduğunu biliyorum ve şöyle tanımlanabilir. kümesindeki rastgele bir değişkeni için : - . MacKay'ın Entropi ve Enformasyon Teorisi kitabında, Ch2'deki bu açıklamayı sağlar.X∈X∈X \inbirAA'H( X) = ∑xben∈ A- p ( xben) günlük( p ( xben) )H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) P …

32 uniform  entropy  maximum-entropy 

In Bu yazıda , yetenekli araştırmacı Cosma Shalizi tamamen öznel bir Bayes görüşünü kabul etmek, bir de (entropi akışı ile verilen) zamanın ok aslında gitmek gerektiğini Fiziksel olmayan bir sonuç kabul etmesi gerektiğini savunuyor geriye . Bu, ET Jaynes tarafından öne sürülen ve popüler hale getirilen azami entropi / tamamen …

31 bayesian  entropy  maximum-entropy  philosophical 

Çeşitli ortamlarda birkaç dağıtımın kullanımını doğrulamak için maksimum entropi ilkesini kullandım; Bununla birlikte, henüz bilgi teorik olarak, maksimum entropinin yorumlanmasının aksine bir istatistik formüle edebildim. Başka bir deyişle, entropiyi en üst düzeye çıkarmak, dağılımın istatistiksel özellikleri hakkında ne anlama geliyor? Kimsenin karşısına geçip veya belki de maks. Bilgiye hitap etmeyen, …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Ölçeğin ne olması gerektiği hakkında kaba bir fikrim olduğunda, ölçek parametreleri için normal dağılımları log (normal dağılımlar, t dağılımları vb.) Olarak kullanıyorum, Bu konuda çok fazla. Bunu kullanıyorum çünkü bu kullanım benim için sezgisel bir anlam ifade ediyor, ancak başkalarının kullandığını görmedim. Bunun gizli bir tehlikesi var mı?

21 distributions  bayesian  modeling  prior  maximum-entropy 

Rastgele bir sürekli rasgele değişken için, örneğin , diferansiyel entropisi her zaman ∞'dan küçük mü? (Eğer sorun yoksa - ∞ .) Değilse, ∞'dan daha az olması için gerekli ve yeterli koşul nedir?XXX∞∞\infty−∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Gaussian'ın maksimum entropiye sahip olduğunu gösteren aşağıdaki kanıtı bulmaya çalışıyorum. Yıldızlı adım nasıl bir anlam ifade ediyor? Belirli bir kovaryans yalnızca ikinci anı düzeltir. Üçüncü, dördüncü, beşinci anlara vb. Ne olur?

13 entropy  information-theory  maximum-entropy 

Birinci ve ikinci anları göz önüne alındığında, pozitif bir sürekli değişken için maksimum entropi dağılımı nedir ? Örneğin, bir Gauss dağılımı, ortalama ve standart sapması göz önüne alındığında sınırsız bir değişken için maksimum entropi dağılımıdır ve Gamma dağılımı, ortalama değeri ve logaritmasının ortalama değeri göz önüne alındığında, pozitif bir değişken …

13 distributions  standard-deviation  mean  maximum-entropy 

Soru: Bootstrapping jackknifing'ten üstündür ; Ancak, jackknifing'in parametre tahminlerindeki belirsizliği karakterize etmek için tek veya en azından uygulanabilir bir seçenek olup olmadığını merak ediyorum. Ayrıca, pratik durumlarda önyüklemeye göre önyargılı / yanlış jackknifleme vardır ve jackknife sonuçları daha karmaşık bir bootstrap geliştirilmeden önce ön fikir verebilir mi? Bazı bağlamlar: Bir …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Let px , ypx,yp_{x,y} , iki Kategorik değişkenler ortak bir dağıtım olması X, YX,YX,Y ile, x,y∈ { 1 , …,K}x,y∈{1,...,K}x,y\in\{1,\ldots,K\} . Diyelim ki bu dağılımdan nnn örnek alındı, ama sadece için marjinal sayımlar verildi j=1,…,Kj=1,...,Kj=1,\ldots,K: Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=Σben=1nδ(Xben=l),Tj=Σben=1nδ(Yben=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, S j , T j için verilen için …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Tahmincileri karşılaştığı önemli konulardan biri verilen seri halinde olabilir tahmin ya da değil? Belirli bir zaman serisini belirlemek için göreli bir ölçü olarak Yaklaşık Entropi'yi (ApEn) kullanan Peter Catt tarafından " Öngörülebilirliğin Öncelik Göstergesi Olarak Entropi " başlıklı bir makaleye rastladım . Makale diyor ki, "Daha küçük ApEn değerleri, bir …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Hacker News'ta ortalama mutlak sapma gibi diğer metriklerin aksine standart sapmanın kullanımı hakkındaki tartışmayı okuyordum . Peki, eğer maksimum entropi ilkesini takip edecek olsaydık, sadece dağılımın ortalamasını ve ortalama mutlak sapmayı bilseydik ne tür bir dağıtım kullanırdık? Yoksa medyanı ve medyandan ortalama mutlak sapmayı kullanmak daha mantıklı mı? Merak ettiğim …

10 distributions  maximum-entropy  mad 

Kısa soru: Bu neden doğrudur ?? Uzun soru: Çok basit bir şekilde, bu ilk denklemi neyin haklı kıldığını anlamaya çalışıyorum. Okuduğum kitabın yazarı ( eğer istiyorsan, ama gerekli değilse burada bağlam) şunları iddia ediyor: Yakın gaussianity varsayımı nedeniyle şunları yazabiliriz: p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ))p0(ξ)=Aϕ(ξ)exp(an+1ξ+(an+2+12)ξ2+∑i=1naiGi(ξ)) p_0(\xi) = A \; \phi(\xi) \; exp( a_{n+1}\xi + …

9 probability  normal-distribution  entropy  maximum-entropy 

Bir Maksimum Entropi Markov Modeli (MEMM) kavramı ile ilgileniyorum ve bunu Konuşma Parçası (POS) etiketleyici için kullanmayı düşünüyorum. Şu anda, her bir kelimeyi etiketlemek için geleneksel bir Maksimum Entropi (ME) sınıflandırıcısı kullanıyorum. Bu, önceki iki etiket de dahil olmak üzere bir dizi özellik kullanır. MEMM'ler, Viterbi algoritmasını Markov Zinciri boyunca …

9 machine-learning  mcmc  maximum-entropy  memm