«information-theory» etiketlenmiş sorular

İletişim için kullanılan ya da soyut anlamda tanımlanan bir kanalın bilgi taşıma kapasitesini belirlemek için kullanılan bir matematik / istatistik dalı. Entropi, bilgi teorisyenlerinin rastgele bir değişkeni tahmin etmede belirsizliği ölçebilecekleri önlemlerden biridir.

3
“Çapraz entropinin” tanımı ve kökeni
Kaynaklara atıfta bulunulmaksızın , Wikipedia , ve ayrı dağılımlarının çapraz entropisini tanımlar.PPPSSQ 'Hx( P; S )= - ∑xp ( x )günlükq( x ) .'Hx(P;S)=-Σxp(x)günlük⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Bu miktarı ilk kullanmaya başlayan kimdi? Ve bu terimi kim icat etti? Baktım: JE Shore ve RW Johnson, …
5
Tipik set kavramı
I, tipik küme kavramı oldukça basit olduğu düşünülmektedir: uzunlukta bir sekans , tipik grubu ait olacaktır gelen dizisinin olasılığı yüksek olması durumunda. Bu nedenle, olası herhangi bir sekans . (Entropi ile ilgili biçimsel tanımdan kaçıyorum çünkü kalitatif olarak anlamaya çalışıyorum.)A ( n ) ϵ A ( n ) ϵnnnbir( n …
1
Çapraz Entropi Nedir?
Bu soru , formülü açısından çapraz entropinin nicel bir tanımını vermektedir. Daha kavramsal bir tanım arıyorum, wikipedia diyor ki: Bilgi teorisinde, iki olasılık dağılımı arasındaki çapraz entropi , "gerçek" dağılım p yerine belirli bir olasılık dağılımına q dayalı bir kodlama şeması kullanılırsa , bir dizi olasılıktan bir olayı tanımlamak için …
1
Diferansiyel entropi nasıl yorumlanır?
Kısa bir süre önce , ayrı bir olasılık dağılımının entropisi hakkındaki bu makaleyi okudum . Entropiyi, kullandığınız kelimelerin olasılık dağılımı göz önüne alındığında, kodlamanız en uygun olduğunda bir mesajı kodlamak için gereken beklenen sayı bitleri (en azından entropi tanımınızda kullanıldığında) olarak düşünmenin güzel bir yolunu tanımlar.log2log2\log_2 Bununla birlikte, buradaki gibi …
3
Gauss Karışımlarının kullanımını haklı çıkaran referanslar
Gauss karışım modelleri (GMM'ler) caziptir, çünkü hem analitik olarak hem de pratikte çalışmak kolaydır ve çok fazla karmaşıklık olmadan bazı egzotik dağılımları modelleyebilirler. Genel olarak net olmayan birkaç analitik özellik beklemeliyiz. Özellikle: Say , bileşenli tüm Gauss karışımlarının sınıfıdır . Herhangi sürekli dağıtım için reals, biz olarak garanti edilmektedir büyür, …
2
Önemli örneklemeyle üretilen Monte Carlo tahminlerine ilişkin sonuçlar
Geçtiğimiz yıl için oldukça yakından örneklemenin önemi üzerinde çalışıyorum ve yardım almayı umduğum birkaç açık uçlu sorum var. Önemli örnekleme şemaları ile ilgili pratik deneyimim, zaman zaman fantastik düşük sapma ve düşük sapma tahminleri üretebilmeleridir. Bununla birlikte, daha sık olarak, düşük örnek varyansı ancak çok yüksek sapmaya sahip yüksek hata …
1
Fisher bilgisinin belirleyicisi
(Benzer bir soruyu math.se de yayınladım .) Bilgi geometrisinde, Fisher bilgi matrisinin belirleyicisi, istatistiksel bir manifold üzerindeki doğal bir hacim formudur, bu nedenle güzel bir geometrik yoruma sahiptir. Örneğin, bir Jeffreys tanımında göründüğü gerçeği, (imho) geometrik bir özellik olan yeniden parametreleme altındaki değişmezliğiyle bağlantılıdır. Fakat istatistiklerde bu belirleyici nedir? Anlamlı …
1
Sürekli değişken ile kategorik değişken arasındaki korelasyonu tahmin etmek için karşılıklı bilgileri kullanma
Başlığa gelince, fikir, sürekli bir değişken ile kategorik bir değişken arasında "korelasyon" ("B'yi Bildiğimde ne kadar biliyorum" olarak tanımlanır) olarak tanımlamak için MI ve sonrasında karşılıklı bilgileri kullanmaktır. Bu konuyla ilgili düşüncelerimi bir an sonra anlatacağım, ancak CrossValidated ile ilgili diğer bazı soruları / cevapları okumanızı tavsiye etmeden önce , …
1
Diferansiyel Entropi
Gauss diferansiyel entropisi . Bu standart sapma olan bağlıdır .günlük2( σ2 πe---√)günlük2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Eğer rasgele değişkeni birim varyansa sahip olacak şekilde normalleştirirsek, diferansiyel entropi düşer. Bana göre bu durum sezgisel çünkü normalleştirme sabitinin Kolmogorov karmaşıklığı entropideki azalmaya kıyasla çok küçük olmalı. Bu rastgele değişken tarafından üretilen herhangi bir veri …
2
Farklı AIC tanımları
Wikipedia'da Akaike'nin Bilgi Kriteri'nin (AIC) olarak tanımlanması söz konusudur , burada parametre sayısıdır ve modelin log olasılığıdır.AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L Ancak Ekonometriklerimiz saygın bir üniversitede olduğunu belirtmektedir . Burada , bir ARMA modelindeki hatalar için tahmini varyans ve , zaman serisi veri kümesindeki gözlem sayısıdır.AIC=log(σ^2)+2⋅kTAIC=log⁡(σ^2)+2⋅kT …
1
R - serbestlik derecesinde PROC Mixed ve lme / lmer arasındaki farklar
Not: önceki sorumun yasal nedenlerle silinmesi gerektiğinden, bu soru bir gönderidir. Fonksiyonlu SAS PROC MIXED karşılaştırarak birlikte lmegelen nlmeR paketin, bazı çok kafa farklılıklar tökezledi. Daha spesifik olarak, farklı testlerdeki özgürlük dereceleri ve arasında farklılık gösterir PROC MIXEDve lmenedenini merak ettim. Aşağıdaki veri kümesinden başlayın (R kodu aşağıda verilmiştir): ind: …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.