«entropy» etiketlenmiş sorular

Rasgele bir değişkenin rasgele miktarını ölçmek için tasarlanmış bir matematik miktarı.

3
“Çapraz entropinin” tanımı ve kökeni
Kaynaklara atıfta bulunulmaksızın , Wikipedia , ve ayrı dağılımlarının çapraz entropisini tanımlar.PPPSSQ 'Hx( P; S )= - ∑xp ( x )günlükq( x ) .'Hx(P;S)=-Σxp(x)günlük⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Bu miktarı ilk kullanmaya başlayan kimdi? Ve bu terimi kim icat etti? Baktım: JE Shore ve RW Johnson, …
5
Tipik set kavramı
I, tipik küme kavramı oldukça basit olduğu düşünülmektedir: uzunlukta bir sekans , tipik grubu ait olacaktır gelen dizisinin olasılığı yüksek olması durumunda. Bu nedenle, olası herhangi bir sekans . (Entropi ile ilgili biçimsel tanımdan kaçıyorum çünkü kalitatif olarak anlamaya çalışıyorum.)A ( n ) ϵ A ( n ) ϵnnnbir( n …
1
Çapraz Entropi Nedir?
Bu soru , formülü açısından çapraz entropinin nicel bir tanımını vermektedir. Daha kavramsal bir tanım arıyorum, wikipedia diyor ki: Bilgi teorisinde, iki olasılık dağılımı arasındaki çapraz entropi , "gerçek" dağılım p yerine belirli bir olasılık dağılımına q dayalı bir kodlama şeması kullanılırsa , bir dizi olasılıktan bir olayı tanımlamak için …
1
Diferansiyel entropi nasıl yorumlanır?
Kısa bir süre önce , ayrı bir olasılık dağılımının entropisi hakkındaki bu makaleyi okudum . Entropiyi, kullandığınız kelimelerin olasılık dağılımı göz önüne alındığında, kodlamanız en uygun olduğunda bir mesajı kodlamak için gereken beklenen sayı bitleri (en azından entropi tanımınızda kullanıldığında) olarak düşünmenin güzel bir yolunu tanımlar.log2log2\log_2 Bununla birlikte, buradaki gibi …
1
Entropi yere ve ölçeğe nasıl bağlıdır?
Entropi yoğunluk fonksiyonu sürekli bir dağılım beklentisine negatif olarak tanımlanır ve bu yüzden eşitffflog(f),log⁡(f),\log(f), Hf=−∫∞−∞log(f(x))f(x)dx.Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Ayrıca dağılımı yoğunluğuna sahip herhangi bir rastgele değişken entropi (Bu integral, sıfırları olduğunda bile iyi tanımlanmıştır , çünkü bu değerlerde sıfıra alınabilir.)XXXfffHf.Hf.H_f.ffflog(f(x))f(x)log⁡(f(x))f(x)\log(f(x))f(x) Zaman ve bu rastgele değişkenlerin ( bir sabittir), bir …
5
Çapraz entropi maliyeti regresyon bağlamında anlamlı mı?
Çapraz entropi maliyeti regresyon bağlamında anlamlı mıdır (sınıflamanın aksine)? Eğer öyleyse, TensorFlow aracılığıyla bir oyuncak örneği verebilir misiniz? Değilse, neden olmasın? Michael Nielsen tarafından Yapay Sinir Ağları ve Derin Öğrenme'de çapraz entropi hakkında okuyordum ve doğal olarak regresyon ve sınıflandırma için kullanılabilecek bir şey gibi görünüyor, ancak TensorFlow'da bunu nasıl …
1
Negatif Türetme. Sıkışmak
Yani, bu soru biraz dahil olmakla birlikte, bunu olabildiğince basit bir şekilde ileriye doğru yapmaya çalıştım. Hedef: Uzun lafın kısası, yok negentropi bir türetme vardır değil yüksek mertebeden cumulant'larının dahil ve bunu elde edilmiştir anlamaya çalışıyorum. Arka plan: (Tüm bunları anlıyorum) Burada bulunan 'Bağımsız Bileşen Analizi' kitabını kendi kendime çalışıyorum …
1
Diferansiyel Entropi
Gauss diferansiyel entropisi . Bu standart sapma olan bağlıdır .günlük2( σ2 πe---√)günlük2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Eğer rasgele değişkeni birim varyansa sahip olacak şekilde normalleştirirsek, diferansiyel entropi düşer. Bana göre bu durum sezgisel çünkü normalleştirme sabitinin Kolmogorov karmaşıklığı entropideki azalmaya kıyasla çok küçük olmalı. Bu rastgele değişken tarafından üretilen herhangi bir veri …
5
Çok sayıda veri noktasındaki değerlerin gösterimi nasıl yapılır?
Çok büyük bir veri setim var ve yaklaşık% 5 rasgele değerler eksik. Bu değişkenler birbiriyle ilişkilidir. Aşağıdaki örnek R veri kümesi sadece yapay korelasyonlu verilere sahip bir oyuncak örneğidir. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …
12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 
3
Neden 1'den büyük bilgi entropisi alıyorum?
Entropiyi hesaplamak için aşağıdaki işlevi uyguladım: from math import log def calc_entropy(probs): my_sum = 0 for p in probs: if p > 0: my_sum += p * log(p, 2) return - my_sum Sonuç: >>> calc_entropy([1/7.0, 1/7.0, 5/7.0]) 1.1488348542809168 >>> from scipy.stats import entropy # using a built-in package # give …
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.