«kullback-leibler» etiketlenmiş sorular

KL Divergence'ı 2 ve arasındaki farklılığın bir ölçüsü olarak kullanıyorum .P Qp.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Eğer sonra kolayca hesaplayabilir P ( X i ) l n ( Q ( X i ) ) = 0 P ( X i …

15 distributions  distance  kullback-leibler 

Python kodumda KL sapmasını kullanacağım ve bu öğreticiyi aldım . Bu derste KL ıraksama uygulamak oldukça basittir. kl = (model * np.log(model/actual)).sum() Anlıyorum gibi, olasılık dağılımı modelve actual<= 1 olmalıdır. Benim sorum, k'nin maksimum bağlı / maksimum değeri nedir? Kodumda maksimum sınır için olduğu gibi kl mesafesinin maksimum değerini bilmeliyim.

15 machine-learning  distance  kullback-leibler 

Bu ölçüt hakkında okuduğum şeye göre, bir hipotezi diğerine dönüştürmek için gereken bilgi miktarı olan standart olmayan bir sayı döndüren KL dağılımını iki dağılımı karşılaştırıyorum. İki sorum var: a) KL sapmasını, örneğin etki büyüklüğü veya R ^ 2 gibi daha anlamlı bir yoruma sahip olacak şekilde ölçmenin bir yolu var …

14 distributions  kullback-leibler  information-geometry 

KL Diverjansının simetrik olmadığını ve kesinlikle bir metrik olarak kabul edilemeyeceğini biliyorum. Öyleyse, JS Divergence bir metrik için gerekli özellikleri karşıladığında neden kullanılır? KL diverjansının kullanılabildiği ancak JS Diverjansının kullanılamadığı ya da tam tersinin olmadığı senaryolar var mı?

14 probability  distributions  kullback-leibler  metric 

Eğer p(x)p(x)p(x) ile sıfır olmayan değerlere sahip bir olasılık dağılımıdır [0,+∞)[0,+∞)[0,+\infty) hangi tip (ler için,) p(x)p(x)p(x) bir sabit vardır halen mevcut c>0c>0c\gt 0 öyle ki ∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2tüm0<ϵ<10<ϵ<10\lt\epsilon\lt 1? Yukarıdaki eşitsizlik aslında dağılımı p(x)p(x)p(x)ve sıkıştırılmış bir versiyonu arasında bir Kullback-Leibler Farklılığıdır (1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}). Bu eşitsizliğin Üstel, Gama ve Weibull …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Ben bir matematikçi değilim. KL Divergence hakkında internette arama yaptım. Öğrendiğim şey, bir modelin girdi dağılımına göre dağılımını yaklaşık olarak gösterdiğimizde KL ıraksaması, kaybedilen bilgileri ölçer. Bunları herhangi iki sürekli veya ayrık dağılım arasında gördüm. Bunu sürekli ve ayrık arasında yapabilir miyiz?

12 distributions  mathematical-statistics  kullback-leibler 

Bazı noktalarda gördük diğerine göre bir olasılık ölçü Radon Nikodym türevinin kullanımı, özellikle bu keyfi bir parametre için bir model olasılığı ölçü türevidir Kullback-Leibler sapma bölgesi gerçek parametresine :θ 0θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Bunların her ikisi de bir parametre değerine bağlı veri noktaları uzayında olasılık ölçümleri olduğunda: .Pθ(D)=P(D|θ)Pθ(D)=P(D|θ)P_\theta(D)=P(D|\theta) Kullback-Leibler sapmasında veya …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Farklı kümeleme yöntemlerini karşılaştırmak için hızlı bir simülasyon çalıştırıyorum ve şu anda küme çözümlerini değerlendirmeye çalışan bir engelle karşılaşıyorum. Çeşitli doğrulama metriklerini biliyorum (çoğu R'de cluster.stats () öğesinde bulundu ), ancak tahmin edilen küme sayısının gerçek kümelerin gerçek sayısına eşit olması durumunda bunların en iyi şekilde kullanıldığını varsayıyorum. Orijinal simülasyonda …

11 clustering  kullback-leibler  gaussian-mixture 

İki örnek için Kullback-Leibler Diverjansının sayısal bir tahminini uygulamaya çalıştım. Uygulamada hata ayıklamak için örnekleri iki normal dağılımdan ve çizin .N ( 1 , 2 )N-( 0 , 1 )N-(0,1)\mathcal N (0,1)N-( 1 , 2 )N-(1,2)\mathcal N (1,2) Basit bir tahmin için iki histogram oluşturdum ve integrali sayısal olarak tahmin …

10 estimation  intuition  kullback-leibler  numerics 

X, Y ve Z olmak üzere üç veri setim var. Her veri kümesi meydana gelen bir olayın frekansını tanımlar. Örneğin: Veri Kümesi X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 vb. Veri Kümesi Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: …

10 kullback-leibler 

Araştırmamda şu genel sorunla karşılaştım: Aynı alan üzerinde iki PPP ve dağılımı ve QQQbu dağılımlardan çok sayıda (ancak sonlu) örnek var. Örnekler bu iki dağılımdan birinden bağımsız ve özdeş olarak dağıtılır (dağılımlar ilişkili olsa da: örneğin, QQQ , PPP ve diğer bazı dağılımların bir karışımı olabilir .) Boş hipotez, numunelerin …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Bir VAE uyguluyorum ve basitleştirilmiş tek değişkenli gauss KL sapmasının çevrimiçi olarak iki farklı uygulamasını fark ettim. Uygun olarak, orijinal diverjans burada bir bir birim gaussian olduğunu varsayarsak, ve , bu İşte karışıklığım burada. Yukarıdaki uygulama ile birkaç belirsiz github depoları bulmuş olmama rağmen, daha yaygın olarak kullandığım şey:KLloss=log(σ2σ1)+σ21+(μ1−μ2)22σ22−12KLloss=log⁡(σ2σ1)+σ12+(μ1−μ2)22σ22−12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} …

10 inference  kullback-leibler  autoencoders  variational-bayes 

F ve g'nin iki sürekli dağılımı arasındaki KL sapmasını tahmin etmek istiyorum. Ancak, f veya g için yoğunluğu yazamıyorum. Bazı yöntemlerle (örneğin, markov zinciri monte carlo) hem f hem de g'den numune alabilirim. F'den g'ye KL sapması şöyle tanımlanır DKL( f| | g) =∫∞- ∞f( x ) günlük(f( x )g( …

10 kullback-leibler 

Bu sadece birkaç kez karşılaştığım bir örnektir, bu yüzden örnek verilerim yok. R'de doğrusal regresyon modeli çalıştırmak: a.lm = lm(Y ~ x1 + x2) x1sürekli bir değişkendir. x2kategoriktir ve üç değeri vardır, örneğin "Düşük", "Orta" ve "Yüksek". Bununla birlikte, R tarafından verilen çıktı aşağıdaki gibi olacaktır: summary(a.lm) Estimate Std. Error …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction