«maximum-likelihood» etiketlenmiş sorular

Bu sayfayı okudum: http://neuralnetworksanddeeplearning.com/chap3.html ve çapraz entropili sigmoid çıkış katmanının log-olasılıklı softmax çıkış katmanına oldukça benzer olduğunu söyledi. log katsayılı sigmoid veya çıktı katmanında çapraz entropi ile softmax kullanırsam ne olur? iyi mi? çünkü çapraz entropi arasındaki denklemde sadece küçük bir fark olduğunu görüyorum (eq.57): C=−1n∑x(ylna+(1−y)ln(1−a))C=−1n∑x(yln⁡a+(1−y)ln⁡(1−a))C = -\frac{1}{n} \sum\limits_x (y …

31 neural-networks  maximum-likelihood  softmax 

Sorunumu bir örnekle açıklayacağım. Bazı nitelikler verilen bir bireyin gelirini tahmin etmek istediğinizi varsayalım: {Yaş, Cinsiyet, Ülke, Bölge, Şehir}. Bunun gibi bir eğitim veri setine sahipsiniz train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

rasgele bir değişkenimiz olduğunu varsayalım . Eğer gerçek parametre ise, olabilirlik fonksiyonu maksimize edilmeli ve türev sıfıra eşit olmalıdır. Bu, maksimum olabilirlik tahmincisinin arkasındaki temel ilkedir.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Anladığım kadarıyla, Fisher bilgisi olarak tanımlanır I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Dolayısıyla, eğer gerçek parametre ise, . Fakat eğer gerçek …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Düşünün bağımsız örnekler rastgele değişken elde edilen (örneğin, bir kesik bir dağılımı gösterdiği kabul edilmektedir normal dağılım kesildi bilinen (sonlu) minimum ve maksimum değerler için) ve ancak bilinmeyen parametreler arasında ve . Eğer kesik olmayan bir dağılım , ve için ve en yüksek olabilirlik tahmin edicileri ortalamaNNNSSSXXXaaabbbμμ\muσ2σ2\sigma^2XXXμˆμ^\widehat\muσˆ2σ^2\widehat\sigma^2μμ\muσ2σ2\sigma^2SSSμˆ=1N∑iSiμ^=1N∑iSi\widehat\mu = \frac{1}{N} \sum_i …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Owen'ın ampirik olasılığını duymuştum, ancak yakın zamana kadar ilgilendiren bir makaleyle karşılaşana kadar hiçbir ücret ödemedim ( Mengersen ve ark. 2012 ). Anlama çabalarımda, gözlemlenen verilerin olasılığının olarak temsil edildiğini , burada ve .∑ i p i = 1 p i > 0L = ∏benpben= ∏benP( Xben= x ) = …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Maksimum olabilirlik tahmini genellikle taraflı tahmin edicilere yol açar (örneğin, örnek varyans için olan tahmin Gauss dağılımı için önyargılıdır). Sonra ne bu kadar popüler kılan? Tam olarak neden bu kadar çok kullanılıyor? Ayrıca, onu alternatif yaklaşımdan daha iyi yapan şey nedir? Ayrıca, Gaussian için MLE tahmincisinin basit bir ölçeklemesinin onu …

25 normal-distribution  maximum-likelihood  method-of-moments 

Önyargılı maksimum olabilirlik (ML) tahmin edicileri hakkında bir kafa karışıklığım var . Bütün kavramın matematiği benim için oldukça açık ama arkasındaki sezgisel mantığı bulamıyorum. Tahmini almak istediğimiz bir parametrenin işlevi olan bir dağılımdan örnekleri olan belirli bir veri kümesi göz önüne alındığında, ML tahmincisi, veri kümesini üretmesi en muhtemel olan …

25 maximum-likelihood  bias 

Maksimum olasılık tahmini için R's nlm kullandığımı öne süren birkaç rehbere rastladım. Ancak hiçbiri ( R'nin dokümantasyonu dahil ), bu fonksiyonu ne zaman kullanacağınız veya kullanmayacağınız konusunda çok teorik rehberlik yapmaz. Söyleyebileceğim kadarıyla, nlm Newton'un metodunun çizgileri boyunca sadece gradyan iniş yapıyor. Bu yaklaşımı kullanmanın makul olduğu zamanlar için prensipler …

25 r  maximum-likelihood 

Daha yeni istatistikler ve modeller hakkında çalışmaya başladım. Şu an anladığım kadarıyla, bir model için en iyi parametreyi tahmin etmek için MLE kullanıyoruz. Ancak, sinir ağlarının nasıl çalıştığını anlamaya çalıştığımda, bunun yerine parametreleri tahmin etmek için başka bir yaklaşım kullandıkları görülüyor. Neden MLE kullanmıyoruz ya da hiç MLE kullanmak mümkün …

23 maximum-likelihood  neural-networks 

Herhangi bir maksimum (log-) olabilirlik tahmini problemi için her zaman maksimize edicinin olup olmadığını merak ediyorum. Başka bir deyişle, MLE probleminin maksimize edicisi olmayan bir dağılım ve bazı parametreleri var mı? Sorum, MLE'deki maliyet fonksiyonunun (olasılık veya log olabilirlik, hangisinin amaçlandığından emin değilim) her zaman içbükey olduğu ve bu nedenle …

23 maximum-likelihood  optimization 

Student t dağılımının parametreleri için maksimum olabilirlik tahmin ediciler nelerdir? Kapalı formda varlar mı? Hızlı bir Google araması bana sonuç vermedi. Bugün tek değişkenli durumla ilgileniyorum, ancak muhtemelen modeli çoklu boyutlara genişletmek zorunda kalacağım. EDIT: Aslında çoğunlukla yer ve ölçek parametreleriyle ilgileniyorum. Şimdilik serbestlik derecesi parametresinin sabit olduğunu varsayabilir ve …

23 estimation  maximum-likelihood  t-distribution 

Düzenli problemler için biliyorum, en iyi düzenli tarafsız tahmin edicimiz varsa, maksimum olasılık tahmincisi (MLE) olmalı. Ancak, genel olarak, tarafsız bir MLE'ye sahip olursak, aynı zamanda en iyi tarafsız tahmin edici olur mu (ya da en küçük varyansa sahip olduğu sürece belki de UMVUE demeliyim)?

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Göre 8ED Mühendisleri için Miller ve Freund Olasılık ve İstatistik (pp.217-218), olabilirlik fonksiyonu binom dağılımı (Bernoulli denemelerinin) için maksimize edilebilir olarak verilmiştir L ( p ) = ∏ni = 1pxben( 1 - p )1 - xbenL(p)=Πben=1npxben(1-p)1-xbenL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} Bu denkleme nasıl ulaşılır? Poisson ve Gaussian'ın diğer dağıtımları ile ilgili bana …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

Bir kendir matrisiyle optim'den bir çıktı verildiğinde, kenet matrisini kullanarak parametre güven aralıklarını nasıl hesaplayabilirim? fit<-optim(..., hessian=T) hessian<-fit$hessian Çoğunlukla maksimum olabilirlik analizi bağlamıyla ilgileniyorum, ancak yöntemin ötesine genişletilip genişletilemeyeceğini bilmek istiyorum.

22 r  maximum-likelihood 

Diyelim ki aşağıdaki modelim var yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i buradaki , , açıklayıcı değişkenlerin bir vektörüdür, , doğrusal olmayan fonksiyonunun ve nın parametreleridir , burada doğal olarak matrisi.yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK× KK×KK\times K Amaç ve tahmin etmek her zamanki gibidir . Belirgin seçim maksimum olabilirlik yöntemidir. Bu model için log olabilirliği (bir örneğimiz olduğunu …

22 maximum-likelihood  optimization  covariance