«expectation-maximization» etiketlenmiş sorular

Uygulayabilmek ve kullanabilmek için EM algoritmasını iyi anlamaya çalışıyorum. Tam günümü EM'nin radardan gelen konum bilgisini kullanarak uçağı izlemek için kullandığı teori ve makaleyi okuyarak geçirdim. Açıkçası, altında yatan fikri tam olarak anladığımı sanmıyorum. Birisi beni daha basit bir problem için EM'nin birkaç yinelemesini (3-4) gösteren sayısal bir örneğe işaret …

117 regression  probability  mathematical-statistics  intuition  expectation-maximization 

Verileri kümelemek için algoritmalar çalıştım (denetimsiz öğrenme): EM ve k-araçları. Aşağıdakileri okumaya devam ediyorum: k-aracı, kümelerin küresel olduğu varsayımlarıyla birlikte EM'nin bir çeşididir. Birisi yukarıdaki cümleyi açıklayabilir mi? Küresel olanın ne anlama geldiğini ve kmeans ve EM'in birbirleriyle nasıl ilişkili olduğunu anlamıyorum, çünkü biri olasılıksal ödevini diğeri ise deterministik bir …

50 machine-learning  clustering  data-mining  k-means  expectation-maximization 

EM (Beklenti Maksimizasyonu) ve Gradient Ascent (veya iniş) algoritmaları arasındaki fark nedir? Eşdeğer oldukları herhangi bir koşul var mı?

28 gradient-descent  expectation-maximization 

Bir yerde Değişken Bayes yönteminin EM algoritmasının bir genellemesi olduğunu okudum. Aslında, algoritmaların yinelemeli kısımları çok benzer. EM algoritmasının Variational Bayes'ın özel bir sürümü olup olmadığını test etmek için aşağıdakileri denedim: YYY veri, gizli değişkenlerin toplanması ve parametrelerdir. Varyasyonel . Nerede ler daha basit, uysal dağılımları vardır.Θ P ( X …

26 bayesian  expectation-maximization  variational-bayes 

EM algoritmasının birkaç açıklamasını okudum (örneğin, Bishop'un Örüntü Tanıma ve Makine Öğrenmesi'nden ve Roger ve Gerolami Makine Öğrenimi İlk Kursundan). EM'in türetilmesi tamam, anlıyorum. Ayrıca algoritmanın neden bir şeyi kapsadığını da anlıyorum: her adımda sonucu iyileştiririz ve olasılık 1.0 ile sınırlanır, bu nedenle basit bir gerçeği kullanarak (eğer bir fonksiyon …

24 missing-data  convergence  expectation-maximization 

Not: Teknik nedenlerden dolayı kendi başlarına gönderemediğim eski bir öğrenciden bir soru gönderiyorum. Bir örnek verilmişse, , pdf ile bir Weibull dağılımından için faydalı bir değişken gösterimi ve dolayısıyla basit kullanım yerine MLE'sini bulmak için kullanılabilecek bir ilişkili EM (beklenti-maksimizasyon) algoritması sayısal optimizasyon?f k ( x ) = k x …

24 optimization  missing-data  expectation-maximization  weibull  gumbel 

Çok az bildiğim kadarıyla EM algoritması, olasılığın parametrelerine göre kısmi türevleri sıfıra ayarlarken maksimum olasılığını bulmak için kullanılabilir, analitik olarak çözülemeyen bir denklem seti verir. Ancak, bahsi geçen denklem setinin kısıtlaması bakımından maksimum bir olasılık bulmaya çalışmak için bazı sayısal teknikler kullanmak yerine EM algoritması gerekli midir?

22 expectation-maximization 

Temel bileşen analizi (PCA) yaptıktan sonra, PCA alanına yeni bir vektör yansıtmak istiyorum (yani PCA koordinat sistemindeki koordinatlarını bulmak). PCA'yı R dilinde kullanarak hesapladım prcomp. Şimdi vektörümü PCA dönme matrisi ile çarpabilmeliyim. Bu matristeki temel bileşenler satır veya sütunlar halinde mi düzenlenmelidir?

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Ben elle EM algoritmayı uygulamak ve ardından sonuçlarına karşılaştırmak istediğiniz normalmixEMbir mixtoolspakette. Tabii ki, her ikisi de aynı sonuçlara yol açarsa mutlu olurum. Ana referans, Sonlu Karışım Modelleri olan Geoffrey McLachlan (2000) . Genelde iki Gausslu karışım yoğunluğum var, log olabilirliği (McLachlan sayfa 48): logLc(Ψ)=∑i=1g∑j=1nzij{logπi+logfi(yi;θi)}.günlük⁡Lc(Ψ)=Σben=1gΣj=1nzbenj{günlük⁡πben+günlük⁡fben(yben;θben)}. \log L_c(\Psi) = \sum_{i=1}^g \sum_{j=1}^n …

20 r  expectation-maximization  gaussian-mixture 

EM algoritma yaklaşımında Jensen'in eşitsizliğinilogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz ve tanımlamak tarafından θ ( k + 1 ) = arg max θ ∫ log p ( z , x | θ ) p ( z | x , θ ( k ) …

20 mixture  expectation-maximization 

Gauss'luların bir karışımının günlük olasılığını düşünün: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Bu denklemi doğrudan maksimize etmenin niçin hesaplama açısından zor olduğunu merak ediyordum? Neden zor olduğu açık ya da belki de neden zor olduğu hakkında daha titiz bir açıklama üzerinde net bir sezgi arıyordum. Bu problem …

18 machine-learning  gaussian-mixture  expectation-maximization 

Bir görüntüdeki bölgeleri segmentlere ayırmak için Markov Rastgele Alanlarının nasıl kullanılacağını öğrenmeye çalışıyorum. MRF'deki bazı parametreleri veya neden yaptığım beklenti maksimizasyonunun bazen bir çözüme yaklaşamadığını anlamıyorum. Bayes teoreminden başlayarak, , burada pikselin gri tonlama değeri ve bir sınıf etiketi. MRF kullanılarak modellenirken , için bir Gauss dağılımı kullanmayı seçtim .y …

16 expectation-maximization  image-processing  classification 

EM prosedürü, başlatılmayanlara, az ya da çok kara büyü olarak görünür. Denetlenen verileri kullanarak bir HMM'nin parametrelerini (örneğin) tahmin edin. Ardından, etiketlenmemiş verilerin kodlarını, veriler aşağı yukarı etiketlenmiş gibi 'saymak' için ileri-geri kullanarak çözün. Bu neden modeli daha iyi hale getiriyor? Matematik hakkında bir şeyler biliyorum, ama onun bir tür …

16 expectation-maximization  intuition 

Karışım modellerinde (Gauss Karışımı, Gizli Markov Modeli, vb.) Beklenen Maksimizasyon yöntemini vurgulayan birçok literatür vardır. EM neden önemlidir? EM, optimizasyon yapmanın bir yoludur ve degrade tabanlı yöntem (gradyan terbiyeli veya newton / yarı-newton yöntemi) veya BURADA tartışılan diğer gradyansız yöntem olarak yaygın olarak kullanılmaz . Buna ek olarak, EM'nin hala …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

K-araçlarının genellikle Beklenti Maksimizasyonu kullanılarak optimize edildiğini biliyorum . Bununla birlikte, kayıp fonksiyonunu diğerlerini optimize ettiğimiz gibi optimize edebiliriz! Büyük ölçekli k-araçları için aslında stokastik gradyan kökenli bazı makaleler buldum , ancak sorumun yanıtını alamadım. Peki, bunun neden olduğunu bilen var mı? Beklenti Maksimizasyonu daha hızlı birleştiği için mi? Özel …

14 optimization  k-means  expectation-maximization  loss-functions