İstatistikler ve Büyük Veri

Yani (denetimsiz) metin modellemesinde, Latent Dirichlet Ataması (LDA) Olasılıksal Gizli Semantik Analiz'in (PLSA) Bayesli bir versiyonudur. Esasen, LDA = PLSA + Dirichlet parametrelerine göre önceden. Anladığım kadarıyla LDA artık referans algoritması ve çeşitli paketlerde uygulanmakta, PLSA artık kullanılmamalıdır. Ancak (denetlenen) metin kategorizasyonunda, çok şeyi aynı Naif Bayes sınıflandırıcısı için aynı …

15 bayesian  multinomial  prior  naive-bayes  dirichlet-distribution 

Yanıtı iki kez dönüştürdükten sonra XXX ve YYY değişkenim arasında güçlü bir doğrusal ilişki elde ettim . Model Y∼XY∼XY\sim X ama bunu dönüştürülmüş iyileştirilmesi .19 den .76 için. R2YX−−√∼X−−√YX∼X\sqrt{\frac{Y}{X}}\sim \sqrt{X}R2R2R^2 Açıkçası bu ilişki üzerinde iyi bir ameliyat yaptım. Aşırı dönüşüm tehlikeleri veya istatistiksel ilkelerin olası ihlalleri gibi bunu yapmanın tuzaklarını …

15 regression  data-transformation  r-squared 

Bazı Bayesliler, "benzersiz örnekleme dağılımı yoktur" diyerek sık sık çıkarımda bulunurlar çünkü araştırmacının niyetine bağlıdır (Kruschke, Aguinis ve Joo, 2012, s. 733). Örneğin, bir araştırmacının veri toplamaya başladığını, ancak 40 katılımcıdan sonra fonunun beklenmedik bir şekilde kesildiğini varsayalım. Örnekleme dağılımları (ve müteakip CI'ler ve p değerleri) burada nasıl tanımlanabilir? Her …

15 distributions  inference  frequentist 

Değerleri kesinlikle olumlu olan bir zaman dizisi üzerinde çalışıyorum . AR, MA, ARMA, vb.Dahil olmak üzere çeşitli modellerle çalışarak, kesinlikle olumlu tahminler elde etmenin kolay bir yolunu bulamadım. Tahminlerimi yapmak için R kullanıyorum ve bulabildiğim tek şey burada açıklanan olumlu bir parametreye sahip tahmin.hts {hts} idi : Hiyerarşik veya gruplandırılmış …

15 time-series  forecasting  constrained-regression 

ARIMA modelleme / Box Jenkins (BJ) parametrelerinin nasıl hesaplandığını anlamaya çalışıyorum. Maalesef karşılaştığım kitapların hiçbiri Log-Likelihood tahmin prosedürü gibi tahmin prosedürünü ayrıntılı olarak açıklamıyor. Web sitesi / öğretim materyali çok yararlı buldum . Yukarıda referansta bulunulan kaynaktan denklem aşağıdadır. L L ( θ ) = - n2günlük( 2 π) - …

15 time-series  forecasting  arima  optimization  box-jenkins 

Payda beklentisini uygulama konusunda kafam karıştı. E(1/X)=?E(1/X)=?E(1/X)=\,? 1 / E ( X ) olabilir mi1/E(X)1/E(X)1/E(X)\,?

15 expected-value 

21 ankete Likert ölçeği cevabından elde edilen bazı verilerim (158 vaka) var. Anketteki hangi öğelerin genel bir maddeye (memnuniyet) yanıt verdiğini görmek için gerçekten bir regresyon analizi yapmak istiyorum / ihtiyacım var. Yanıtlar normal olarak dağıtılmaz (KS testlerine göre) ve düşünebildiğim her şekilde (ters, log, log10, sqrt, squared) dönüştürdüm ve …

15 regression  distributions  nonparametric 

Nedensel Bayes Ağlarındaki d-Separation mantığını anlamaya çalışıyorum. Algoritmanın nasıl çalıştığını biliyorum, ancak "bilgi akışı" nın neden algoritmada belirtildiği gibi çalıştığını tam olarak anlamıyorum . Örneğin yukarıdaki grafikte, bize sadece X verildiğini ve başka bir değişkenin gözlenmediğini düşünelim. Sonra d-ayırma kurallarına göre, X'den D'ye bilgi akışı: X, olan A'yı etkiler . …

15 bayesian  causality  graphical-model  bayesian-network 

Bu çok temel bir soru. Neden ki kare dağılımı kullanıyoruz? Bu dağılımın anlamı nedir? Bu dağılım neden varyans için bir güven aralığı oluşturmak için kullanılıyor? Bir açıklama için Google'da gördüğüm her yer, chi'yi ne zaman kullanacağınızı açıklayan, ancak chi'yi neden kullandığını ve neden böyle göründüğünü açıklamıyor. Beni doğru yöne yönlendirebilen …

15 variance  chi-squared 

Pearson korelasyon formülünü anlamama yardımcı olabilecek biri var mı? örnek = ve değişkenlerinin standart puanlarının ürünlerinin ortalaması .rrrXXXYYY Neden ve standartlaştırmaları gerektiğini anlıyorum , ama her iki z skorunun ürünlerini nasıl anlayabilirim? YXXXYYY Bu formüle "ürün-moment korelasyon katsayısı" da denir, ancak ürün eyleminin mantığı nedir? Sorumu açıklığa kavuşturabildiğimden emin değilim, …

15 correlation  descriptive-statistics  pearson-r 

Ben yeniyim glmnetpaketin ve ben sonuçların nasıl yorumlanacağı hala emin değilim. Birisi lütfen aşağıdaki izleme planını okumama yardımcı olabilir mi? Grafik aşağıdakileri çalıştırarak elde edildi: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, standardize=TRUE) op <- par(mfrow=c(1, 2)) plot(model$glmnet.fit, "norm", label=TRUE) plot(model$glmnet.fit, "lambda", …

15 r  data-visualization  interpretation  lasso  glmnet 

Şu anda Yang'ın Hesaplama Moleküler Evriminde Bayes Yöntemlerini okuyorum. Bölüm 5.2'de öncelikler ve özellikle bilgilendirici olmayan / düz / belirsiz / yaygın, eşlenik ve hiper öncelikler hakkında konuşulur. Bu aşırı basitleştirme isteyebilir, ancak birisi basitçe bu tür öncelikler arasındaki farkı ve bunun Bayes analizi sürecinde alacağım analiz / kararların sonucunu …

15 bayesian  prior 

XXX ve YYY sonlu ikinci momentleri olduğunu varsayın . İkinci sonlu an ile rastgele değişkenlerin Hilbert boşluğa (iç ürün ile T1,T2T1,T2T_1,T_2 ile tanımlanan E(T1T2)E(T1T2)E(T_1T_2) , ||T||2=E(T2)||T||2=E(T2)||T||^2=E(T^2) ), biz yorumlayabilir E(Y|X)E(Y|X)E(Y|X) projeksiyonu olarak YYY fonksiyonları alan üzerine .XXX Ayrıca Toplam Varyans Yasasının Var(Y)=E(Var(Y|X))+Var(E(Y|X))Var(Y)=E(Var(Y|X))+Var(E(Y|X))Var(Y)=E(Var(Y|X)) + Var(E(Y|X)) Bu yasayı yukarıdaki geometrik resim açısından …

15 variance  conditional-expectation 

Wikipedia'dan Etkili gözlemler , regresyon modelinin tahminleri üzerinde nispeten büyük etkisi olan gözlemlerdir. Wikipedia'dan Kaldıraç noktaları , varsa, bağımsız değişkenlerin aşırı veya dış değerlerinde yapılan gözlemlerdir, böylece komşu gözlemlerin eksikliği, yerleştirilmiş regresyon modelinin söz konusu gözleme yakın olacağı anlamına gelir. Aşağıdaki Wikipedia neden karşılaştırması Etkili bir nokta tipik olarak yüksek …

15 regression  outliers  leverage 

Hareketli ortalama verilerden veri noktaları elde etmek mümkün müdür? Başka bir deyişle, bir veri kümesi yalnızca önceki 30 noktanın basit hareketli ortalamalarına sahipse, orijinal veri noktalarını çıkarmak mümkün müdür? Öyleyse nasıl?

15 data-transformation  average  point-estimation