İstatistikler ve Büyük Veri

Bu soru bir teknik takip olan bu soruya . Raftery (1988) 'deN-N-N sunulan modeli anlamakta ve çoğaltmakta zorluk çekiyorum : Binom N parametresi için çıkarım: WinBUGS / OpenBUGS / JAGS'ta hiyerarşik Bayes yaklaşımı . Bu sadece kod ile ilgili değil, bu yüzden burada konu üzerinde olmalıdır. Arka fon Let x …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

Anladığım kadarıyla, lojistik sigmoid aktivasyon fonksiyonuna sahip bir algılayıcı / tek katmanlı yapay sinir ağı, lojistik regresyon ile aynı modeldir. Her iki model de denklem tarafından verilir: F( x ) = 11 - e- βXF(x)=11-e-βXF(x) = \frac{1}{1-e^{-\beta X}} Algılayıcı öğrenme algoritması çevrimiçi ve hataya dayalıdır, oysa lojistik regresyon parametreleri degrade …

16 logistic  communication 

Yaklaşan bir konferansta istatistikçi olmayanlara bir proje sunmam gerekecek ve bir noktada okuduğum ve istatistik ile cevheri işleyen bir makine arasındaki karşılaştırmayı yapan bir alıntı eklemek istiyorum. Bunun nedeni, istatistiklerin yetenekleri ile izleyicinin hedefleri arasında belirli bir bağlantıyı vurgulamak istiyorum. Alıntıyı bulamıyorum ve birisinin beni bunun için bir referansa yönlendirebileceğini …

16 references  quotation 

Son aylarda bu yaz yüksek lisans tezime hazırlıkta kantil regresyon hakkında yoğun bir şekilde okudum. Özellikle Roger Koenker'in konuyla ilgili 2005 kitabının çoğunu okudum. Şimdi bu mevcut bilgiyi enstrümantal değişkenlere izin veren kantil regresyon tekniklerine genişletmek istiyorum (IV). Bu, hızla büyüyen aktif bir araştırma alanı gibi görünüyor. Belki biri bana …

16 regression  references  econometrics  instrumental-variables  quantile-regression 

Sayfada yeniyim ve istatistiklerde oldukça yeniyim ve R, nehirlerde yağmur ve su akışı seviyesi arasındaki ilişkiyi bulmak amacıyla kolej için bir proje üzerinde çalışıyorum. Korelasyon kanıtlandıktan sonra bunu tahmin etmek / tahmin etmek istiyorum. Veri Ben içeren belirli nehirler için (her 5 dakikada alınmıştır) birkaç yıl veri kümesi vardır: Milimetre …

16 r  time-series  forecasting  cross-correlation  lags 

Zaman serisi tahmininde orta düzeyde bir geçmişim var. Birkaç tahmin kitabına baktım ve hiçbirinde aşağıdaki soruları görmüyorum. İki sorum var: Belirli bir zaman dizisi varsa objektif olarak (istatistiksel test yoluyla) nasıl belirleyebilirim: Stokastik Mevsimsellik veya Deterministik Mevsimsellik Stokastik Trend veya Deterministik Trend Seriyi açıkça stokastik bir bileşene sahip olduğunda zaman …

16 time-series  forecasting  arima  stochastic-processes 

Ben kullanıyorum glmergelen işlevi lme4R paketin ve ben kullanıyorum bobyqaoptimize edici (benim durumumda varsayılan yani). Bir uyarı alıyorum ve bunun ne anlama geldiğini merak ediyorum. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to reduce …

16 r  optimization  lme4-nlme  convergence  glmm 

Hangi performans ölçüsünün kullanılacağı, ROC eğrisinin altındaki alan (FPR'ın bir fonksiyonu olarak TPR) veya hassas hatırlama eğrisinin altındaki alan (hatırlama fonksiyonu olarak hassasiyet) hakkında bazı şüphelerim var. Verilerim dengesiz, yani negatif örneklerin sayısı pozitif örneklerden çok daha fazla. Ben weka çıktı tahmini kullanıyorum, bir örnek: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Bir görüntüdeki bölgeleri segmentlere ayırmak için Markov Rastgele Alanlarının nasıl kullanılacağını öğrenmeye çalışıyorum. MRF'deki bazı parametreleri veya neden yaptığım beklenti maksimizasyonunun bazen bir çözüme yaklaşamadığını anlamıyorum. Bayes teoreminden başlayarak, , burada pikselin gri tonlama değeri ve bir sınıf etiketi. MRF kullanılarak modellenirken , için bir Gauss dağılımı kullanmayı seçtim .y …

16 expectation-maximization  image-processing  classification 

Sürekli veri veri kümemin şekil 1.7 ve oran 0.000063 parametreleriyle bir gama dağılımını takip edip etmediğini belirlemeye çalışıyorum .======= Sorun, teorik dağıtım gama (1.7, 0.000063) karşı veri kümem bir QQ grafiği oluşturmak için R kullandığımda , ampirik verilerin kabaca gama dağılımı ile aynı olduğunu gösteren bir çizim olsun. Aynı şey …

16 pdf  kolmogorov-smirnov  cdf  qq-plot 

Let YYY medyan temsil ettiği ve izin boyutta rasgele numunenin ortalama belirtmektedir olan bir dağıtım . nasıl hesaplayabilirim ?X¯X¯\bar{X}n=2k+1n=2k+1n=2k+1N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)E(Y|X¯=x¯)E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) Sezgisel olarak, normallik varsayımı nedeniyle, ve gerçekten de doğru cevap olduğunu iddia etmek mantıklıdır . Ancak bu titizlikle gösterilebilir mi?E(Y|X¯=x¯)=x¯E(Y|X¯=x¯)=x¯E(Y|\bar{X}=\bar{x})=\bar{x} İlk düşüncem, bu soruna genellikle bilinen bir sonuç olan koşullu normal …

16 self-study  normal-distribution  mathematical-statistics  expected-value  conditional-expectation 

Kendime eğlence için bazı istatistikler öğretiyorum ve yeterli istatistik konusunda biraz karışıklığım var . Karışıklarımı liste biçiminde yazacağım: Bir dağıtımın parametresi varsa, o zaman n yeterli istatistiğe sahip olur mu?nnnnnn Yeterli istatistikler ve parametreler arasında doğrudan bir yazışma var mı? Ya da yeterli istatistiklerin sadece bir "bilgi" havuzu işlevi görmesini …

16 mathematical-statistics  sufficient-statistics 

Bu sorunu düşünüyordum. http://en.wikipedia.org/wiki/Two_envelopes_problem Çözüme inanıyorum ve anladığımı düşünüyorum, ancak aşağıdaki yaklaşımı benimsersem tamamen kafam karıştı. Sorun 1: Size aşağıdaki oyunu sunacağım. Bana 10 dolar ödüyorsun ve adil bir para çevireceğim. Kafalar sana 5 dolar , kuyruklar sana 20 dolar veriyorum . Beklenti 12,5 $ olduğundan her zaman oyunu oynayacaksınız. …

16 probability  paradox  puzzle 

Bu uzun bir yazı, bu yüzden umarım bana katılabilirsin ve lütfen yanlış olduğum yerde beni düzeltin. Amacım 3 veya 4 haftalık geçmiş verilerine dayanarak günlük bir tahmin oluşturmak. Veriler, bir transformatör hattından birinin lokal yükünün 15 dakikalık verileridir. Mevsimsel bir ARIMA sürecinin model sırasını bulmakta sorun yaşıyorum. Elektrik talep süresi …

16 forecasting  arima  model-selection  seasonality  fourier-transform 

Amerika Birleşik Devletleri'ndeki bir hava durumu istasyonları ağı için verilerim var. Bu bana tarih, enlem, boylam ve bazı ölçülen değerleri içeren bir veri çerçevesi verir. Verilerin günde bir kez toplandığını ve bölgesel ölçekli hava koşullarından kaynaklandığını varsayın (hayır, bu tartışmaya girmeyeceğiz). Eşzamanlı olarak ölçülen değerlerin zaman ve mekan arasında nasıl …

16 r  regression  data-visualization  pca  spatial