İstatistikler ve Büyük Veri

Önceki sorulardan ve tartışmalardan değerli geri bildirimler topladıktan sonra şu soruyu buldum: Hedefin, örneğin erkek ve kadın olmak üzere iki grup arasındaki etki farklılıklarını tespit etmek olduğunu varsayalım. Bunu yapmanın iki yolu vardır: iki grup için iki ayrı regresyon çalışan ve istihdam Wald testi Boş hipotez reddetme (ya da değil) …

13 statistical-significance  interaction  regression-coefficients 

R'de, bir set.seed () ayarlayıp sonra bir listeyi rasgele seçmek için örnek işlevini kullanırsam, aynı permütasyonu üretmeyeceğimi garanti edebilir miyim? yani ... set.seed(25) limit <- 3 myindex <- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations <- sample(myindex) print(permutations) } Bu üretir [1] 1 2 0 3 [1] 0 2 1 …

13 r  sampling  combinatorics  resampling 

Bu yeni bir soru ise özür dilerim; Kendime ilk kez istatistik öğretmeye çalışıyorum. Sanırım temel prosedürüm var, ama R ile yürütmek için mücadele ediyorum. Bu yüzden, çoklu doğrusal form regresyonunda regresyon katsayılarının önemini değerlendirmeye çalışıyorum y^=Xβ^y^=Xβ^ \hat y = X \hat \beta Ben test etmek için t-istatistik düşünüyorum verilirH0:β^j=0,Ha:β^j≠0H0:β^j=0,Ha:β^j≠0H_0: \hat …

13 r  statistical-significance  multiple-regression 

Şuna benzeyen verilerim var: Üzerine normal dağılım (çekirdek yoğunluğu tahmini daha iyi çalışır, ancak böyle büyük bir hassasiyete ihtiyacım yok) uygulamaya çalıştım ve oldukça iyi çalışıyor. Yoğunluk grafiği bir elips yapar. Bir noktanın elips bölgesinde olup olmadığına karar vermek için bu elips işlevini almam gerekiyor. Bu nasıl yapılır? R veya …

13 r  regression  pdf  bivariate 

Bayes / MCMC'de çok iyi bir metne rastladım. BT, bağımsız değişkenlerinizin standartlaştırılmasının bir MCMC (Metropolis) algoritmasını daha verimli hale getireceğini, ancak aynı zamanda (çoklu) çarpışabilirliği azaltabileceğini önermektedir. Bu doğru olabilir mi? Bu standart olarak yapmam gereken bir şey mi ? (Üzgünüm). Kruschke 2011, Bayesci Veri Analizi Yapmak. (AP) düzenleme: örneğin …

13 bayesian  mcmc  multicollinearity  standardization 

Bir korelasyon matrisinin özdeğerlerinin dağılımına dair sezginiz / yorumunuz nedir? Genellikle en büyük 3 öz değerin en önemli olduğunu, sıfıra yakın olanların ise gürültü olduğunu duyma eğilimindeyim. Ayrıca, doğal olarak meydana gelen özdeğer dağılımlarının rastgele korelasyon matrislerinden hesaplananlardan (yine, sinyalden gelen sinyali ayırt eden) ne kadar farklı olduğunu araştıran birkaç …

13 distributions  correlation 

Ben arka kapı ayarı ve ön kapı ayarı bahsediyorum burada : Arka kapı ayarı : İstatistiklerdeki arketipik epidemiyolojik problem, ölçülen bir karışıklığın etkisini ayarlamaktır. Pearl'ün arka kapı kriteri bu fikri genelleştirir. Ön kapı ayarı : Bazı değişkenler gözlenmezse, nedensel etkiyi tanımlamak için başka yöntemlere başvurmamız gerekebilir. Sayfa ayrıca yukarıdaki iki …

13 causality  dag 

Ben zaman serisi tahmini "veri artırımı" yapmak için iki strateji düşünüyorum. İlk olarak, biraz arka plan. Bir zaman serisinin bir sonraki adımını tahmin etmek için bir öngörücü , tipik olarak iki şeye, zaman serisi geçmiş durumlarına, fakat aynı zamanda öngörücünün geçmiş durumlarına dayanan bir işlevdir:PPP{ Aben}{birben}\lbrace A_i\rbrace P( { Ai …

13 time-series  data-augmentation 

Valentin V. Petrov'un "Olasılık Teorisinin Sınır Teoremleri" kitabında, bir dağılımın "sürekli" ve "kesinlikle sürekli" tanımları arasında bir ayrım gördüm. (∗)(∗)(*) "... Gerçek çizginin sonlu veya sayılabilir kümesi için ise rastgele değişken dağılımının sürekli olduğu söylenir. olursa , Lebesgue'in tüm Borel setleri için sıfır ölçülür ... "XXXP(X∈B)=0P(X∈B)=0P\left(X \in B\right)=0BBBP(X∈B)=0P(X∈B)=0P\left(X \in B\right)=0BBB …

13 probability  distributions  random-variable 

İnsanlar sinir ağları hakkında konuştuğunda, "çekirdek boyutu" derken ne anlama geliyor? Çekirdekler benzerlik işlevleridir, ancak çekirdek boyutu hakkında ne diyor?

13 machine-learning  neural-networks 

Her biri için en uygun ardışık girdi sorunları nelerdir? Girdi boyutsallığı hangisinin daha uygun olduğunu belirler mi? "Daha uzun bellek" gerektiren problemler LSTM RNN için daha uygun mudur? Çok fazla örtüşme var gibi görünüyor; İkisi arasında ne gibi ince farklar olduğunu merak ediyorum.

13 time-series  neural-networks  hidden-markov-model  rnn 

Google Inception modelinin topolojisi şu adreste bulunabilir: Google Inception Netowrk Bu modelde (# 154, # 152, # 145) 3 softmax katmanı olduğunu fark ettim ve bunlardan 2 tanesi bu modelin erken kaçış şekli. Bildiğim kadarıyla, softmax katman nihai çıktı için, neden bu kadar çok var? diğer 2 katmanın amacı nedir?

13 deep-learning  conv-neural-network 

Genel olarak, momentler yöntemi sadece gözlemlenen örnek ortalamasını veya parametre tahminlerini almak için teorik momentlere uyumu göstermektedir. Bu genellikle üstel aileler için MLE ile aynıdır, topladım. Ancak, anlar yönteminin net bir tanımını bulmak ve olasılık işlevinin modunu bulmak daha zor olsa da, MLE'nin neden genel olarak tercih edildiğine dair net …

13 maximum-likelihood  method-of-moments 

24 sıra aylık veri içeren veri setim var. Bu özellikler GSYİH, havaalanı varış, ay ve diğer birkaç. Bağımlı değişken popüler bir turizm bölgesini ziyaret edenlerin sayısıdır. Rastgele Orman böyle bir soruna uygun mudur? Veri herkese açık değil, bu yüzden bir örnek gönderemiyorum.

13 random-forest  small-sample 

Hacim benzerliği ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) ve doğruluk ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) için Zar katsayısına rastlarım ). Bana öyle geliyor ki bu iki önlem aynı. Düşüncesi olan var mı?

13 descriptive-statistics  roc  accuracy  precision-recall  auc