İstatistikler ve Büyük Veri

Korelasyon katsayısının bir regresyon eğimi (beta) ile aynı olmasını beklerdim, ancak ikisini karşılaştırdıklarında farklılardı. Nasıl farklılaşıyorlar - hangi farklı bilgileri veriyorlar?

69 regression  correlation 

Hangi durumlarda biri diğerini tercih etmeli? Pedagojik nedenlerden dolayı Kendall için bir avantaj talep eden birini buldum , başka sebepler var mı?

69 correlation  nonparametric  spearman-rho  kendall-tau 

Şu anda mevcut olan bazı değerli İstatistiksel Analiz açık kaynaklı projeler nelerdir? Düzenleme: Sharpie tarafından belirtildiği gibi, değerli şeyler işleri daha hızlı veya daha ucuz bir şekilde yapmanıza yardımcı olabilir.

69 software  open-source 

"Rastgele değişken" derken ne demek istiyorlar?

69 mathematical-statistics  random-variable  intuition  definition 

Aslında yazarların 5-6 logit regresyon modellerini AIC ile karşılaştırdıkları bir makaleyi inceliyorum. Bununla birlikte, bazı modellerde bireysel değişken terimlerini dahil etmeden etkileşim terimleri vardır. Bunu yapmak hiç mantıklı geliyor mu? Örneğin (logit modellerine özgü değil): M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: …

68 regression  modeling  interaction  aic 

Sadece dizi sinirsel ağın başlangıç ağırlıkları seçmek için iyi bir fikirdir ki duymuş , olan Verilen bir nörona giriş sayısı. Kümelerin normalize olduğu varsayılmaktadır - ortalama 0, varyans 1 (bunun önemli olup olmadığını bilmiyorum).(−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd Bu neden iyi bir fikir?

68 neural-networks  normalization 

Sınıfta dengesiz bir veri var ve yükseltilmiş tressin hiperparametrelerini xgboost kullanarak ayarlamak istiyorum. Sorular Xgboost için bir gridsearchcv veya randomsearchcv eşdeğeri var mı? Değilse, xgboost parametrelerini ayarlamak için önerilen yaklaşım nedir?

68 machine-learning  cross-validation  xgboost  boosting 

Bir değer için aylık ortalamaya ve bu ortalamaya karşılık gelen standart sapmaya sahibim. Şimdi yıllık ortalamayı aylık ortalamaların toplamı olarak hesaplıyorum, toplam ortalamanın standart sapmasını nasıl gösterebilirim? Örneğin bir rüzgar çiftliğinden elde edilen verimi göz önünde bulundurarak: Month MWh StdDev January 927 333 February 1234 250 March 1032 301 April …

68 standard-deviation  descriptive-statistics 

İstatistik derslerinde oturumu ekstrapolasyonun neden kötü bir fikir olduğuna dair bir duruşma olarak oturduğumu hatırlıyorum. Ayrıca, bu konuda yorum yapan çevrimiçi çeşitli kaynaklar vardır. Burada bir de söz var . Biri neden ekstrapolasyonun kötü bir fikir olduğunu anlamama yardımcı olabilir mi? Öyleyse, tahmin tekniklerinin istatistiksel olarak geçersiz olmadığı nasıldır?

68 regression  time-series  forecasting 

Her biri 7 bağımsız değişken grubundan etkilenebilecek 2 bağımlı değişkene (DV) sahibim. DV'ler süreklidir, IV'ler ise sürekli ve ikili kodlanmış değişkenlerin bir karışımından oluşur. (Aşağıdaki kodda sürekli değişkenler büyük harflerle ve ikili değişkenler küçük harflerle yazılmıştır.) Çalışmanın amacı, bu DV'lerin IV değişkenleri tarafından nasıl etkilendiğini ortaya çıkarmaktır. Aşağıdaki çok değişkenli …

68 r  multivariate-analysis  manova  multiple-regression  multivariate-regression 

Üç boyutlu ünite küresi yüzeyinde düzgün dağılmış noktalar nasıl üretileceğini merak ediyorum. Ayrıca bu noktaları oluşturduktan sonra, yüzeyinde gerçekten düzgün olup olmadıklarını görselleştirmenin ve kontrol etmenin en iyi yolu x2+y2+z2=1x2+y2+z2=1x^2+y^2+z^2=1nedir?

68 random-generation 

Düzenlemeler: Basit bir örnek ekledim: ortalamasının . Ayrıca, güvenilebilir aralıklarla güven aralıklarını eşleştirmeyen güven aralıklarının neden kötü olduğunu da biraz açıkladım.XiXiX_i Ben, oldukça dindar bir Bayesian, bir çeşit inanç krizinin ortasındayım. Benim sorunum şu. Bazı IID verilerini analiz etmek istediğimi varsayın . Benim yapacağım şey:XiXiX_i önce, koşullu bir model önerin: …

68 bayesian  modeling  philosophical  misspecification 

Bu makaleyi , Ekonomist'te “40.000 yayınlanmış [fMRI] çalışması gibi bir şey” hakkında şüphe uyandırıcı görünüşte harap bir kağıt [1] hakkında gördüm . Diyorlar ki hata “hatalı istatistiksel varsayımlardan” kaynaklanıyor. Makaleyi okudum ve kısmen çoklu karşılaştırma düzeltmeleri ile ilgili bir sorun olduğunu görüyorum, ancak bir fMRI uzmanı değilim ve takibini zor …

67 hypothesis-testing  multiple-comparisons  spatial  neuroimaging  neuroscience 

Şubat 2016'da, Amerikan İstatistik Kurumu, istatistiksel anlamlılık ve p değerleri ile ilgili resmi bir açıklama yaptı. Bizim bu konuda iplik yoğun bu konuları tartışmaktadır. Bununla birlikte, evrensel olarak kabul edilmiş etkili bir alternatif önerecek hiçbir otorite ortaya çıkmamıştır - şimdiye kadar. Amerikan İstatistik Kurumu (ASS) cevabını yayınladı, p-değerleri: Sırada ne …

67 hypothesis-testing  statistical-significance  p-value 

Bu soru, birkaç yıl önce CV'de sorulmuştu, 1) büyüklük sırasına göre daha iyi hesaplama teknolojisi (örneğin paralel hesaplama, HPC vb.) Ve 2) daha yeni teknikler, örneğin [3] ışığında bir röportaja benziyor. İlk olarak, bazı bağlamlar. Amacın hipotez testi değil, tahmini etkileme değil, görünmeyen test setindeki tahmin olduğunu varsayalım. Bu nedenle, …

67 machine-learning  modeling  feature-selection  model-selection  prediction