İstatistikler ve Büyük Veri

tanıtım: Klasik "büyük p, küçük n problemi" olan bir veri kümem var. Mevcut sayıların sayısı n = 150 iken olası yordayıcıların sayısı p = 400'dür. Sonuç sürekli bir değişkendir. En "önemli" tanımlayıcıları, yani sonucu açıklamak ve bir teori oluşturmaya yardımcı olmak için en iyi aday olanları bulmak istiyorum. Bu konuda …

22 regression  cross-validation  model-selection  feature-selection  elastic-net 

Bir kendir matrisiyle optim'den bir çıktı verildiğinde, kenet matrisini kullanarak parametre güven aralıklarını nasıl hesaplayabilirim? fit<-optim(..., hessian=T) hessian<-fit$hessian Çoğunlukla maksimum olabilirlik analizi bağlamıyla ilgileniyorum, ancak yöntemin ötesine genişletilip genişletilemeyeceğini bilmek istiyorum.

22 r  maximum-likelihood 

(Doğrusal) karışık etki modelleri normal olarak birbirleriyle nasıl karşılaştırılır? Olasılık oranı testlerinin kullanılabileceğini biliyorum, ancak bir model diğerinin 'altkümesi' değilse, bu işe yaramaz mı? Modellerin tahmini df her zaman basit midir? Sabit etki sayısı + varyans bileşenlerinin sayısı tahmin edildi mi? Rastgele etki tahminlerini görmezden mi geliyoruz? Peki ya doğrulama? …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

Çift mevsimsel bileşenler içeren bir zaman serisine sahibim ve diziyi aşağıdaki zaman serisi bileşenlerine (trend, mevsimsel bileşen 1, mevsimsel bileşen 2 ve düzensiz bileşen) ayrıştırmak istiyorum. Bildiğim kadarıyla, R'deki bir dizinin ayrıştırılması için STL prosedürü yalnızca bir mevsimsel bileşene izin veriyor, bu yüzden diziyi iki kez ayrıştırmaya çalıştım. İlk olarak, …

22 r  time-series  forecasting  decomposition  multiple-seasonalities 

Anladığım kadarıyla, güç analizi yapmak için önerilen çalışmamın en az üç özelliğini (dördünden) bilmem gerekiyor, yani: test türü - Pearson'un r ve ANCOVA / Regression - GLM'i kullanmayı düşünüyorum anlamlılık düzeyi (alfa) - 0.05 kullanmayı düşünüyorum Beklenen etki büyüklüğü - Orta büyüklükte bir etki kullanmaya niyetliyim (0.5) örnek boyut Herhangi …

22 power-analysis 

Diyelim ki, aşağıdaki verileri var: 8232302 684531 116857 89724 82267 75988 63871 23718 1696 436 439 248 235 Bunu (ve diğer bazı veri kümelerini) bir Pareto dağıtımına sığdırmanın basit bir yolunu istiyorum. İdeal olarak, eşleşen teorik değerleri, daha az ideal olarak parametreleri çıkarır.

22 r  pareto-distribution 

Öncelikle, istatistikçi değilim. Ancak doktora için istatistiksel ağ analizi yapıyorum. Ağ analizinin bir parçası olarak, ağ derecelerinin Tamamlayıcı Birikimli Dağılım Fonksiyonunu (CCDF) çizdim. Bulduğum şey, geleneksel ağ dağıtımlarından farklı olarak (örneğin WWW), dağıtımın en iyi şekilde lognormal bir dağılıma uymasıydı. Ben bunu bir güç yasasına uymaya çalıştım ve Clauset ve …

22 curve-fitting  networks  lognormal  power-law 

Çeşitli modeller veya eklenecek özelliklerin arasında seçim yapmaya çalışırken, iki yaklaşım düşünebileceğimi tahmin ediyorum. Verileri eğitim ve test setlerine ayırın. Daha da iyisi, önyükleme ya da k-kat çapraz doğrulama kullanın. Her seferinde egzersiz setini eğitin ve test setindeki hatayı hesaplayın. Plot test hatası - parametre sayısı. Genellikle, böyle bir şey …

22 bayesian  model-selection  cross-validation  feature-selection 

Regresyon modelini kullanarak bir zaman serisi verisini (kopyalar olmadan) sığdırmaya çalışıyordum. Veri aşağıdaki gibi görünüyor: > xx.2 value time treat 1 8.788269 1 0 2 7.964719 6 0 3 8.204051 12 0 4 9.041368 24 0 5 8.181555 48 0 6 8.041419 96 0 7 7.992336 144 0 8 7.948658 …

22 r  regression  statistical-significance  anova  p-value 

Topluluk öğreniminde zayıf öğrenicilerle ilgili yakından ilgili birkaç sorum var (örneğin artırma). Bu aptalca gelebilir, ancak güçlü öğrencilerin aksine zayıf kullanmanın yararları nelerdir? (örneğin, neden "güçlü" öğrenme yöntemlerini desteklemiyorsunuz?) Zayıf öğrenciler için bir çeşit "optimal" güç var mı (örneğin, diğer tüm topluluk parametrelerini sabit tutarken)? Güçlerine gelince "tatlı bir nokta" …

22 machine-learning  boosting  ensemble 

Kimse destek vektör regresyonu kullanarak zaman serisi tahmini yapmaya çalıştı mı? Destek vektör makinelerini anlıyorum ve destek vektör regresyonunu kısmen anlıyorum, fakat zaman serilerini, özellikle de çok değişkenli zaman serilerini modellemek için nasıl kullanılabileceğini anlamıyorum. Birkaç makale okumaya çalıştım, ancak çok üst seviyede. Herkes, özellikle çok değişkenli zaman serileriyle ilgili …

22 time-series  machine-learning  svm 

Ağır kuyruk = şişman kuyruk düşündüm, ama okuduğum bazı makaleler bana olmadıklarını hissettirdi. Bunlardan biri diyor ki: ağır kuyruk, bazı j tamsayıları için dağılımın sonsuz anı olduğunu gösterir. Ek olarak, bir Pareto df'nin çekicilik alanı içindeki tüm dfs'ler ağır kuyrukludur. Yoğunluğun merkezi tepe noktası yüksek ve uzun kuyrukları varsa, kurtoz …

22 distributions 

Bağlam: Bu süre zarfında, iki sayısal değişken arasındaki ilişkiyi etkin bir şekilde çizme konusunda bir dizi sezgisel tarama elde ettim. Verilerle çalışan çoğu insanın da benzer kurallara sahip olacağını hayal ediyorum. Bu tür kurallara örnekler: Değişkenlerden biri pozitif olarak çarpıksa, bu ekseni bir günlük ölçeğinde çizmeyi düşünün. Çok fazla veri …

22 data-visualization  correlation  teaching  rule-of-thumb  scatterplot 

Rasgele değişkenlerle ilgili bir sorum var. İki rastgele ve Y değişkenimiz olduğunu varsayalım . Diyelim ki X, Poisson parametresi ile dağıtılır λ 1 ve Y'nin Poisson parametresi ile dağıtılan bir λ 2 .XXXYYYXXXλ1λ1\lambda_1YYYλ2λ2\lambda_2 Kırılması buna rasgele bir değişken Z dediğinizde, bu nasıl dağılır ve ortalama nedir? Öyle mi  1 …

22 random-variable  poisson-distribution 

Diyelim ki aşağıdaki modelim var yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i buradaki , , açıklayıcı değişkenlerin bir vektörüdür, , doğrusal olmayan fonksiyonunun ve nın parametreleridir , burada doğal olarak matrisi.yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK× KK×KK\times K Amaç ve tahmin etmek her zamanki gibidir . Belirgin seçim maksimum olabilirlik yöntemidir. Bu model için log olabilirliği (bir örneğimiz olduğunu …

22 maximum-likelihood  optimization  covariance