İstatistikler ve Büyük Veri

Bunu çok temel, asgari ihtiyaçlar açısından düşünüyorum. Bir endüstri (akademik olmayan) istatistikçinin düzenli olarak bilmesi, anlaması ve kullanması gereken temel teoriler nelerdir? Akla gelen büyük bir büyük sayılar yasasıdır . İstatistiksel teoriyi veri analizine uygulamak için en gerekli olan nedir?

30 theory  careers  law-of-large-numbers 

Genelleştirilmiş katkı modelleri, örneğin . fonksiyonlar düzgündür ve tahmin edilir. Genellikle penaltılaşmış spline'lar. MGCV bunu yapan bir R paketidir ve yazar (Simon Wood) paketi hakkında R örnekleri ile bir kitap yazar. Ruppert ve ark. (2003) aynı şeyin basit versiyonları hakkında çok daha erişilebilir bir kitap yazmaktadır. y=α+f1(x1)+f2(x2)+eiy=α+f1(x1)+f2(x2)+ei y = \alpha …

30 r  nonparametric  interaction  splines  intuition 

Birkaç belirleyiciye sahip olduğum (biri en bilgilendirici olan) bir sınıflandırma görevim var ve sınıflandırıcımı oluşturmak için MARS modelini kullanıyorum (herhangi bir basit modelle ilgileniyorum ve açıklama amacıyla glms kullanmak çok iyi). Şimdi eğitim verilerinde çok büyük bir sınıf dengesizliği var (her pozitif örnek için yaklaşık 2700 negatif örnek). Bilgi Edinme …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Bir istatistiğin örneklerden elde edebileceğiniz bir nitelik olduğunu öğrendim. Aynı büyüklükte birçok örnek alarak, bu özniteliği hepsi için hesaplayarak ve pdf'yi çizerek, ilgili özniteliğin dağılımını veya ilgili istatistiklerin dağılımını elde ettik. İstatistiğin tahmin ediciler için yapıldığını da duydum, bu iki kavram nasıl farklılık gösteriyor?

30 terminology  estimators  definition 

Olasılık, birkaç yolla tanımlanabilir, örneğin: fonksiyon den haritalar için örneğin, .LLLΘ×XΘ×X\Theta\times{\cal X}(θ,x)(θ,x)(\theta,x)L(θ∣x)L(θ∣x)L(\theta \mid x)L:Θ×X→RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} rastgele işlevL(⋅∣X)L(⋅∣X)L(\cdot \mid X) Olasılığın sadece "gözlenen" olasılık olduğunu düşünebilirizL(⋅∣xobs)L(⋅∣xobs)L(\cdot \mid x^{\text{obs}}) Uygulamada olabilirlik hakkında bilgi getiriyor sadece çarpımsal sabite kadar, dolayısıyla biz fonksiyonların bir denklik sınıfına ziyade bir fonksiyonu olarak olasılığını düşünebilirizθθ\theta …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

Zaman içinde, kullanıcıların (bu durumda, "beğenmeler") eylemlerinin sayısını grafik çizmeye çalışıyorum. Dolayısıyla, y eksenim olarak "işlem sayısı" var, x eksenim zaman (hafta) ve her satır bir kullanıcıyı temsil ediyor. Benim sorunum bu verilere yaklaşık 100 kullanıcı grubu için bakmak istiyorum. Bir çizgi grafiği hızla 100 çizgi ile karışık bir karışıklık …

30 r  data-visualization 

Birçok kümenin kesişme örtüşmesini göstermek için iyi bir görselleştirme modeli var mı? Venn diyagramları gibi bir şey düşünüyorum ama bu bir şekilde 10 veya daha fazla gibi daha büyük setlere kendini daha iyi borç verebilir. Wikipedia bazı daha yüksek Venn şemalarını gösteriyor ancak 4 set şeması bile içeri girecek çok …

30 data-visualization  dataset 

Bu basit bir soru, ancak cevabı bulamadım. İki ölçümüm var: t1 zamanında n1 olayları ve t2 zamanında n2 olayları, her ikisi de muhtemelen farklı lambda değerlerine sahip Poisson işlemleriyle üretilir (örneğin). Bu aslında, bu yana olduğunu iddia eden bir haber makalesinden , ancak iddianın geçerli olduğundan emin değilim. Zaman periyotlarının …

30 hypothesis-testing  poisson-distribution 

Bu güzel derse rastladım: R Kullanarak İstatistiksel Analiz El Kitabı. Bölüm 13. Temel Bileşen Analizi: PCA'nın R dilinde nasıl yapıldığına dair Olimpik Heptatlon . Şekil 13.3'ün yorumunu anlamıyorum: Bu yüzden ilk özvektöre karşı ikinci özvektöre komplo yapıyorum. Bu ne anlama geliyor? Birinci özvektöre karşılık gelen özdeğerin, veri kümesindeki değişimin% 60'ını …

30 r  pca  data-visualization  interpretation  biplot 

Ben R kullanıyorum, ben Google'da arama öğrendik kpss.test(), PP.test()ve adf.test()zaman serilerinin durağanlık hakkında bilmek için kullanılır. Ama sonuçlarını yorumlayabilen bir istatistikçi değilim. > PP.test(x) Phillips-Perron Unit Root Test data: x Dickey-Fuller = -30.649, Truncation lag parameter = 7, p-value = 0.01 > kpss.test(b$V1) KPSS Test for Level Stationarity data: b$V1 …

30 r  time-series  stationarity  augmented-dickey-fuller  kpss-test 

R ile hız kazanmaya çalışıyorum. Sonunda metin sınıflandırma yapmak için R kütüphanelerini kullanmak istiyorum. Metin sınıflandırma söz konusu olduğunda, insanların R'nin ölçeklenebilirliği ile ilgili deneyimlerinin neler olduğunu merak ediyordum. Büyük boyutlu verilerle karşılaşmam muhtemel (~ 300k boyutları). Özellikle sınıflandırma algoritmaları olarak SVM ve Random Forest kullanmaya bakıyorum. R kütüphaneleri sorun …

30 r  machine-learning  svm  text-mining  random-forest 

Binom oranının güven aralıklarını tahmin etmek için aşağıdaki r kodunu kullandım, çünkü alıcının karakteristik eğri tasarımlarını bir popülasyondaki saptamaya bakarak tasarlarken bunun bir "güç hesaplamasının" yerini aldığını biliyorum. n, 150'dir ve hastalığın popülasyonda% 25 oranında yaygın olduğuna inanıyoruz. % 75 hassasiyet ve% 90 özgüllük için değerleri hesapladım (çünkü insanların yaptığı …

30 confidence-interval  binomial 

Shapiro-Wilk normallik testi ile Kolmogorov-Smirnov normallik testi arasındaki fark nedir? Bu iki yöntemin sonuçları ne zaman farklılık gösterecek?

30 distributions  statistical-significance  normality-assumption  kolmogorov-smirnov 

Doğru anlarsam bir parametrenin güven aralığı, belirli bir örnek oranı için gerçek değeri içeren aralıkları veren bir yöntem tarafından oluşturulan bir aralıktır. Dolayısıyla 'güven', belirli bir örneklemden hesapladığım aralıktan çok yöntemle ilgilidir. Bir istatistik kullanıcısı olarak, tüm örneklerin alanı varsayımsal olduğu için bunu hep aldattım. Sahip olduğum tek şey bir …

30 confidence-interval  interpretation 

PCA için verilerinizi merkezleme (veya anlamdan çıkarma) ne fark eder? Matematiği kolaylaştırdığını ya da ilk bilgisayarın değişkenlerin araçlarına hâkim olmasını engellediğini duydum, ancak henüz kavramı tam olarak kavrayamadığımı hissediyorum. Örneğin, buradaki en üstteki cevap Verileri merkezlemek regresyon ve PCA'daki engellemeden nasıl kurtulur? Merkezlenmenin ilk PCA'yı nokta bulutunun ana ekseni yerine …

30 r  pca  svd  eigenvalues  centering