İstatistikler ve Büyük Veri

Geçen ay SE'ye gönderdiğim soruların çoğu, bu sorunu çözmeme yardımcı olma hedefindeydi. Tüm sorular cevaplandı, ama yine de bir çözüm bulamıyorum. Bu yüzden, doğrudan çözmeye çalıştığım soruyu sormam gerektiğini düşündüm. Let , , , (tam sayı) ve her üzerinde ED olan .Xn~FnXn∼FnX_n \sim F_nFn= ( 1 - ( 1 -Fn …

10 distributions  mathematical-statistics  probability  function 

Doğru standart hataları ve testleri almak için lm () tabanlı modelimi güncellemeye çalışıyorum. Hangi VC matrisini kullanacağım gerçekten kafam karıştı. sandwichPaket teklifler vcovHC, vcovHACve NeweyWest. İlki sadece heteroskedastisiteyi açıklarken, son ikisi seri korelasyon ve heteroskedastisiteyi açıklar. Ancak, belgeler son ikisi arasındaki fark hakkında çok fazla bilgi vermiyor (en azından anlamıyorum). …

10 regression  time-series  neweywest 

S: Yivleri yumuşatmak yerine durum uzayı modellemesi ve Kalman filtrelemesi kullanmak hangi veriler için uygundur? İkisi arasında bir denklik ilişkisi var mı? Bu yöntemlerin birbirine nasıl uyduğuna dair üst düzey bir anlayış edinmeye çalışıyorum. Johnstone'un yeni Gauss Tahmini: Dizi ve Çoklu Çözünürlük Modelleri'ne göz attım . Durum-uzay modelleri ve Kalman …

10 kalman-filter  splines  state-space-models 

R faktörleri tam olarak nasıl çalıştığını anlamaya çalışıyorum Diyelim ki bazı örnek verileri R kullanarak bir regresyon çalıştırmak istiyorum: > data(CO2) > colnames(CO2) [1] "Plant" "Type" "Treatment" "conc" "uptake" > levels(CO2$Type) [1] "Quebec" "Mississippi" > levels(CO2$Treatment) [1] "nonchilled" "chilled" > lm(uptake ~ Type + Treatment, data = CO2) Call: lm(formula …

10 r  regression  interaction 

İki vektörün korelasyonunun verilen bir sayıya eşit olduğu hipotezini test etmek için bir fonksiyon var mı, örneğin 0.75? Cor.test kullanarak cor = 0'ı test edebilirim ve 0.75'in güven aralığında olup olmadığını görebilirim. Fakat cor = 0.75 için p-değerini hesaplamak için bir fonksiyon var mı? x <- rnorm(10) y <- x+rnorm(10) …

10 r  correlation 

Gelen bu soruya onlar (örneğin kadın vs erkek olarak) iki bağımsız gruplar için Pearson r karşılaştırmak nasıl sorun. Yanıt ve yorumlar iki yol önerdi: R "z-dönüşümü" kullanarak Fisher iyi bilinen formülü kullanın; Eğimlerin karşılaştırmasını kullanın (regresyon katsayıları). İkincisi, sadece doymuş bir doğrusal model ile kolayca gerçekleştirilebilir: Y= a + b …

10 regression  correlation  hypothesis-testing 

Herkes ayrıntılı olarak açıklayabilir mi: Reddetme çıkarımının anlamı nedir? Modelimin doğruluğunu artırmak için nasıl kullanılabilir? Kredi kartı uygulamasında çıkarım yapmayı reddetme fikrim var ama modelimin doğruluğunu artırmak için kullanma düşüncesi ile mücadele ediyorum.

10 logistic 

Veri madenciliğini öğrenmek istiyorum. Veri madenciliği sürecini derinlemesine açıklayan ücretsiz video dersleri var mı?

10 references  data-mining 

5 kat çapraz doğrulama gerçekleştirirken (örneğin), 5 katın her biri için ayrı bir ROC eğrisi ve genellikle std ile ortalama bir ROC eğrisinin çarpımı tipiktir. dev. eğri kalınlığı olarak gösterilmiştir. Bununla birlikte, her katta sadece tek bir test veri noktasının bulunduğu LOO çapraz doğrulaması için, bu tek veri noktası için …

10 cross-validation  roc 

10 yıl önce bir teorik istatistik dersi aldığımda, Dudewicz ve Mishra'nın Modern Matematik İstatistiklerini kullandık . Kendimi şimdi kitaba atıfta bulunarak buluyorum ve bazı kod örnekleri bir IBM 370 için montajda olduğunu hatırlattı. Antika olsa da, ben yardım edemem ama bu biraz tarihli hissediyorum. Daha eski vintagelardan hangi yüksek kaliteli …

10 references 

Bir ofset kullanıp kullanmama konusunda bir sorum var. Hokeydeki (toplam) gol sayısını tanımlamak istediğiniz çok kolay bir model olduğunu varsayalım. Yani hedefleriniz, oynanan oyunların sayısı ve oyuncu bir forvet ise 1'e eşit olan bir kukla değişken "forvet" var, aksi takdirde 0. Peki, aşağıdaki modellerden hangileri doğru bir şekilde belirtildi? goals …

10 r  regression  poisson-distribution  generalized-linear-model  count-data 

Bunu tanımlamak benim için oldukça zor, ama problemimi anlaşılır yapmaya çalışacağım. Bu yüzden önce şunu bilmelisiniz ki şu ana kadar çok basit bir doğrusal regresyon yaptım. Katsayıyı tahmin etmeden önce, dağılımını izledim . Ağır eğri kaldı. Modeli tahmin ettikten sonra, QQ-Parselinde sol eğimli bir kalıntıyı wel olarak gözlemlediğimden emindim, ama …

10 regression  residuals  skewness 

Arka fon İki blokun her birinde dört tedavi seviyesi ve altı replikat bulunan bir saha çalışmasından elde edilen verilerim var. (4x6x2 = 48 gözlem) Bloklar yaklaşık 1 mil uzaklıktadır ve bloklar içinde 42, 2m x 4m araziler ve 1m genişliğinde bir geçit vardır; çalışmam her blokta sadece 24 parsel kullandı. …

10 r  spatial  linear-model  covariance 

Güçlü tahmin ediciler söz konusu olduğunda, Gauss verimliliği ne demektir? ÖrneğinSnSnQ_{_n} % 82 Gauss verimliliği ve% 50 arıza noktasına sahiptir. Referans: Rousseeuw PJ ve Croux, C. (1993). “Ortanca mutlak sapmaya alternatifler.” J. American Statistical Assoc., 88, 1273-1283

10 normal-distribution  scales  robust 

Genom çapında ilişki çalışmalarından iki veri setim var. Mevcut tek bilgi ilk veri seti için olasılık oranı ve p değeridir. İkinci veri seti için, Oran Oranı, p değeri ve alel frekansları (AFD = hastalık, AFC = kontroller) var (örn: 0.321). Bu verilerin bir meta-analiz yapmaya çalışıyorum ama bunu gerçekleştirmek için …

10 meta-analysis  genetics