İstatistikler ve Büyük Veri

Aşağıdaki kod, iki zaman serisi arasındaki benzerliği değerlendirir: set.seed(10) RandData <- rnorm(8760*2) America <- rep(c('NewYork','Miami'),each=8760) Date = seq(from=as.POSIXct("1991-01-01 00:00"), to=as.POSIXct("1991-12-31 23:00"), length=8760) DatNew <- data.frame(Loc = America, Doy = as.numeric(format(Date,format = "%j")), Tod = as.numeric(format(Date,format = "%H")), Temp = RandData, DecTime = rep(seq(1, length(RandData)/2) / (length(RandData)/2), 2)) require(mgcv) mod1 <- …

24 r  time-series  data-visualization  gam 

Matematiksel istatistik ile istatistik arasındaki fark nedir? Okuduğum ettik bu : İstatistik, verilerin toplanması, organizasyonu, analizi ve yorumlanması çalışmasıdır. Anketlerin ve deneylerin tasarımı açısından veri toplama planlaması dahil, bunun tüm yönleriyle ilgilenir. Ve bu : Matematiksel istatistik, olasılık teorisi ve doğrusal cebir ve analiz gibi diğer matematik dallarını kullanarak, matematiksel …

24 mathematical-statistics  terminology 

İki değişkenim var: Uyuşturucu Adı (DN) ve çoktan çoğa ilişkide olan karşılık gelen Advers Olaylar (AE). 33.556 ilaç ismi ve 9.516 advers olay var. Örneklem büyüklüğü yaklaşık 5.8 milyon gözlemdir. DN ile AE arasındaki ilişkiyi / ilişkiyi incelemek ve anlamak istiyorum. Resimlere bakmak daha iyi olduğundan, bu seti R'de görselleştirmenin …

24 r  categorical-data  data-visualization  large-data  association-measure 

K-fold cross-validation'ın tanıtıldığı makaleye bir referans arıyorum (sadece konu için iyi bir akademik referans değil). Belki de ilk makaleyi açıkça tanımlamak için zamanın çok gerisindedir, bu nedenle fikrin kullanıldığı herhangi bir erken makale ilgi çekici olurdu. Bildiğim en erken PA Lachenbruch ve MR Mickey, “Diskriminant analizinde hata oranlarının tahmini”, Technometrics, …

24 cross-validation  references 

Bu yüzden, L1 (yani, kement) ve L2 (yani sırt regresyonunun) merkezi önlemlerinin tahmin edildiği bir soru soruldu. Cevap, L1 = medyan ve L2 = ortalamadır. Bunun için herhangi bir sezgisel akıl yürütme var mı? Yoksa cebirsel olarak mı tespit edilmesi gerekiyor? Eğer öyleyse, bunu nasıl yapacağım?

24 lasso  regularization  loss-functions  ridge-regression 

Tam olarak aynı büyüklükteki iki zaman serisi arasındaki korelasyonu hesaplamanın en kolay yolu / yöntemi nedir? ve ( y [ t ] - μ y ) ile çarpmayı ve çarpmayı eklemeyi düşündüm . Yani eğer bu tek sayı pozitifse, bu iki dizinin birbiriyle korele olduğunu söyleyebilir miyiz? Ancak bazı örnekler …

24 time-series 

Aşağıdaki biyolojik deneylere sahip bir makaleyi gözden geçiriyorum. Hücreleri değişen miktarlarda sıvı kayma stresine maruz bırakmak için bir cihaz kullanılır. Hücrelere daha büyük kayma gerilimi uygulandıkça, bunların çoğu substrattan ayrılmaya başlar. Kayma gerilmesinin her seviyesinde, bağlı kalan hücreleri sayarlar ve başlangıçta eklenmiş olan toplam hücre sayısını bildikleri için, kesirli bir …

24 r  logistic  multinomial 

Birçok klinik çalışma rastgele olmayan örneklere dayanmaktadır. Bununla birlikte, çoğu standart test (örneğin, t testleri, ANOVA, doğrusal regresyon, lojistik regresyon), numunelerin "rasgele sayılar" içerdiği varsayımına dayanmaktadır. Bu rastgele olmayan örnekler standart testlerle analiz edildiyse sonuçlar geçerli midir? Teşekkür ederim.

24 sampling  randomness 

Şu anda, çıktısının girdisiyle nasıl ilişkili olduğunu anlamak için, hepimizin yaptığı gibi, temelde ihtiyacım olan bir . Buradaki özellik, verilerin bana her seferinde bir parça verilmiş olması, böylece her yeni aldığımda analizimi güncellemek istiyorum . Gerekli olan tüm verilere sahip olduğunuz ve tüm verilerinizi aynı anda kullanarak hesaplamalarınızı yaptığınız "toplu …

24 modeling  model-selection 

Ben iki örneğin (ortancasını karşılaştırmak için bir ranksum testi kullanıyorum ) ve birlikte önemli ölçüde farklı olduğunu bulduk: . Ben böyle küçük şüpheli olmalı -değeri ya da ben çok büyük bir örnek olması ile ilişkili yüksek istatistiksel güce mi vermeliyiz? Şüpheli düşük diye bir şey var mıdır -değeri?n = 120000n=120000n=120000p …

24 hypothesis-testing  p-value  sample-size  power 

ANOVA ezpaketini kullanarak lmetekrarlanan önlemlere geçmeye çalışıyorum (umarım ile özel kontrastları kullanabileceğimi umuyorum lme). Bu blog yazısından gelen tavsiyelerin ardından, aynı modeli hem aov( ezistendiğinde olduğu gibi) hem de kullanarak aynı modeli kurmayı başardım lme. Ancak, oysa verilen örnekte söz konusu yayında F -değerleri mükemmel arasına katılıyorum aovve lme(bunu kontrol …

24 r  anova  mixed-model  repeated-measures  lme4-nlme 

Regresyon ve lineer diskriminant analizi (LDA) arasında bir ilişki var mı? Benzerlikleri ve farklılıkları nelerdir? İki sınıf veya ikiden fazla sınıf olması herhangi bir fark yaratır mı?

24 regression  logistic  discriminant-analysis  canonical-correlation  reduced-rank-regression 

New York Times, New York City eğitimcilerine geri bildirim vermek için kullanılan 'katma değerli' öğretmen değerlendirme sistemi hakkında uzun bir yorum yaptı. Lede skorları hesaplamak için kullanılan bir denklemdir - bağlamsız olarak sunulur. Retorik stratejinin matematik yoluyla korkutucu göründüğü görülüyor: Makalenin tam metni şu adreste bulunabilir: http://www.nytimes.com/2011/03/07/education/07winerip.html Yazar, Michael Winerip, …

24 regression  multilevel-analysis  statistics-in-media 

ABD’deki bir devlet için intihar ölümleriyle ilgili 17 yıl (1995 - 2011) ölüm belgesi verim var. Orada, intiharlar, aylar / mevsimler, çoğu çelişkili ve literatür hakkında birçok mitoloji var. incelendiğimde, kullanılan yöntemlerden net bir anlam alamıyorum ya da sonuçlara güven duymuyorum. Bu yüzden, veri setim dahilinde herhangi bir ayda intiharların …

24 r  chi-squared  arima  count-data  seasonality 

Not: Teknik nedenlerden dolayı kendi başlarına gönderemediğim eski bir öğrenciden bir soru gönderiyorum. Bir örnek verilmişse, , pdf ile bir Weibull dağılımından için faydalı bir değişken gösterimi ve dolayısıyla basit kullanım yerine MLE'sini bulmak için kullanılabilecek bir ilişkili EM (beklenti-maksimizasyon) algoritması sayısal optimizasyon?f k ( x ) = k x …

24 optimization  missing-data  expectation-maximization  weibull  gumbel