İstatistikler ve Büyük Veri

Aşağıdaki karma teklif, karma etki modellemesi alanındaki liderlerden, rastgele etkiler ('ZCP' modelleri) arasındaki sıfır korelasyonlu modellerde koordinatın kaymasının model tahminlerini değiştirdiğini iddia ediyor. Ancak, birileri iddialarını detaylandırabilir veya daha fazla haklı gösterebilir mi? Söz konusu ifadeler Bates ve arkadaşlarının 2015 lme4, lme4 Kullanarak Doğrusal Karışık Etki Modellerini Takma , 7. …

25 r  mixed-model  lme4-nlme 

Değişken önem sıralaması söz konusu olduğunda (her çeşit çok değişkenli modeller bağlamında) bir nihilist oldum . Genelde, çalışmalarım sırasında, başka bir ekibin değişken öneme sahip bir sıralama yapmasına ya da kendi işimden değişen bir öneme sahip bir grup oluşturmasına yardımcı olmam isteniyor. Bu taleplere cevap olarak aşağıdaki soruları soruyorum Bu …

25 multiple-regression  multivariate-analysis  importance 

Projemde derin öğrenme kullanmak istiyorum. Birkaç kağıt okudum ve bana bir soru geldi: evrişim sinir ağı ile derin öğrenme arasında bir fark var mı? Bunlar aynı mı, yoksa büyük farkları var mı ve hangisi daha iyi?

25 machine-learning  neural-networks  deep-learning  terminology  conv-neural-network 

yNormal bir tahminciden sayım verilerini öngören bir engel modeli göz önünde bulundurun x: set.seed(1839) # simulate poisson with many zeros x <- rnorm(100) e <- rnorm(100) y <- rpois(100, exp(-1.5 + x + e)) # how many zeroes? table(y == 0) FALSE TRUE 31 69 Bu durumda, 69 sıfır ve …

25 r  count-data  zero-inflation 

Bir lognormal dağılımın örneklemesini ve örneklemesini ve anları anlarını iki yöntemle tahmin etmeye çalışan bazı sayısal deneyler yapıyorum :X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E[Xn]E[Xn]\mathbb{E}[X^n] örnek ortalamasına bakmakXnXnX^n Tahmin ve için örnek bir yöntem kullanarak , ve daha sonra bir lognormal dağılım için, var olduğu gerçeğini kullanarak .μμ\muσ2σ2\sigma^2log(X),log2(X)log⁡(X),log2⁡(X)\log(X), \log^2(X)E[Xn]=exp(nμ+(nσ)2/2)E[Xn]=exp⁡(nμ+(nσ)2/2)\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2) Soru şudur …

25 estimation  bias  lognormal  moments 

İnsanlar sık ​​sık bazı olayların% 50-60 yaşanma şansı olduğunu söylüyor. Bazen insanların olasılık atamalarında açık hata çubukları verdiğini bile görüyorum. Bu ifadelerin herhangi bir anlamı var mı ya da sadece doğası gereği bilinmeyen bir şey için belirli bir sayı seçerken dilbilimsel bir rahatsızlık duygusu mu var?

25 probability  error 

Son zamanlarda büyük veri kümeleriyle çalışıyorum ve çok sayıda akış yöntemi buldum. Birkaç isim: Düzenli Lider ve Ayna İnişini Takip Etme: Eşdeğerlik Teoremleri ve L1 Düzenlemesi ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Akışlı Öğrenme: Bir Geçişli SVM'ler ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: SVM için Primal Tahmini Alt GrAdient SOlver http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf veya burada: SVM her …

25 machine-learning  references  large-data  online 

Jaynes'in "Olasılık Teorisi: Bilim Mantığı" kitabında , , bu örneklemesinde yardımcı olduğu dağılımları fikrini tanıttığı " ApApA_p dağılımı ve ardışık kuralı " başlıklı bir bölümü (Ch 18) vardır :ApApA_p [...] Bunu görmek için yeni bilgi almanın etkisini düşünün. Madeni parayı beş kez attığımızı ve her seferinde kuyrukların geldiğini varsayalım. Bir …

25 probability  bayesian  beta-distribution 

Özgeçmiş tüm zamanların klasiklerini okuyarak netleştirmek istediğim bir ifadeyle karşılaştım. Bu yazı ve sorum şu kapanış sözlerine atıfta bulunuyor: "Yeni verdiğim bilgilerin tamamının biraz eski olduğunu not etmek zorundayım; şimdi bilgisayarlarımız olduğu için t testlerinden daha iyisini yapabiliriz. Frank'in dediği gibi Muhtemelen Wilcoxon testlerini bir t testi yaptırmanız öğretilen her …

25 hypothesis-testing  t-test  permutation-test  wilcoxon-mann-whitney 

Maksimum olabilirlik tahmini genellikle taraflı tahmin edicilere yol açar (örneğin, örnek varyans için olan tahmin Gauss dağılımı için önyargılıdır). Sonra ne bu kadar popüler kılan? Tam olarak neden bu kadar çok kullanılıyor? Ayrıca, onu alternatif yaklaşımdan daha iyi yapan şey nedir? Ayrıca, Gaussian için MLE tahmincisinin basit bir ölçeklemesinin onu …

25 normal-distribution  maximum-likelihood  method-of-moments 

Şu anda zor sayım verileri için doğru modeli bulmakta zorlanıyorum (bağımlı değişken). Gaussian ya da negatif binomial gibi çeşitli aileleri olan genelleştirilmiş lineer karışık efekt modellerinin yanı sıra lmerve lme4(log kaydı ile ) gibi çeşitli farklı modelleri (veri çeşitlerim için karma efekt modelleri gerekli) denedim . Ancak, ortaya çıkan uyumun …

25 generalized-linear-model  residuals  negative-binomial  count-data  glmm 

Fizik ve matematik topluluklarının ArXiv’de olduğunu biliyorum, peki ya istatistik toplulukları? Gönderilmeden önce oraya postalamak geleneksel mi?

25 references  academia 

Belirli değişkenlerin (~ 15) değerlerinin zaman içinde nasıl değiştiğini göstermek isterim, ancak değişkenlerin her yıl içinde birbirlerinden nasıl farklılaştığını da göstermek isterim. Böylece bu arsa oluşturdum: Fakat renk şemasını değiştirirken veya farklı çizgi / şekil türleri eklerken bile, bu karışık görünmektedir. Bu tür verileri görselleştirmenin daha iyi bir yolu var …

25 r  data-visualization 

Bazı konferanslar ve öğreticiler eğitim, doğrulama ve test: Gördüğüm, bunlar üç bölüme verilerinizi bölmek düşündürmektedir. Ancak test veri setinin nasıl kullanılması gerektiği ve bu yaklaşımın tüm veri setindeki çapraz doğrulamadan nasıl daha iyi olduğu açık değildir. Diyelim ki verilerimizin% 20'sini bir test seti olarak kaydettik. Sonra gerisini alırız, onu katlara …

25 machine-learning  cross-validation  validation 

lmerTestPaketi sağlar anova()serbestlik (DF) derecelerinin, isteğe bağlı olarak en Satterthwaite (öntanımlı) veya-Kenward Roger yaklaşımı ile karışık doğrusal modeller için fonksiyon. Bu iki yaklaşım arasındaki fark nedir? Hangisini seçmeli?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom