İstatistikler ve Büyük Veri

İki farklı popülasyondan örneklemlerim olduğunu varsayalım. Her üyenin bir görev yapmasının ne kadar sürdüğünü ölçersem, her nüfusun ortalamasını ve varyansını kolayca tahmin edebilirim. Şimdi her bir popülasyondan bir kişi ile rastgele bir eşleşme varsayarsam, birincinin ikincisinden daha hızlı olma olasılığını tahmin edebilir miyim? Aklımda somut bir örnek var: ölçümler, A'dan …

15 probability  normal-distribution 

Nasıl ikili zaman serisi oluşturabilirim ki: Ortalama gözlemleme olasılığı 1 belirtilir (örneğin% 5); T - 1'de verilen değer göz önüne alındığında, zamanında 1 gözlemin koşullu olasılığı ( t - 1 değeri 1 ise% 30 diyelim )?tttt−1t−1t-1t−1t−1t-1

15 time-series  random-variable  simulation  random-generation 

İleti geçirme yönteminin ne olduğu hakkında belirsiz bir fikrim var: tüm diğer faktörlerin tüm yaklaşımlarına bağlı olarak, dağıtım faktörlerinin her birinin yinelemeli yaklaşımlarını yineleyerek bir dağılıma yaklaşım oluşturan bir algoritma. Her ikisinin de Varyasyonel Mesaj Geçişi ve Beklenti Yayılımı örnekleri olduğuna inanıyorum . Mesaj geçirme algoritması daha açık / doğru …

15 distributions  bayesian  references  algorithms 

Diyelim ki ANOVA yapmak istediğim basit bir 2x2 faktöriyel deneyim var. Bunun gibi, örneğin: d <- data.frame(a=factor(sample(c('a1','a2'), 100, rep=T)), b=factor(sample(c('b1','b2'), 100, rep=T))); d$y <- as.numeric(d$a)*rnorm(100, mean=.75, sd=1) + as.numeric(d$b)*rnorm(100, mean=1.2, sd=1) + as.numeric(d$a)*as.numeric(d$b)*rnorm(100, mean=.5, sd=1) + rnorm(100); Önemli bir etkileşim olmaması, varsayılan olarak (yani içinde contr.treatmentbir) çıkışının Anova()genel önemi olan …

15 r  anova  contrasts 

Çekirdek yoğunluk tahminleri yapmak için R'de ' yoğunluk ' işlevini kullanmaya çalışıyorum . Sonuçları yorumlamakta ve çeşitli veri kümelerini eğri altındaki alanın mutlaka olması gerekmediği gibi karşılaştırmakta zorluk çekiyorum. Herhangi bir olasılık yoğunluk fonksiyonu (pdf) , ∫ ∞ - ∞ ϕ ( x ) d x = 1 . Çekirdek …

15 r  estimation  pdf  kernel-smoothing  auc 

Son zamanlarda itibarın upvotes üzerindeki etkilerini analiz ettim ( blog yazısına bakın ) ve daha sonra muhtemelen daha aydınlatıcı (veya daha uygun) analiz ve grafikler hakkında birkaç sorum vardı. Bu yüzden birkaç soru (ve özellikle herhangi birine cevap vermekten ve diğerlerini görmezden gelmekten çekinmeyin): Enkarnasyondaki akımında, posta numarasını ortalamak istemedim. …

15 data-visualization  large-data  fixed-effects-model 

Verileri karekök ile dönüştürmek için ne düşünebileceğimin bir nedeni var mı? Her zaman gözlemlediğim şey, R ^ 2'nin artmasıdır. Ancak bunun nedeni büyük olasılıkla verileri ortalamaktır! Herhangi bir düşünce takdir!

15 regression  data-transformation  variance-stabilizing 

Mikrodizilerin kullanıldığı gen ekspresyon çalışmalarında, yoğunluk verilerinin normalleştirilmesi gerekir, böylece şiddetler bireyler arasında, genler arasında karşılaştırılabilir. Kavramsal ve algoritmik olarak, "kantil normalleşme" nasıl çalışır ve bunu istatistikçi olmayan bir kişiye nasıl açıklarsınız?

15 genetics  normalization  microarray 

Matematiksel olarak bir dağılımın özelliklerini (bilgisayar simülasyonları yoluyla) öğrenmenin artıları ve eksileri nelerdir? Bilgisayar simülasyonları, özellikle matematikte güçlü hissetmeyen yeni öğrenciler için alternatif bir öğrenme yöntemi olabilir gibi görünüyor. Ayrıca kodlama simülasyonlarının, dağıtım kavramının daha erken ve daha sezgisel bir kavrayışını sunabileceği görülmektedir.

15 distributions  algorithms  teaching 

Gama dağılımını Γ(b,c)Γ(b,c)\Gamma(b,c) pdf g ( x ; b , c ) = 1 ile parametreleştirmeyi seçmeull(bq,cq)veΓ(bp,cp) arasındaki Kullback-Leibler sapması[1]g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Bunu tahmin ediyorum olan …

15 kullback-leibler  gamma-distribution  exponential-family 

Bu bir tür açık uçlu bir soru ama net olmak istiyorum. Yeterli bir popülasyon göz önüne alındığında, bir şeyler öğrenebilirsiniz (bu açık kısımdır), ancak popülasyonunuz hakkında ne öğrenirseniz edin, nüfusun bir üyesi için ne zaman uygulanabilir? İstatistiklerden anladığım kadarıyla, hiçbir zaman bir popülasyonun tek bir üyesi için geçerli değildir, ancak …

15 teaching  validity 

Hervé Abdi'nin genel SVD hakkındaki makalesine rastladım . Yazar şunları söyledi: Genelleştirilmiş SVD (GSVD) dikdörtgen bir matrisi ayrıştırır ve matrisin satırlarına ve sütunlarına uygulanan kısıtlamaları dikkate alır. GSVD, belirli bir matrisin daha düşük dereceli bir matrisle ağırlıklı genelleştirilmiş en küçük karesel tahminini verir ve bu nedenle, yeterli kısıtlama seçimi ile …

15 multivariate-analysis  svd 

Karışık efekt modellerine (MEM) oldukça aşinayım, ancak bir meslektaşım kısa bir süre önce gizli büyüme modelleri (LGM) ile nasıl karşılaştırıldığını sordu. Biraz googling yaptım ve LGM'nin, en az bir rastgele etkinin her düzeyinde tekrarlanan önlemlerin alındığı koşullara uygulanan, böylece Zamanı modelde sabit bir etki yapan yapısal denklem modellemesinin bir varyantı …

15 mixed-model  panel-data 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 2 yıl önce kapalı . Birisi aşağıdaki matrisin 'nin özdeğerlerinden ve özvektörlerinden bir elips çizmek için R kodu ile gelebilir mi?A = ( 2,20.40.42.8)bir=(2.20.40.42.8) \mathbf{A} …

15 r  multivariate-analysis  matrix  matrix-decomposition 

Durum uzayı yöntemleri ile zaman serisi veri analizi yapıyorum. Verilerimle, stokastik yerel seviye modeli deterministik modelden tamamen daha iyi performans gösterdi. Ancak deterministik seviye ve eğim modeli stokastik seviye ve stokastik / deterministik eğimden daha iyi sonuç verir. Bu normal bir şey mi? R'deki tüm yöntemler başlangıç ​​değerleri gerektirir ve …

15 time-series  state-space-models