İstatistikler ve Büyük Veri

Araştırmamda iki büyük ikilemle ilgili bazı tavsiyelere ihtiyacım var, bu da 3 büyük ilaç ve yenilik örneği. Yıllık patent sayısı bağımlı değişkendir. Sorularım İyi bir model için en önemli kriterler nelerdir? Daha fazla / daha az önemli olan nedir? Değişkenlerin çoğunun veya tamamının anlamlı olması mı? "F İSTATİSTİK" in sorunu …

19 regression  generalized-linear-model  linear-model  goodness-of-fit  poisson-regression 

Verilerimi kümelemek için K-araçlarını kullanıyorum ve "en uygun" küme numarasını önermek için bir yol arıyordum. Boşluk istatistikleri, iyi bir küme numarası bulmanın yaygın bir yolu gibi görünmektedir. Herhangi bir nedenle 1'i optimum küme numarası olarak döndürür, ancak verilere baktığımda 2 küme olduğu açıktır: Ben R boşluğu şöyle çağırır: gap <- …

19 r  machine-learning  clustering  k-means 

SVM veya Sinir Ağını kullanmak için, kategorik değişkenleri sayısal değişkenlere dönüştürmesi (kodlaması) gerekir, bu durumda normal yöntem 0-1 ikili değerleri, k. Kategorik değeri (0,0, .. olarak dönüştürülür) kullanmaktır. ., 1,0, ... 0) (1, k-th konumundadır). Bunu yapmak için başka yöntemler var mı, özellikle de 0-1 gösteriminin Sinir Ağı'nda oldukça istenen …

19 machine-learning  neural-networks  categorical-data  svm  categorical-encoding 

Wikipedia'ya göre, örnekler normal olarak dağılmış bir popülasyonun gözlemleri olduğunda, t-dağılımının t-değerinin örnekleme dağılımı olduğunu anlıyorum. Ancak, bunun neden t-dağılımının şeklinin yağ kuyrukludan neredeyse mükemmel normale değişmesine neden olduğunu sezgisel olarak anlamıyorum. Normal bir dağılımdan örnek alıyorsanız, o zaman büyük bir örnek alırsanız bu dağılıma benzeyecektir, ancak neden yağ kuyruklu …

19 normal-distribution  t-distribution 

Buradaki terminoloji bir karmaşa. "Yapısal eşitlik", "mimari köprü" kadar belirsizdir ve "Bayes ağı" özünde Bayes değildir . Daha da iyisi, nedensellik tanrısı Judea Pearl , iki model okulunun neredeyse aynı olduğunu söylüyor . Peki, önemli farklar nelerdir? (Benim için şaşırtıcı olan, SEM'ler için Wikipedia sayfası, bu yazıdan itibaren "ağ" kelimesini …

19 sem  bayesian-network  causality 

Bu yarattığı konunun daha genel bir tedavidir bu soruya . Örnek varyansının asimptotik dağılımını türettikten sonra standart sapma için ilgili dağılıma ulaşmak için Delta yöntemini uygulayabiliriz. Boyutu bir örnek olsun IID bir normal olmayan rastgele değişken , ortalama ve varyans . Örnek ortalamasını ve örnek varyansını nnn{Xi},i=1,...,n{Xi},i=1,...,n\{X_i\},\;\; i=1,...,nμμ\muσ2σ2\sigma^2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2\bar x = …

19 mathematical-statistics  variance  central-limit-theorem  asymptotics 

Yazarların görünüşte yeni başlayanlar için bir giriş olarak Bayes Teoremine yönelik maksimum olasılık tahmini tartışmasından yola çıktığı bir makale okuyorum . Bir olasılık örneği olarak, bir binom dağılımı ile başlarlar: p(x|n,θ)=(nx)θx(1−θ)n−xp(x|n,θ)=(nx)θx(1−θ)n−xp(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x} ve sonra her iki tarafı da günlüğe kaydet ℓ(θ|x,n)=xln(θ)+(n−x)ln(1−θ)ℓ(θ|x,n)=xln⁡(θ)+(n−x)ln⁡(1−θ)\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta) …

19 bayesian  likelihood  definition  philosophical 

Ben 1 (kolay değil) 5 (çok kolay) arasında değişen bir sıralı bağımlı değişken, kolaylık var. Bağımsız faktörlerin değerlerindeki artışlar, artan kolaylık derecesi ile ilişkilidir. Bağımsız değişkenlerimden ikisi ( condAve condB) kategoriktir, her biri 2 seviyeli ve 2 ( abilityA, abilityB) süreklidir. R'de sıralı paketi kullanıyorum , burada inandığım şeyi kullanıyor …

19 r  regression  logistic  interpretation  ordered-logit 

İnsanların sinir ağları hakkında, ne yaptığını veya ne anlama geldiğini anlamadığınız bir kara kutu gibi konuştuğunu sık sık duyuyorum. Aslında bunun ne anlama geldiğini anlayamıyorum! Geri yaymanın nasıl çalıştığını anlarsanız, o zaman bir kara kutu nasıl olur? Onlar, ağırlıkların nasıl hesaplandığını veya neyi anlamadığımızı mı kastediyorlar?

19 machine-learning  neural-networks 

Anladığım kadarıyla, "Kontrol" istatistiğin iki anlamı olabilir. Kontrol grubu: Bir deneyde, kontrol grubu üyesine herhangi bir tedavi verilmez. Örn: Plasebo ve Uyuşturucu: "Kontrollü deney" olarak da adlandırılan diğer gruba (kontrol) değil, bir gruba ilaç verirsiniz. Bir değişken için kontrol: Belirli bir bağımsız değişkenin etkisini ayırma tekniği. Bu tekniklere verilen diğer …

19 regression  self-study  anova  experiment-design  controlling-for-a-variable 

Ben bir binom dağılımı ve logit bağlantı fonksiyonu ile bir GLMM var ve verilerin önemli bir yönünün modelde iyi temsil olmadığını hissediyorum. Bunu test etmek için, verilerin logit ölçeğinde doğrusal bir fonksiyon tarafından iyi tanımlanıp tanımlanmadığını bilmek istiyorum. Bu nedenle, artıkların iyi davranıp davranmadığını bilmek istiyorum. Ancak, hangi artıkların arsa …

19 binomial  residuals  glmm  lme4-nlme 

Let θ ∈ Rnθ∈R,n\theta \in R^{n} . Fisher Bilgi Matrisi şu şekilde tanımlanır: ben( θ)ben , j,= - E[ ∂2günlük( f(X| θ ) )∂θben∂θj|||θ ]ben(θ)ben,j=-E[∂2günlük⁡(f(X|θ))∂θben∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Fisher Information Matrix'in pozitif semidefinite olduğunu nasıl kanıtlayabilirim?

19 inference  linear-algebra  fisher-information 

Ben 0 ve 1 arasında bir oran olan bir yanıt değişkeni olan bir model üretmeye çalışıyorum, bu oldukça birkaç 0s ve 1s ama aynı zamanda birçok değer içerir. Beta regresyonu denemeyi düşünüyorum. R (betareg) için bulduğum paket sadece 0 ile 1 arasında değerlere izin veriyor, ancak 0 veya 1'i içermiyor. …

19 regression  mixed-model  beta-distribution  zero-inflation  beta-regression 

Lütfen bu verileri göz önünde bulundurun: dt.m <- structure(list(id = c(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12), occasion = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, …

19 r  mixed-model  stata  lme4-nlme 

Bu, Google için diğer bazı şeyler kadar kolay değil, açıkçası, kategorik değişkenleri tahmin etmek için regresyon kullanmak anlamında lojistik regresyondan bahsetmiyorum. Verilen veri noktalarına bir lojistik büyüme eğrisi yerleştirmekten bahsediyorum. Spesifik olarak, , 1958'den 2012'ye kadar verilen bir yıl ve y , x yılının Kasım ayında tahmini küresel CO2 ppm'dir …

19 r  nonlinear-regression  curve-fitting  logistic-curve