İstatistikler ve Büyük Veri

Koşul ( cond) bazı sonuç üzerindeki etkisini kontrol etmek için R içinde lmer kullanıyorum . İşte bazı oluşur ler konu tanıtıcı verileri ve vardır a, bve ckoşullardır. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c = rnorm(30, -4, …

9 r  lme4-nlme  contrasts 

OLS'yi kapsayan ekonometrik ders kitabımda (Tanılayıcı Ekonometri), yazar "Başka bir açıklayıcı değişken eklendiğinde SSR'nin düşmesi gerekir" yazıyor. Neden o?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Ders kitabımda idf log(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) nerede NNN: Doküman Sayısı ntntn_t: Terim içeren Belge Sayısı ttt Wikipedia, bu formülü gerçek öğenin düzgünleştirilmiş bir sürümü olarak listeler log(Nnt)log(Nnt)log(\frac{N}{n_t}). Anladığım kadarıyla:log(NN)=0log(NN)=0log(\frac{N}{N})=0 için ∞∞\inftysezgisel görünüyor. Fakatlog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) den gider log(1+1)log(1+1)log(1+1) için ∞∞\inftyBu çok tuhaf görünüyor ... Dil modellemesinden yumuşatma hakkında biraz şey biliyorum ama orada paydaya …

9 text-mining  natural-language  smoothing 

Sorun Bilinmeyen sayıda taraf ile ölmeye benzer bir sistem üzerinde bazı çıkarımlarda bulunmak istiyorum. Kalıp birkaç kez yuvarlanır, bundan sonra kalıbın sahip olduğu taraf sayısına karşılık gelen bir parametre üzerinden olasılık dağılımını çıkarmak istiyorum, θ. Sezgi Eğer 40 rulodan sonra 10 kırmızı, 10 mavi, 10 yeşil ve 10 sarı görüyorsanız, …

9 r  probability  bayesian  jags 

İki veya daha fazla faktör içeren bir denem olduğunu varsayalım. Genel bir ANOVA oluşturulur ve sonra iki veya daha fazla post hoc test seti ile takip ederiz , çoklu karşılaştırmalar diyoruz. Benim sorum, bu post hoc testlerin çokluk ayarlamaları için temel olarak ne kadar büyük - ve kaç --- ailelerin …

9 multiple-comparisons  post-hoc 

Caffe'nin (derin öğrenme çerçevesi) model örneklerinin çoğu için Softmax Kayıp Katmanını SoftmaxWithLoss çıktı katmanı olarak kullandığını gözlemledim . Bildiğim kadarıyla Softmax Loss katmanı , Multinomial Logistic Loss Layer ve Softmax Layer kombinasyonudur . Caffe'den, Softmax Kaybı Katmanı gradyan hesaplaması daha sayısal olarak kararlıdır Ancak, bu açıklama istediğim cevap değil, açıklama …

9 multinomial  entropy  sums-of-squares  softmax 

Degrade artırımı ( https://en.wikipedia.org/wiki/Gradient_boosting ) ile ilgili faydalı Wikipedia girişini okuyorum ve kalıntıları en dik iniş adımı ile (/ sözde degrade olarak da adlandırılır) nasıl / neden yaklaşık olarak anlayabileceğimizi anlamaya çalışıyorum ). Biri bana en dik inişin artıklara nasıl bağlı / benzer olduğuna dair sezgileri verebilir mi? Çok takdir …

9 self-study  gradient-descent 

VectorSource ve VCorpus'un 'tm' paketinde tam olarak ne olduğundan emin değilim. Belgeler bunlar hakkında net değil, kimse basit terimlerle anlamamı sağlayabilir mi?

9 r  text-mining 

Sorular: Uygun olmayan lineer modeller pratikte kullanılıyor mu veya bilimsel dergilerde zaman zaman bir tür merak mı anlatılıyor? Eğer öyleyse, hangi alanlarda kullanılıyorlar? Bu tür modellerin başka örnekleri var mı? Son olarak, standart hatalar, ppp'lik değerler, R2R2R^2 Bu tür modeller için OLS'den alınan vb. doğru mu, yoksa bir şekilde düzeltilmeli …

9 regression  references  linear-model  robust 

N farklı top rengi içeren bir urnum olduğunu ve her farklı rengin farklı sayıda görünebileceğini varsayalım (10 kırmızı top varsa, 10 mavi top olması da gerekmez). Çizimden önce urnun tam içeriğini bilersek, topun her rengini çizme olasılığını söyleyen ayrı bir olasılık dağılımı oluşturabiliriz. Merak ettiğim şey , ortalama olarak urn'dan …

9 probability  discrete-data  distributions 

Benim alanımda, eşlenmiş verileri çizmenin olağan yolu, iki grup için medyan ve medyan CI ile kaplanan bir dizi ince eğimli çizgi segmentidir: Ancak, veri noktası sayısı çok arttıkça bu tür bir arsa okumak çok daha zor hale gelir (benim durumumda 10000 çift düzeninde var): Alfa'yı azaltmak biraz yardımcı olur, ancak …

9 generalized-linear-model  data-visualization  modeling  interpretation  paired-data 

Bu topluluktan gelen dört çarpıklık türü hakkında daha fazla bilgi sahibi olmayı umuyorum. Bahsettiğim türler http://www.inside-r.org/packages/cran/e1071/docs/skewness yardım sayfasında belirtilmiştir. Eski yöntem yardım sayfasında belirtilmedi, ancak yine de ekliyorum. require(moments) require(e1071) x=rnorm(100) n=length(x) hist(x) ###############type=1 e1071::skewness(x,type=1) sqrt(n) * sum((x-mean(x))^3)/(sum((x - mean(x))^2)^(3/2)) #from e1071::skewness source m_r=function(x,r) {n=length(x); sum((x - mean(x))^r/n);} ##from e1071::skewness …

9 skewness 

Sınıfları birleştirmek istemiyorsam, tabloları 2 x 2'den büyük olan kategorik değişkenler ve 5'ten az sayımı olan hücreler için ki kare testine bazı alternatifler nelerdir?

9 chi-squared  fishers-exact 

Belirli bir sabit sayı için rrr(örneğin 4), için bir olasılık dağılımı bulmak mümkün mü , böylece ?XXXVar(X)=rVar(X)=r\mathrm{Var}(X)=r

9 distributions  mathematical-statistics  variance 

Birçok yerde boş hipotezi "kabul ettiğimizi" asla söyleyemeyeceğimizi okudum. Bunun yerine, sıfır hipotezini "reddedemediğimizi" söylemeliyiz. Ancak bunun bu basit örnekle nasıl kareler olduğunu göremiyorum: Varsayalım, 24 saat içinde diyabeti tamamen iyileştirmesi gereken bir ilacı test ediyoruz. 1000 hasta üzerinde deniyoruz ve hepsinde ilacı aldıktan sonra hala diyabet var. Bu ilacın …

9 hypothesis-testing