İstatistikler ve Büyük Veri

Amacı, bir ithalatçının, distribütörlerin müşteri ağından ürünlerine olan talebi tahmin etmesini sağlamak olan bir tahmin uygulaması geliştiriyorum. Satış rakamları, talebi karşılamak için yeterli envanter olduğu sürece talep için oldukça iyi bir vekildir. Envanter sıfıra indirildiğinde (müşterimizin kaçınmasına yardımcı olmak istediğimiz durum), hedefi kaçırdığımızdan çok fazla şey bilmiyoruz. Yeterli tedarik olsaydı, …

11 r  regression  machine-learning  censoring 

Zaman serilerinde aykırı algılamayı otomatikleştirmeye çalışıyorum ve burada Rob Hyndman tarafından önerilen çözümde bir değişiklik kullandım . Diyelim ki, çeşitli ülkelerden bir web sitesine günlük ziyaretleri ölçüyorum. Günlük ziyaretlerin birkaç hundrend veya binlerce olduğu bazı ülkelerde, yöntemim makul çalışıyor gibi görünüyor. Bununla birlikte, bir ülkenin günde sadece 1 veya 2 …

11 time-series  outliers  computational-statistics 

Neden runif()R gibi rastgele sayı üreteçlerinin her seferinde aynı sonucu üretmemesi? Örneğin: X <- runif(100) X her seferinde farklı çıktılar üretiyor. Her seferinde farklı çıktılar üretmenin nedeni nedir? Bunu yapmak için arka planda ne gibi işlevler var?

11 r  algorithms  random-generation  uniform 

Aşağıdaki sorun: glmnet () kullanarak bir (veya daha fazla) kategorik değişken ile kategorik bir yanıt değişkeni tahmin etmek istiyorum. Ancak glmnet'in bana verdiği çıktıyı anlamıyorum. Tamam, önce iki kategorik değişken oluşturalım: Veri Oluştur p <- 2 #number variables mu <- rep(0,p) sigma <- matrix(rep(0,p^2), ncol=p) sigma[1,2] <- .8 #some relationship …

11 categorical-data  multinomial  glmnet 

Aşağıdaki formu olan bir kement regresyon gerçekleştirmek için çalışıyorum: Minimize olarak( Y - X w ) ′ ( Y - X w ) + λwww(Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Bir verildiğinde , aşağıdaki formu alan ikinci dereceden programlama yardımıyla en uygun w'yi bulmam tavsiye edildi :wλλ\lambdawww Minimize …

11 regression  lasso  quadratic-form 

James-Stein tahmincisinin bulduğum her ifade, tahmin edilen rastgele değişkenlerin aynı (ve birim) varyansa sahip olduğunu varsayar. Ancak bu örneklerin tümü, JS tahmincisinin, birbirleriyle hiçbir ilgisi olmayan miktarları tahmin etmek için kullanılabileceğinden de bahsetmektedir. Wikipedia örneği Montana ışık, Tayvan çay tüketimi ve domuz ağırlığının hızıdır. Ancak muhtemelen bu üç miktardaki ölçümleriniz …

11 estimation  shrinkage  steins-phenomenon 

Bir açıklayıcı değişken olduğunu varsayalım s koordinat verilen temsil eder. Ayrıca Y = ( Y ( s 1 ) , … , Y ( s n ) ) bir yanıt değişkeniniz de vardır . Şimdi her iki değişkeni şu şekilde birleştirebiliriz:X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ …

11 probability  bayesian  conditional-probability  gibbs 

üzerinde bir regresyon uyguluyorumlog(y)log⁡(y)\log(y) . Üstlenme ile nokta dönüşümü tahminlerini (ve güven / tahmin aralıklarını) geri almak geçerli midir? Buna inanmıyorum, çünkü ama başkalarının görüşlerini almak istiyordu.E[f(X)]≠f(E[X])E[f(X)]≠f(E[X])E[f(X)] \ne f(E[X]) Aşağıdaki örneğim, geri dönüşüme ilişkin çakışmaları göstermektedir (.239 ve .219). set.seed(123) a=-5 b=2 x=runif(100,0,1) y=exp(a*x+b+rnorm(100,0,.2)) # plot(x,y) ### NLS Fit f …

11 regression  back-transformation 

Sorum, hangi modelin iki yönlü tekrarlanan ANOVA ölçümlerine karşılık geldiğini gösteren bu yanıta dayanmaktadır lme4::lmer: require(lme4) set.seed(1234) d <- data.frame( y = rnorm(96), subject = factor(rep(1:12, 4)), a = factor(rep(1:2, each=24)), b = factor(rep(rep(1:2, each=12))), c = factor(rep(rep(1:2, each=48)))) # standard two-way repeated measures ANOVA: summary(aov(y~a*b+Error(subject/(a*b)), d[d$c == "1",])) # …

11 r  anova  mixed-model  repeated-measures  lme4-nlme 

Bir Gama dağılımı ve ile parametrelendirilirse , o zaman:αα\alphaββ\beta E(Γ(α,β))=αβE(Γ(α,β))=αβ E(\Gamma(\alpha, \beta)) = \frac{\alpha}{\beta} Bir kare Gama beklentisini hesaplamak istiyorum, yani: E(Γ(α,β)2)=?E(Γ(α,β)2)=? E(\Gamma(\alpha, \beta)^2) = ? Ben düşünüyorum öyle: E(Γ(α,β)2)=(αβ)2+αβ2E(Γ(α,β)2)=(αβ)2+αβ2 E(\Gamma(\alpha, \beta)^2) = \left(\frac{\alpha}{\beta}\right)^2 + \frac{\alpha}{\beta^2} Bu son ifadenin doğru olup olmadığını bilen var mı?

11 expected-value  gamma-distribution 

Korkarım ki ilgili sorular bana cevap vermedi. > 2 sınıflandırıcı (makine öğrenimi) performansını değerlendiriyoruz. Sıfır hipotezimiz performansların farklı olmadığıdır. Bu hipotezi değerlendirmek için parametrik (ANOVA) ve parametrik olmayan (Friedman) testleri yapıyoruz. Eğer anlamlılarsa, post-hoc bir görevde hangi sınıflandırıcıların farklı olduğunu bulmak istiyoruz. Sorum iki yönlü: 1) Birden fazla karşılaştırma testinden …

11 multiple-comparisons  bonferroni  tukey-hsd 

Ben tam bir acemiyim :) Yaklaşık 745.000 kişilik bir nüfustan 10.000 örnek büyüklüğünde bir çalışma yapıyorum. Her örnek bir "yüzde benzerliği" temsil eder. Numunelerin büyük çoğunluğu% 97-98 civarındadır, ancak birkaçı% 60 ile% 90 arasındadır, yani dağılım ciddi şekilde çarpıktır. Sonuçların yaklaşık% 0.6'sı% 0'dır, ancak bunlar numuneden ayrı olarak işlenecektir. Tüm …

11 bootstrap  sample-size  resampling 

Parametrik olmayan ve 12 tedaviye sahip bir veri seti ile çalışıyorum. Kruskal-Wallis testini yaptım ve önemli bir değeri aldım ve şimdi tedavilerden hangisinin önemli ölçüde farklı olduğunu görmek için çoklu karşılaştırma prosedürü yapmak istiyorum. Bu konuyla ilgili çok fazla bilgi var, ancak bu sorunu özellikle ele alan bir şey bulamadım. …

11 nonparametric  multiple-comparisons  kruskal-wallis  dunn-test 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 2 yıl önce kapalı . Verideki önemsiz / önemli özellikleri atmak / seçmek için R / Python'da mevcut yöntemler / uygulamalar nelerdir? Verilerimde etiket yok …

11 r  feature-selection  python 

Çevrimiçi bir alışveriş yapan kişinin, bir dizi çevrimiçi reklamı (öngörücüler: Reklam1, Reklam2 ve Reklam3) tıkladıktan sonra bir ürün satın alıp almayacağını (sonuç: satın alma) tahmin etmek için kullanıldığını varsayalım. Sonuç ikili bir değişkendir: 1 (satın alındı) veya 0 (satın alınmamış). Öngörücüler ayrıca ikili değişkenlerdir: 1 (tıklandı) veya 0 (tıklanmadı). Yani …

11 logistic  importance