İstatistikler ve Büyük Veri

Üzerinde önemli çağdaş araştırmalar var Bayes Optimizasyonu akort ML hyperparameters için (1). Buradaki sürüş motivasyonu, hangi noktaların denemeye değer olduğu hakkında bilinçli seçimler yapmak için minimum sayıda veri noktasının gerekli olmasıdır (objektif fonksiyon çağrıları pahalıdır, bu nedenle daha az yapmak daha iyidir) çünkü bir modelin eğitimi zaman yoğundur - bazıları …

18 hyperparameter  bayesian-optimization  optunity 

Takviye Öğrenimi üzerinde çalışırken, ödül fonksiyonunun birçok formuyla karşılaştım: R(s,a)R(s,a)R(s,a) , R(s,a,s′)R(s,a,s′)R(s,a,s') ve hatta sadece mevcut duruma bağlı bir ödül fonksiyonu. Bunu söyledikten sonra, bir ödül fonksiyonu 'yapmanın' veya 'tanımlamanın' çok kolay olmadığını fark ettim. Sorularım: Ödül işlevlerinin nasıl yapılacağına dair kurallar var mı? Ödül fonksiyonunun başka formları var mı? …

18 machine-learning  reinforcement-learning 

Verilerimin bazı özellikleri büyük değerlere sahipken, diğer özellikler çok daha küçük değerlere sahip. T-SNE'yi uygulamadan önce verileri daha büyük değerlere doğru sapmayı önlemek için ortalamak + ölçeklemek gerekir mi? Python'un sklearn.manifold.TSNE uygulamasını varsayılan öklid mesafesi metriğiyle kullanıyorum.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Bazı yazarlar (örn. Pallant, 2007, s. 225; aşağıdaki resme bakın), test istatistiğini gözlem sayısının kare köküne bölerek Wilcoxon imzalı bir sıralama testi için etki boyutunu hesaplamayı önermektedir: r=Znx+ny√r=Znx+nyr = \frac{Z}{\sqrt{n_x + n_y}} ZSPSS (aşağıdaki resme bakın) yanı sıra tarafından tarafından test istatistiği çıkışı wilcoxsign_testR. içinde (aynı zamanda benim ilgili soruya …

18 effect-size  wilcoxon-signed-rank 

Bir Filmler veri kümesi modelim var ve regresyonu kullandım: model <- lm(imdbVotes ~ imdbRating + tomatoRating + tomatoUserReviews+ I(genre1 ** 3.0) +I(genre2 ** 2.0)+I(genre3 ** 1.0), data = movies) library(ggplot2) res <- qplot(fitted(model), resid(model)) res+geom_hline(yintercept=0) Hangi çıktı verdi: Şimdi ilk kez Değişken Grafik Eklendi adlı bir şey çalışmaya çalıştım ve …

18 regression  data-visualization  multiple-regression  scatterplot 

Genel olarak, E ( X | Y )E(X|Y)E(X|Y) ve E ( X | Y = y ) arasındaki farkE(X|Y=y)E(X|Y=y) nedir? Eski işlevi, ikincisi işlevi ? Çok kafa karıştırıcı ..y yyxxx

18 conditional-expectation  notation  definition 

Arka plan: Not: Veri kümem ve r kodum aşağıdaki metinde yer almaktadır R'de lme4 paketi kullanılarak oluşturulan iki karışık efekt modelini karşılaştırmak için AIC'yi kullanmak istiyorum. Her modelin bir sabit etkisi ve bir rastgele etkisi vardır. Sabit etki modeller arasında farklılık gösterir, ancak rastgele etki modeller arasında aynı kalır. Ben …

18 maximum-likelihood  random-effects-model  fixed-effects-model  mixed-model  lme4-nlme 

Bir rrr -değeri olan değerin de ppp değeri olup olmadığını anlamaya çalışırken kendimi karıştırmışım gibi görünüyor . Bunu anlamak gibi, veri noktaları seti ile doğrusal ilişki içinde rrr arasında değişen bir değere sahip olabilir −1−1-1 için 111 ve bu değerin, her ne olursa olsun, bir olabilir ppp -değeri olan Şekil …

18 statistical-significance  p-value  r-squared 

Bunu bir kez duydum log dönüşümü, lineer regresyon veya kantil regresyonda sağa eğik dağılımlar için en popüler olanıdır Bu ifadenin altında yatan herhangi bir sebep olduğunu bilmek isterim? Kütük dönüşümü neden sağa eğik bir dağılım için uygun? Sola eğik bir dağılıma ne dersiniz?

18 regression  distributions  data-transformation  skewness 

Ben "rastgele örnek" yanı sıra "iid rastgele değişken" anlamını anlamak zor zamanlar ile karşı karşıya. Birkaç kaynaktan anlam bulmaya çalıştım, ama daha da karıştı. Burada denediğim ve bilmem gerekeni gönderiyorum: Degroot'un Olasılık ve İstatistikleri diyor: Rastgele Örnekler / iid / Örnek Boyutu: Gerçek çizgide pf veya pdf f ile temsil …

18 sampling  terminology  iid 

cv.glmnetÖngörüleri bulmak için kullanıyorum . Kullandığım kurulum aşağıdaki gibidir: lassoResults<-cv.glmnet(x=countDiffs,y=responseDiffs,alpha=1,nfolds=cvfold) bestlambda<-lassoResults$lambda.min results<-predict(lassoResults,s=bestlambda,type="coefficients") choicePred<-rownames(results)[which(results !=0)] Sonuçların tekrarlanabilir olduğundan emin olmak için I set.seed(1) . Sonuçlar oldukça değişkendir. Sonuçların ne kadar değişken olduğunu görmek için aynı kodu 100 koştum. 98/100 çalışmalarında her zaman belirli bir öngörücü seçildi (bazen sadece kendi başına); diğer …

18 r  cross-validation  feature-selection  glmnet 

En az bir önemli değişken üzerinde N ~ 5000 ve yaklaşık 1/2 eksik olan bir veri setim var. Ana analitik yöntem Cox orantılı tehlikeler olacaktır. Birden fazla dürtü kullanmayı planlıyorum. Ayrıca bir tren ve test setine ayrılacağım. Verileri bölmeli ve sonra ayrı ayrı mı, yoksa impute edip sonra mı bölmeliyim? …

18 cross-validation  survival  multiple-imputation  train 

Üç farklı haber yayınının farklı konuları nasıl kapsadığını görsel olarak karşılaştırmaya çalışıyorum (bir LDA konu modeli ile belirlenir). Bunu yapmak için iki yöntemim var, ancak meslektaşlardan bunun çok sezgisel olmadığı konusunda çok sayıda geri bildirim aldım. Birisinin bunu görselleştirmek için daha iyi bir fikri olduğunu umuyorum. İlk grafikte, her yayındaki …

18 data-visualization  communication 

Çoklu doğrusal regresyonda aşağıdaki formülle katsayıyı bulmak mümkündür. b=(X′X)−1(X′)Yb=(X′X)−1(X′)Yb = (X'X)^{-1}(X')Y beta = solve(t(X) %*% X) %*% (t(X) %*% Y) ; beta Örneğin: > y <- c(9.3, 4.8, 8.9, 6.5, 4.2, 6.2, 7.4, 6, 7.6, 6.1) > x0 <- c(1,1,1,1,1,1,1,1,1,1) > x1 <- c(100,50,100,100,50,80,75,65,90,90) > x2 <- c(4,3,4,2,2,2,3,4,3,2) > Y …

18 logistic  regression-coefficients 

MCMC'yi bir soruna uygulamaya çalışıyorum, ancak önceliklerim (benim durumumda α∈[0,1],β∈[0,1]α∈[0,1],β∈[0,1]\alpha\in[0,1],\beta\in[0,1] ) bir alanla sınırlı mı? Normal MCMC kullanabilir ve kısıtlı bölgenin dışında kalan örnekleri yok sayabilir miyim (bu durumda [0,1] ^ 2), yani yeni geçiş kısıtlı (kısıtlı) alanın dışına çıktığında geçiş işlevini yeniden kullanabilir miyim?

18 sampling  mcmc  monte-carlo  random-walk