İstatistikler ve Büyük Veri

Optimal bir lambda aramak için glmnetiçeride caretkullanma cv.glmnetve aynı görevi yapmak için kullanma karşılaştırmasında çok fazla karışıklık var gibi görünüyor . Birçok soru yöneltildi, örneğin: Sınıflandırma modeli train.glmnet mi cv.glmnet mi? Glmnet'i caret ile kullanmanın doğru yolu nedir? "Caret" kullanarak çapraz onaylama "glmnet" ancak sorunun tekrarlanabilirliğinden kaynaklanabilecek hiçbir cevap verilmemiştir. …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Benjamini ve Hochberg'in (1995) prosedürünün neden yanlış keşif oranını (FDR) gerçekte kontrol ettiğini açıklamanın basit bir yolu var mı? Bu prosedür çok zarif ve kompakttır ve yine de bağımsızlık altında neden çalıştığının kanıtı ( 1995 makalelerinin ekinde yer almaktadır ) çok erişilebilir değildir.

14 intuition  false-discovery-rate  teaching 

Lojistik regresyonda kesişme modeli ile veya kesişme modeli arasındaki farkı anlamayı seviyorum Kesişme katsayılarının log (oran oranı) bazal gruba göre ve kesişme olmadan log (oranlar) dikkate almaları dışında herhangi bir fark var mıdır? her iki durumda da katsayıların aynı olduğunu gördüm ama önemi her zaman aynı değildir ve neden olduğunu …

14 regression  logistic  interpretation  model  intercept 

Aşağıdaki terimlerin doğrusal regresyon bağlamında anlam farkı konusunda gerçekten kafam karıştı: F istatistiği R kare Artık standart hata Doğrusal regresyonda yer alan farklı terimler hakkında bana büyük bir fikir veren bu webstie'yi buldum , ancak yukarıda belirtilen terimler oldukça fazla görünüyor (anladığım kadarıyla). Okuduğumu ve neyin kafasını karıştırdığımı göstereceğim: Kalan …

14 linear-model  nonlinear-regression  linear  f-statistic 

Binom rasgele değişkeni için tahmin aralığı formülü (yaklaşık veya kesin) nedir? Varsayalım Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p) ve gözlemlediğimiz yyy (çekilir YYY ). nnn bilinmektedir. Hedefimiz yeni bir beraberlik için% 95 tahmin aralığı elde etmektir YYY. Nokta tahmini np^np^n\hat{p} , p = yp^=ynp^=yn\hat{p}=\frac{y}{n} . A güven aralığı p basittir, ama bir …

14 confidence-interval  binomial  prediction-interval 

Orada yapılan anketler (diyelim ki Gallup) nüfus büyüklüğüne kıyasla saçma sapan çok az sayıda insanı örnekliyor (örneğin, yüz milyondan bin kişi). Şimdi bana göre, bir popülasyonun nüfus istatistiklerini tahmin etmenin bir aracı olarak örneklenmesi , örneklerin popülasyonu (veya benzer şekilde diğer örnekleri ) temsil ettiğine inanmak için güçlü bir nedeniniz …

14 sampling  sample-size 

Prosedürü ve neyi kontrol ettiğini anlıyorum. Peki çoklu karşılaştırmalar için BH prosedüründe ayarlanan p-değerinin formülü nedir? Şimdilik, orijinal BH'nin ayarlanmış p değerleri üretmediğini, sadece (ret dışı) koşulunu ayarladığını fark ettim: https://www.jstor.org/stable/2346101 . Gordon Smyth, 2002'de BH p değerlerini yine de tanıttı, bu yüzden soru hala geçerli. p.adjustYöntemde olduğu gibi R …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Google, Wikipedia, Google araştırmacısı ve daha fazlasını aradım, ancak Otomatik Kodlayıcıların kökenini bulamadım. Belki de yavaş yavaş gelişen bu kavramlardan biridir ve net bir başlangıç ​​noktasını izlemek imkansızdır, ancak yine de gelişimlerinin ana adımlarının bir tür özetini bulmak istiyorum. Autoencoders hakkında bölüm Ian Goodfellow, Yoshua Bengio ve Aaron COURVILLE Dibi …

14 neural-networks  autoencoders  history 

Gördüğüm Ben Nedensellik üzerine yapıyorum bazı literatür taraması her yerde operatör (bkz mesela bu wikipedia girişi ). Ancak, bu operatörün resmi ve genel bir tanımını bulamıyorum.do(x)do(x)do(x) Birisi beni bu konuda iyi bir referansa işaret edebilir mi? Belirli bir deneydeki yorumu yerine genel bir tanımla ilgileniyorum.

14 references  causality  definition 

Aşağıda açıklanan sürecin geçerli / kabul edilebilir olup olmadığını ve herhangi bir gerekçe olup olmadığını bilmek istiyorum. Fikir: Denetimli öğrenme algoritmaları verilerle ilgili temel yapıları / dağılımları varsaymaz. Günün sonunda puan tahminleri çıkarırlar. Bir şekilde tahminlerin belirsizliğini ölçmeyi umuyorum. Şimdi, ML modeli oluşturma süreci doğası gereği rastgele (örneğin hiperparametre ayarı …

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

2 örnek KS testinin yorumunu ve 2 grup arasındaki düzenli bir t testinden nasıl farklı olduğunu anlamakta zorluk çekiyorum. Diyelim ki bir görev yapan erkek ve kadınlarım var ve bu görevden bazı puanlar topluyorum. Nihai hedefim, erkeklerin ve kadınların bu görevde farklı performans gösterip göstermediklerini belirlemektir Yapabileceğim bir şey, iki …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Geleneksel olarak, uzunlamasına verileri, yani aşağıdaki gibi verileri modellemek için karışık model kullanırız: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 farklı kişiler için rastgele kesişme veya eğim …

14 machine-learning  data-transformation  random-forest  panel-data  large-data 

R'nin genelleştirilmiş katkı modelleri için gam ve mgcv kütüphaneleri olduğunu biliyorum. Ancak Python ekosistemindeki meslektaşlarını bulmakta zorluk çekiyorum (istatistik modellerinde yalnızca sanal alanda prototip var). Var olan python kütüphanelerinin farkında olan var mı? Kim bilir bu scikit-öğrenmeye geliştirmek / katkıda bulunmak için iyi bir proje olabilir.

14 gam 

Sırt regresyonunda, minimize edilecek objektif fonksiyon: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Bu, Lagrange çarpanı yöntemi kullanılarak optimize edilebilir mi? Yoksa düz bir ayrım mı?

14 regression  regularization  ridge-regression 

Bağlam : Bu yüzden ben kullanıyorum, parametrik görünmeyen bir ScatterPlot bir çizgi çizmek istiyorum geom_smooth()içinde ggplotde R. geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method.Genelleştirilmiş katkı modelleri için GAM …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning