İstatistikler ve Büyük Veri

Hangi durumlarda, OLS yerine düzenlileştirme yöntemleri (sırt, kement veya en küçük açılar regresyonu) kullanılmalıdır? Bunun tartışmayı yönlendirmesine yardımcı olması durumunda, temel ilgi alanım tahmin doğruluğunu iyileştirmektir.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Farklı çapraz doğrulama yöntemleri, model varyansı ve önyargı açısından nasıl karşılaştırılır? Sorumu kısmen bu konuya göre motive ediyor: katlı çapraz onaylamada en uygun kıvrım sayısı : bir kez dışarıda bırakılan CV her zaman en iyi seçenek midir? KKK. Buradaki cevap, bir kez dışarı bırakılan çapraz doğrulama ile öğrenilen modellerin normal …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Aşağıdaki üç terim arasındaki fark nedir? yüzdelik çeyreklik kartil

83 descriptive-statistics  quantiles  median  percentage 

Verileri kullanarak iş sorunlarını çözerken, klasik istatistiklerin altını çizdiği en az bir anahtar varsayımın yaygın olduğu yaygındır. Çoğu zaman, hiç kimse bu varsayımları kontrol etmekte hiçbir sıkıntı çekmez. Örneğin, ortak web metriklerinin çoğunun "uzun kuyruklu" olduğu (normal dağılıma göre) şimdiye dek çok iyi belgelendirildiği anlaşılmaktadır. Diğer bir örnek olarak, çevrimiçi …

82 model-selection  nonparametric  outliers  robust  philosophical 

Bu Excel grafiğine bir göz atın: 'En iyi uyum' çizgisi 'sağduyuluların tam ortasından geçen dikey bir çizgi gibi görünebilir (elle kırmızı renkle düzenlenmiştir). Bununla birlikte, Excel tarafından karar verilen doğrusal eğilim çizgisi gösterilen çapraz siyah çizgidir. Excel neden (insan gözüyle) yanlış görünen bir şey üretti? Biraz daha sezgisel görünen en …

82 regression  excel  intuition 

Tanh aktivasyon fonksiyonu: t a n s ( x ) = 2 ⋅ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Burada , sigmoid fonksiyonu, aşağıdaki gibi tanımlanır: .σ ( x ) = E xσ( x )σ(x)\sigma(x) σ( x …

82 machine-learning  neural-networks  optimization  cost-maximization 

Sık sık "kapalı form çözümü" terimi ile karşılaştım. Kapalı formda bir çözüm ne demektir? Belirli bir problem için yakın formlu bir çözüm bulunup bulunmadığı nasıl belirlenir? Çevrimiçi arama yaparken, bazı bilgiler buldum, ancak istatistiksel ya da olasılıksal bir model / çözüm geliştirme bağlamında hiçbir şey bulamadım. Regresyonu çok iyi anlıyorum, …

82 regression  machine-learning  probability  terminology  stochastic-processes 

Bunun , belli analitik eğilimlerden faydalanmakla ünlü bir çizgi romandan geldiğini biliyorum , ancak birkaç dakika baktıktan sonra aslında makul görünüyor. Birisi benim için bu " değiştirilmiş Bayes teoreminin " ne yaptığını özetleyebilir mi?

81 bayesian  hierarchical-bayesian 

Sıfır şişirilmiş dağılımlar (modeller) ve sıfır-sıfir dağılımlar (modeller) arasında kesin bir fark olup olmadığını merak ediyorum. Terimler literatürde oldukça sık görülür ve aynı olmadıklarından şüpheleniyorum, ancak aradaki farkı basit terimlerle açıklar mısınız?

81 zero-inflation 

Kementin teknik olmayan bir tanımını ve ne için kullanıldığını arıyorum.

81 regression  lasso  regularization  shrinkage 

Tamam, bu yüzden 20: 1 kuralını göz önünde bulundurarak yeterince iyi bir örneğe sahip olduğumu düşünüyorum: toplam 7 aday belirleyici değişkeni için oldukça büyük bir örnek (N = 374). Benim sorunum şudur: Ne kullanırsam tahmin değişkenleri kümesi ne olursa olsun, sınıflandırmalar% 100 özgüllük ve% 0 duyarlılıktan daha iyi olamaz. Bununla …

81 regression  logistic  sample-size  unbalanced-classes 

Birine değişkenlik kavramını açıklamanın en temiz ve en kolay yolu nedir? Sezgisel olarak ne anlama geliyor? Eğer biri bunu çocuklarına açıklayacaksa, nasıl olur? Bu, eklemlenmekte zorlandığım bir kavram - özellikle riske olan varyansla ilgili. Ben matematiksel olarak anlıyorum ve bu şekilde de açıklayabilirim. Fakat gerçek dünya fenomenini açıklarken, birisinin varyansı …

81 distributions  variance  standard-deviation  inference  intuition 

Güven ve güvenilir aralıklar arasındaki fark hakkındaki son bir soru, Edwin Jaynes'in bu konuyla ilgili makalesini tekrar okumaya başlamamı sağladı: Jaynes, ET, 1976. “Olasılık Teorisi, İstatistiksel Çıkarım ve Bilimin İstatistiksel Teorileri, WL Harper ve CA Hooker (ed.), D. Reidel, Dordrecht, s. 175; ( pdf ) Özet olarak, Jaynes şöyle yazıyor: …

81 bayesian  confidence-interval 

P değeri ile ilgili olarak , % ve % neden altın standart olarak göründüğünü merak ediyorum . Neden % veya % gibi diğer değerler değil ?111555"statistical significance"666101010 Bunun temel bir matematiksel sebebi var mı, yoksa bu sadece geniş kapsamlı bir kongre mi?

80 hypothesis-testing  statistical-significance  p-value  history 

Doğrusal regresyonda bir tahmin aralığı için, aralığı oluşturmak için hala kullanın. Bunu, bir güven aralığı oluşturmak için de kullanabilirsiniz . İkisi arasındaki fark nedir?E^[Y|x]=β0^+β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[Y|x0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval