İstatistikler ve Büyük Veri

Birden fazla ikili etiket setine sahip olduğum bir veri setim var. Her bir etiket kümesi için, bir sınıflandırıcı hazırlıyorum, çapraz onaylama yaparak değerlendiriyorum. Temel bileşen analizi (PCA) kullanarak boyutsallığı azaltmak istiyorum. Sorum şu: PCA'nın tüm veri kümesi için bir kez yapılması ve daha sonra yukarıda açıklandığı gibi çapraz doğrulama için …

35 machine-learning  classification  pca  cross-validation 

Genelleştirilmiş doğrusal modelin bir bileşeni olarak link işlevinin amacı nedir? Neden buna ihtiyacımız var? Vikipedi devletleri: Bağlantı işlevinin etki alanını, dağıtım işlevinin ortalama aralığı ile eşleştirmek uygun olabilir Bunu yapmanın avantajı nedir?

35 regression  generalized-linear-model  link-function  irls 

Düzeltilmiş R-karesi için R'de kullanılan tam formül nedir lm() ? Bunu nasıl yorumlayabilirim? Düzeltilmiş r-kare formülleri Düzeltilmiş R-karesini hesaplamak için birkaç formül var gibi gözüküyor. Kayık formülü: 1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} McNemar formül: 1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} Rab formülü: 1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} Stein'in formülü: 1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) Ders kitabı açıklamaları Field'ın ders kitabına göre, R'yi Kullanarak İstatistikleri Keşfetme (2012, s. …

35 r  regression  r-squared  lm  shrinkage 

summary.rqDan işlev quantreg skeç dilim regresyon katsayılarının standart hata tahminleri için seçimler çok sayıda sağlar. Bunların her birinin optimal / arzu edilir hale geldiği özel senaryolar nelerdir? Koenker'de (1994) açıklandığı gibi bir sıralama testini ters çevirerek tahmini parametreler için güven aralıkları üreten "sıralama". Varsayılan seçenek hataların kimliğini varsayırken, iid = …

35 r  standard-error  quantile-regression  estimators 

Rastgele bir orman modeli çalıştırmak için birinden bir R betiği aldım. Bazı çalışan verileriyle değiştirdim ve çalıştırdım. Gönüllü ayrılıkları tahmin etmeye çalışıyoruz. İşte bazı ek bilgiler: bu bir sınıflandırma modelidir 0 = çalışan kaldı, 1 = çalışan sonlandı, şu anda sadece bir düzine yordayıcı değişkenine bakıyoruz, veriler "dengesiz" ifadesiyle 7’deki …

35 r  classification  error  random-forest 

Çok değişkenli normal yoğunluğum olduğunu varsayalım. Ikinci (kısmi) türev wrt almak istiyorum . Bir matrisin türevinin nasıl alınacağından emin değil.N(μ,Σ)N(μ,Σ)N(\mu, \Sigma)μμ\mu Wiki, türev elemanını matris içindeki öğeye göre aldığını söylüyor. Laplace yaklaşımı ile çalışıyorum Mod .logPN(θ)=logPN−12(θ−θ^)TΣ−1(θ−θ^).log⁡PN(θ)=log⁡PN−12(θ−θ^)TΣ−1(θ−θ^).\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.θ^=μθ^=μ\hat\theta=\mu Bana bu nasıl oldu?Σ−1=−∂2∂θ2logp(θ^|y),Σ−1=−∂2∂θ2log⁡p(θ^|y),{\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y), Yaptıklarım: logP(θ|y)=−k2log2π−12log|Σ|−12(θ−θ^)TΣ−1(θ−θ^)log⁡P(θ|y)=−k2log⁡2π−12log⁡|Σ|−12(θ−θ^)TΣ−1(θ−θ^)\log P(\theta|y) …

35 self-study  normal-distribution  matrix 

Şu anda çoklu doğrusal regresyon kullanarak bir model oluşturmak için çalışıyorum. Modelimle uğraştıktan sonra, hangi değişkenleri koruyacağımı ve hangilerini kaldıracağımı en iyi nasıl belirleyeceğime emin değilim. Modelim DV için 10 belirteçle başladı. 10 öngörücüyü de kullanırken, dördü önemli olarak kabul edildi. Açıkça yanlış olan tahmin edicilerin sadece bir kısmını kaldırırsam, …

35 regression  multiple-regression  feature-selection  modeling  model-selection 

Ben Yakın zamanda gerçekleşen bileşik simetrisine karma modeli ilişkisel yapısını ayarlarken bir rastgele faktörü ve sabit olanlar gibi başka faktörler olarak, sadece konunun bir karma modeli bir ANOVA denk olduğunu. Bu nedenle, bileşik simetrinin karışık (yani, bölünmüş arsa) ANOVA bağlamında ne anlama geldiğini bilmek istiyorum, en iyi ihtimalle düz İngilizce …

35 correlation  anova  mixed-model  lme4-nlme 

İki kuyruklu hipotez testini anlıyorum. You have (genel ). -değeri olasılığıdır gözlemlenmiş olana kadar aşırı gibi en az verileri üretir.H0:θ=θ0H0:θ=θ0H_0 : \theta = \theta_0H1=¬H0:θ≠θ0H1=¬H0:θ≠θ0H_1 = \neg H_0 : \theta \ne \theta_0pppθθ\theta Tek kuyruklu hipotez testlerini anlamıyorum. Burada, (vs. ). P değerinin tanımı, yukarıda değiştirildi olmamalıdır: hala olasılığı olmalıdır gözlemlenmiş olana …

35 hypothesis-testing 

Bir modeldeki ( x1:x2veya x1*x2 ... xn-1 * xn) değişkenlerin olası her bir birleşiminin tam anlamıyla test edilmesi dışında . Bağımsız (umarım) değişkenleriniz arasında bir etkileşim olması gerektiğini veya COULD'un var olup olmadığını nasıl anlarsınız? Etkileşimleri belirlemeye çalışırken en iyi yöntemler nelerdir? Kullanabileceğiniz veya kullanabileceğiniz bir grafik tekniği var mı?

35 regression  modeling  interaction 

Ben sadece commentR'deki fonksiyonu keşfettim. Örnek: x <- matrix(1:12, 3,4) comment(x) <- c("This is my very important data from experiment #0234", "Jun 5, 1998") x comment(x) Bu, bu fonksiyona ilk kez geldiğimde ve bunun ortak / yararlı kullanımlarının ne olduğunu merak ediyordum. Google’da "R yorumu" nu aramak ve alakalı sonuçlar …

35 r 

Hangi istatistiksel araştırma bloglarını önerirsiniz ve neden?

35 references 

Konvolüsyonel bir sinir ağı (CNN) oluşturuyorum, burada bir konvolüsyon katmanım var, bunu bir havuz katmanı izlerim ve fazla uydurmayı azaltmak için bırakma uygulamak istiyorum. Bırakma katmanının havuzlama katmanından sonra uygulanması gerektiğini hissediyorum, ancak bunu destekleyecek hiçbir şeyim yok. Bırakma katmanını eklemek için doğru yer neresidir? Havuzlama katmanından önce mi sonra …

35 deep-learning  conv-neural-network  dropout 

Büyük fotoğraf: Örneklem büyüklüğünün arttırılmasının denemenin gücünü nasıl artırdığını anlamaya çalışıyorum. Öğretim elemanımın slaytları bunu, biri normal olmayan hipotez için diğeri alternatif hipotez için olan ve aralarındaki bir karar eşiğindeki 2 normal dağılımın resmi ile açıklar. Artan örneklem büyüklüğünün varyansı azaltacağını ve böylece daha yüksek kurtoza neden olacağını, böylece eğrilerdeki …

35 variance  sampling  power 

Seyrek kodlama, giriş vektörlerini temsil etmek için aşırı eksiksiz bir temel vektörler dizisi öğrenmek olarak tanımlanır (<- neden bunu istiyoruz). Seyrek kodlama ve otomatik kodlayıcı arasındaki farklar nelerdir? Ne zaman seyrek kodlama ve otomatik kodlayıcı kullanacağız?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders