İstatistikler ve Büyük Veri

Boyutluluk laneti hakkında defalarca duydum, ama nasıl olduysa hala fikrini kavrayamıyorum, hepsi sisli. Bunu bir çocuğa açıklayacağınız gibi bunu en sezgisel bir şekilde açıklayabilir miyim, böylece ben (ve benim gibi kafam karışan diğerleri) bunu iyi anlayabilsin mi? DÜZENLE: Şimdi, diyelim ki çocuk bir şekilde kümelemeyi duymuş (örneğin, oyuncaklarını nasıl kümelendiğini …

91 machine-learning  dimensionality-reduction  high-dimensional 

Model seçimi için iç içe çapraz doğrulama nasıl kullanılır ? Çevrimiçi okuduklarımdan, iç içe geçmiş CV şu şekilde çalışır: Şebeke araştırması yapabildiğimiz iç CV döngüsü vardır (örneğin, mevcut her model için K-katını çalıştırma, örneğin hiperparametrelerin / özelliklerin kombinasyonu) İç katmanda kazanılan modelin performansını ayrı bir dış kat üzerinde ölçtüğümüz dış …

91 cross-validation  model-selection 

Biri bana, meslekten olmayan koşullarda maksimum olasılık tahmini (MLE) hakkında ayrıntılı olarak açıklayabilir mi? Matematiksel türev veya denklem içine girmeden önce altta yatan kavramı bilmek istiyorum.

91 mathematical-statistics  maximum-likelihood  intuition  definition  philosophical 

Biri bana bu soruyu bir iş görüşmesinde sordu ve ortak dağıtımlarının her zaman Gauss olduğunu söyledi. Ben her zaman bir iki değişkenli Gaussian'ı araçları, varyansları ve kovaryanslarıyla yazabileceğimi düşündüm. İki Gaussian'ın ortak ihtimalinin Gauss olmadığı bir durum olup olmadığını merak ediyorum.

91 normal-distribution  multivariate-analysis  copula  bivariate 

ANOVA uygun kukla değişkenlerin kullanımı ile lineer regresyona eşdeğerdir. ANOVA veya lineer regresyon kullanmanıza bakılmaksızın sonuçlar aynı kalır. Eşdeğerlikleri ışığında, doğrusal regresyon yerine ANOVA'nın kullanılmasının herhangi bir nedeni var mı? Not: Özellikle doğrusal regresyon yerine ANOVA kullanımının teknik sebeplerini duymakla ilgileniyorum . Düzenle İşte tek yönlü ANOVA kullanan bir örnek. …

91 regression  anova 

Yakın tarihli bir collokonyumda konuşmacının özeti, makine öğrenmeyi kullandıklarını iddia etti. Konuşma sırasında, makine öğrenmeyle ilgili tek şey, verileri üzerinde doğrusal regresyon gerçekleştirmeleriydi. 5D parametre alanındaki en uygun katsayıları hesapladıktan sonra, bir sistemdeki bu katsayıları diğer sistemlerin en uygun katsayılarıyla karşılaştırdılar. Doğrusal regresyon makinesi ne zaman öğrenme , sadece en …

90 regression  machine-learning  multiple-regression  terminology  definition 

Bir meslektaşla 50 ping pong oyunundan (ilk önce 21 puan, 2 ile kazanacağım), 50 tanenin hepsini kazanacağım üzerine bir bahis oynarım. Şimdiye kadar 15 maç oynadık ve ortalama olarak% 58 kazandı. puan, artı şimdiye kadar tüm oyunları kazandım. Yani,% 58 puan kazanma şansım olup olmadığını ve% 42 puan kazanma şansım …

90 probability  games 

Genel olarak, PCA gibi bir analizdeki varyansın oranının ilk ana bileşen tarafından açıklandığını söylemek ne anlama gelir ? Birisi bunu sezgisel olarak açıklayabilir ancak aynı zamanda “açıklamanın” temel bileşen analizi (PCA) açısından ne anlama geldiğinin kesin bir matematiksel tanımını verebilir mi?xxx Basit doğrusal regresyon için, en uygun çizginin r karesi …

90 regression  pca  linear-model  dimensionality-reduction 

Aynı arsa üzerinde çoklu seriler göstermek için kullanılacak en iyi renk kümesi hakkında herhangi bir çalışma yapıldı mı? Ben sadece varsayılanları kullanıyorum ve matplotlibhepsi parlak, birincil renkler oldukları için biraz çocukça görünüyorlar.

89 data-visualization 

Bilgisayar biliminde proje yönetimi ve tasarım kalıplarını sık sık duyuyoruz, ancak istatistiksel analizde daha az sıklıkta duyuyoruz. Bununla birlikte, etkili ve dayanıklı bir istatistiksel proje tasarlamaya doğru belirleyici bir adımın işleri düzenli tutmak olduğu görülmektedir. Genellikle R ve tutarlı bir dosya düzenini ayrı klasörlerde (ham veri dosyası, dönüştürülmüş veri dosyası, …

89 project-management 

R'de arsa (lm) tarafından oluşturulan grafikleri yorumlamakla ilgili bir sorum vardı. Ölçek konumunu ve kaldıraç arsalarını nasıl yorumlayacağımı söyleyebilir misiniz? Herhangi bir yorum takdir edilecektir. Temel istatistik, regresyon ve ekonometri bilgisini alır.

89 r  regression  data-visualization  residuals  outliers 

Görüntülerin nasıl normalleştirileceğine dair bazı farklılıklar var ancak çoğu bu iki yöntemi kullanıyor gibi görünüyor: Tüm görüntüler üzerinde hesaplanan kanal başına ortalamayı çıkarın (örn. VGG_ILSVRC_16_layers ) Tüm resimler üzerinde hesaplanan piksel / kanala göre çıkarma (örneğin, CNN_S , ayrıca Caffe'nin referans ağına bakınız ) Doğal yaklaşım aklımda her görüntüyü normalleştirmek …

88 deep-learning  image-processing 

İşte nasıl iç içe geçmiş çapraz rastgele etkilerini anladım: İç içe rasgele efektler , bir alt seviye faktörü yalnızca bir üst seviye faktörünün belirli bir düzeyinde göründüğünde ortaya çıkar. Örneğin, sınıftaki öğrenciler belirli bir zamanda sabit bir noktada. Gelen lme4Yani, iki eşdeğer yöntemden biriyle iç içe veriler için rasgele etkiler …

88 r  mixed-model  multilevel-analysis  lme4-nlme 

Hangi sayım değişkenleri (ve belki de resmi testler) sonucun bir sayı değişkeni olduğu gerilemeler için en bilgilendirici buluyor musunuz? Özellikle Poisson ve negatif binom modellerinin yanı sıra her birinin sıfır şişirilmiş ve engelli benzerleri ile ilgileniyorum. Bulduğum kaynakların çoğu, bu parsellerin "nasıl olması gerektiği" hakkında tartışmadan, artıkları ve takılan değerleri …

88 generalized-linear-model  residuals  negative-binomial  zero-inflation  poisson-regression 

Gama dağılımı oldukça geniş bir şekil aralığında olabilir ve ortalama ile varyans arasındaki iki parametre ile arasındaki bağlantıya bakıldığında, negatif olmayan verilerde heteroskedasticity ile başa çıkmak için, log-dönüştürülmüş OLS'nin yapabileceği şekilde WLS veya bir tür heteroskedasticity-tutarlı VCV tahmincisi olmadan yapmayın. Olumsuz, rutin olmayan veri modellemesi için daha fazla kullanırdım, ama …

88 generalized-linear-model  gamma-distribution