İstatistikler ve Büyük Veri

Veri setimi normalleştirdim ve daha sonra açıklanmış küçük varyans oranları elde etmek için 3 bileşenli PCA çalıştırdım ([0.50, 0.1, 0.05]). Normalleştirmediğimde ancak veri setimi beyazlattığımda 3 bileşen PCA çalıştırdım, açıklanmış yüksek varyans oranlarına sahip oldum ([0.86, 0.06,0.01]). 3 bileşene kadar veri tutmak istediğim için, verileri normalleştirmemeli miyim? Anladığım kadarıyla her …

19 pca 

Çok sayıda R veri kümesine, DASL'deki ve başka yerlere gönderilen yayınlara baktım ve deneysel veriler için kovaryans analizini gösteren ilginç veri kümelerinin çok iyi örneklerini bulamıyorum. Stat ders kitaplarında kaydedilmiş veriler içeren çok sayıda "oyuncak" veri kümesi vardır. Aşağıdaki durumlarda bir örnek almak istiyorum: Veriler gerçek, ilginç bir hikaye ile …

19 dataset  ancova  predictor 

İstatistiksel Öğrenmenin Unsurları'nın karar sınırları olan bir LDA (doğrusal ayrımcı analiz) planı gördüm : Verilerin daha düşük boyutlu bir alt uzaya yansıtıldığını anlıyorum. Bununla birlikte, karar sınırlarını daha düşük boyutlu bir alt uzaya yansıtabilmem için orijinal boyuttaki karar sınırlarını nasıl aldığımızı bilmek istiyorum (yukarıdaki resimde siyah çizgileri sever). Orijinal (yüksek) …

19 r  references  discriminant-analysis 

MASS paketini Rkullanarak MM ağırlıkları ile sağlam bir doğrusal model tahmin ettim rlm(). `R`` bir sağlamaz model için değer, ama anlamlı bir miktar ise bir tane istiyorum. Ayrıca bir olan herhangi bir anlam olup olmadığını bilmek için ilgi am R 2 gözlem güçlü regresyon değerlendirildiler aynı şekilde toplam ve artan …

19 r  goodness-of-fit  r-squared  robust  rlm 

İstatistikte ustalaşıyorum ve diferansiyel geometriyi öğrenmem tavsiye ediliyor. Bu beni motive edecek çünkü diferansiyel geometri için istatistiksel uygulamaları duymaktan mutluluk duyacağım. İstatistikte diferansiyel geometri uygulamalarını bilen var mı?

19 mathematical-statistics  information-geometry 

Bu, bu sorunun yapılandırmacı devamıdır . Eğer aralığındaki tüm rasyonları destekleyen ayrı bir tekdüze rastgele değişkene sahip olamıyorsak, bir sonraki en iyi şey: [ 0 , 1 ][0,1][0,1] Bu desteğe sahip rastgele bir değişkeni , ve bir miktar dağılımı izler . Ve içimdeki usta, bu rastgele değişkenin elde etmek istediğimizi …

19 distributions  mathematical-statistics 

Aynı veri kümesinde temel bileşen analizi (PCA) ve açımlayıcı faktör analizi (EFA) yapmanın herhangi bir mantıklı olup olmadığını bilmek istiyorum. Profesyonellerin açıkça tavsiye ettiğini duydum: Analizin amacının ne olduğunu anlayın ve veri analizi için PCA veya EFA'yı seçin; Bir analizi yaptıktan sonra diğer analizi yapmaya gerek yoktur. İkisi arasındaki motivasyon …

19 pca  factor-analysis 

Ben bir kohort çalışmasını doğru bir şekilde analiz etmek için GEE'leri anlamaya çalışan bir epidemiyologum (Göreceli Riski tahmin etmek için bir günlük bağlantısı ile Poisson regresyonunu kullanarak). Ben daha açıklamak için daha bilgili birinin istiyorum "çalışma korelasyonu" hakkında birkaç sorum var: (1) Aynı kişide tekrarlanan ölçümlerim varsa, değiştirilebilir bir yapı …

19 gee 

Diyelim ki toplam kare artıklarını en aza indirdiğim bazı model parametrelerini hesaplıyorum ve hatalarımın Gaussian olduğunu varsayıyorum. Modelim analitik türevler ürettiğinden, optimize edicinin sonlu farklar kullanmasına gerek yoktur. Uyum tamamlandığında, takılan parametrelerin standart hatalarını hesaplamak istiyorum. Genel olarak, bu durumda, hata fonksiyonunun Hessianı kovaryans matrisi ile ilişkili olarak alınır: σ2H−1=Cσ2H−1=C …

19 standard-error  fitting 

Yeni bir ürün özelliği için ayrı bir test yaptık ve gelirdeki artışın önemli olup olmadığını ölçmek istiyoruz. Gözlemlerimiz kesinlikle normal olarak dağıtılmamıştır (kullanıcılarımızın çoğu harcama yapmaz ve bunu yapanların içinde çok sayıda küçük harcayan ve birkaç çok büyük harcayan kişiye doğru eğilir). Araçları karşılaştırmak, normal olarak dağıtılmayan verilerin konusunu ele …

19 bootstrap  outliers 

Bu kesin bir istatistik sorusu değil - ANOVA varsayımlarıyla ilgili tüm ders kitaplarını okuyabilirim - gerçek çalışan analistlerin varsayımları tam olarak karşılamayan verileri nasıl ele aldıklarını anlamaya çalışıyorum. Bu sitede cevap arayan pek çok soru yaşadım ve ANOVA'nın (soyut, ideal bir matematiksel bağlamda) ne zaman kullanılmayacağı veya aşağıda R'de tarif …

19 anova  heteroscedasticity  assumptions 

Bu verilerden oluşturulan bir kutu grafiğine bakarak çarpıklığa nasıl karar verilir: 340, 300, 520, 340, 320, 290, 260, 330 Bir kitap der ki, "Eğer alt çeyrek medyandan üst çeyreğe göre daha uzaksa, dağılım negatiftir." Diğer bazı kaynaklar aşağı yukarı aynı şeyi söyledi. R kullanarak bir kutu çizimi yaptım. Olumsuz çarpık …

19 outliers  skewness  boxplot 

Web'de bir yerde sırt regresyonu ( düzenlenmesi ile) ve PCA regresyonu arasında bir bağlantı okuduğumu hatırlıyorum : hiperparametre ile düzenli regresyon kullanırken , , regresyon, En küçük özdeğerli PC değişkeni.ℓ 2 λ λ → 0ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 Bu neden doğru? Bunun optimizasyon prosedürüyle ilgisi var mı? Saf bir şekilde, bunun …

19 regression  pca  regularization  ridge-regression 

Belirli bir veri kümesinde çıkarım yapmak için düzeltme işareti kullanmakla ilgileniyorum. Aşağıdakileri yapmak mümkün mü: şapkada eğitilmiş bir glmnet model I katsayıları üretir. Ben glm var inanmıyorum çünkü doğal özellik seçimi nedeniyle glmnet kullanmak ister misiniz? ROC metriğinden başka, modelin uyumunu değerlendirmek için kullanabileceğim başka bir metrik var mı? Bu …

19 caret  glmnet 

3-B yoğunluk fonksiyonunu grafiksel olarak görselleştirmenin en iyi yolu nedir? Olduğu gibi ?z= fX, Y( x , y)z=fX,Y(x,y)z=f_{X,Y}(x,y) Gerekli değil ama bunun için Rkod harika olurdu.

19 r  data-visualization  methodology