İstatistikler ve Büyük Veri

Maalesef bu başka bir yerde cevaplandıysa, bulamadım. Standart sapmayı oluşturmak için neden özellikle de sapmanın karekökünü aldığımızı merak ediyorum. Yararlı bir değer üreten karekök alma konusunda ne?

26 variance  standard-deviation 

Parametre ayarlama kabiliyeti ve homojen arayüzü için şapkayı çok tercih ederim, ancak uygulanan "çıplak" model NA'lara izin verse bile her zaman tam veri setleri gerektirdiğini gözlemledim (NA'sız). Bu çok zahmetlidir, bunun için ilk başta gerekli olmayan çalışma yöntemlerini uygulamalısınız. Biri imparatorluğu nasıl ortadan kaldırabilir ve hala caret avantajlarını kullanabilir?

26 r  missing-data  data-imputation  caret 

Toplam karşılaştırması yaptığımız, ikili istatistiklere ilişkin post-hoc çıkarımlar veya çoklu bir regresyon gibi çoklu karşılaştırma senaryosuna sahip olduğumuzu varsayalım . Ayrıca, bu katlar arasındaki çıkarımı, güven aralıkları kullanarak desteklemek istediğimizi varsayalım.mmm 1. CI'lara çoklu karşılaştırma ayarlamaları yapıyor muyuz? Yani çoklu karşılaştırmalar yeniden tanımlanmasını zorlayacak gibi, olan birine aile bilge hata …

26 confidence-interval  multiple-comparisons  inference 

Bire bir-hepsi-bir ile bire-bir-bir SVM sınıflandırıcısı arasındaki fark nedir? One-vs-all, yeni görüntünün tüm türlerini / kategorilerini sınıflandırmak için bir sınıflandırıcı anlamına gelir ve one-vs-one yeni görüntünün tüm türlerini / kategorilerini farklı sınıflandırıcı ile sınıflandırır (her bir kategori özel sınıflandırıcı tarafından kullanılır) anlamına mı geliyor? Örneğin, yeni resim daire, dikdörtgen, üçgen, …

26 machine-learning  classification  svm 

Bir yerde Değişken Bayes yönteminin EM algoritmasının bir genellemesi olduğunu okudum. Aslında, algoritmaların yinelemeli kısımları çok benzer. EM algoritmasının Variational Bayes'ın özel bir sürümü olup olmadığını test etmek için aşağıdakileri denedim: YYY veri, gizli değişkenlerin toplanması ve parametrelerdir. Varyasyonel . Nerede ler daha basit, uysal dağılımları vardır.Θ P ( X …

26 bayesian  expectation-maximization  variational-bayes 

Birisi lütfen bana SVM'deki çekirdekler arasındaki farkı söyleyebilir mi: Doğrusal Polinom Gauss dili (RBF) sigmoid Çünkü çekirdeğin girdi alanımızı yüksek boyutsallık özellikli alanla eşleştirmek için kullanıldığını biliyoruz. Ve bu özellik alanında, doğrusal olarak ayrılabilir sınırı buluruz. Ne zaman kullanılırlar (hangi şartlar altında) ve neden?

26 machine-learning  svm  pattern-recognition  kernel-trick 

Olasılıkta birleşen bir rassal değişken ile dağılımda birleşen bir rastgele değişken arasındaki sezgisel fark nedir ? Çok sayıda tanım ve matematiksel denklem okudum, ancak bu gerçekten yardımcı olmuyor. (Lütfen aklınızda bulundurun, ekonometri okuyan bir lisans öğrencisiyim.) Rasgele bir değişken nasıl tek bir sayıya, aynı zamanda bir dağılıma nasıl yakınlaşabilir?

26 distributions  random-variable  convergence  intuition 

scikit-learnMakine öğrenim kütüphanesinden (Python) Doğrusal Ayrımcılık Analizi'ni (LDA) boyutsallığın azaltılması için kullanıyordum ve sonuçları biraz merak ediyordum. Şimdi, LDA'nın ne scikit-learnyaptığını merak ediyorum , böylece sonuçlar R'de yapılan bir manuel yaklaşımdan veya LDA'dan farklı görünecek şekilde farklı görünebilir. Biri bana burada bazı bilgiler verebilirse harika olur. Temel olarak en çok …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Wagenmakers'ın internet sitesinden indirdiğim Hoekstra ve arkadaşlarının 2014 tarihli "Güven aralıklarının sağlam şekilde yanlış yorumlanması" konulu makalesini okudum . Sondan iki sayfada, aşağıdaki görüntü belirir. Yazarlara göre, False tüm bu ifadelere doğru cevaptır. İfadelerin neden yanlış olduğundan emin değilim ve bildiğim kadarıyla makalenin geri kalanı bunu açıklamaya çalışmıyor. 1-2 ve …

26 hypothesis-testing  confidence-interval 

Matris bir PCA (veya SVD) yaklaşımı göz önüne alındığında ile bir matris , bunu biliyoruz en düşük rütbe tahmindir .XXXX^X^\hat XX^X^\hat XXXX Bu indüklenen normuna∥ ⋅ ∥2∥⋅∥2\parallel \cdot \parallel_2 (yani en büyük özdeğer normu) veya Frobenius normuna göre mi?∥ ⋅ ∥F∥⋅∥F\parallel \cdot \parallel_F

26 pca  svd  matrix-decomposition 

GOF testi, Kolmogorov-Smirnov, Anderson-Darling, vb. Gibi çeşitli hipotez testleri şu temel biçimi izler:χ2χ2\chi^{2} 'H0H0H_0 : Veriler verilen dağılımı takip ediyor. 'H1H1H_1 : Veriler verilen dağıtıma . Tipik olarak, biri verilen bazı verilerin belirli bir dağıtımı takip ettiği iddiasını değerlendirir ve eğer biri reddederse , veriler verilen dağılım için bazı seviyelerine …

26 hypothesis-testing  distributions  goodness-of-fit  ecdf 

Bir dizi gerçek numaram var. Yeni bir sayının miktarını tahmin etmem gerekiyor. Bunu R'de yapmanın temiz bir yolu var mı? Genel olarak? Umarım bu çok önemsiz değildir ;-) Yanıtınız için çok teşekkür ederiz. PK

26 r 

Hiyerarşik kümeleme yaparken, kümeler arasındaki mesafeyi ölçmek için birçok ölçüm kullanılabilir. Bu gibi iki ölçüm, merkezlerin ve kümelerdeki veri noktalarının hesaplanmasını ifade eder. Ortalama ve centroid arasındaki fark nedir? Bunlar kümedeki aynı nokta değil mi?

26 clustering  mean 

Ne belirleme katsayısı dağılımı, ya da R, kare R 2R2R^2 Boş hipotez altında, doğrusal, tek değişkenli çoklu regresyon, H 0 : β = 0H0:β=0H_0:\beta=0 ? Bu, k belirleyicisinin kksayısına ve n > k örneklerinin sayısına nasıl bağlıdır n>kn>k? Bu dağılımın modu için kapalı formlu bir ifade var mı? Özellikle, basit …

26 regression  mathematical-statistics  r-squared  intuition 

ABD ülkelerinde bir gerileme yürüttüm ve 'bağımsız' değişkenlerimde eşitliğini kontrol ediyorum. Belsley, Kuh ve Welsch Regresyon Teşhisi , Durum Endeksi ve Varyans Ayrışma Oranlarına bakmayı önerir: library(perturb) ## colldiag(, scale=TRUE) for model with interaction Condition Index Variance Decomposition Proportions (Intercept) inc09_10k unins09 sqmi_log pop10_perSqmi_log phys_per100k nppa_per100k black10_pct hisp10_pct elderly09_pct inc09_10k:unins09 …

26 r  multicollinearity  vif  variance-decomposition