İstatistikler ve Büyük Veri

R gibi bazı dillerin neden hem NA hem de NaN olduğunu bilmek istiyorum. Farklılıklar nelerdir veya aynı mıdır? NA olması gerçekten gerekli mi?

48 r 

Değerleri bir grafik olarak çizdiğimizde, ikiz tepeleri gözlemleyerek iki modlu bir dağılımı tanımlayabildiğimizi anlıyorum, ancak bir kişi bunu programsal olarak nasıl bulur? (Bir algoritma arıyorum.)

48 distributions 

Veri görselleştirmesinde en iyi blog hangisidir? Bu soruyu bir topluluk wiki olarak yapıyorum çünkü oldukça özneldir. Lütfen her cevabı bir link ile sınırlandırın. Lütfen önerilen cevaplar için aşağıdaki kriterleri dikkate alın: [A] Bunun gibi sorulara kabul edilebilir cevaplar ... yeterli açıklamaları ve gerekçeli gerekçeleri sunması gerekir. Sadece bir köprü yapmaz. …

48 data-visualization  references 

Diyelim arasında bazı "gerçek" bir ilişki vardır demek yyy ve xxx öyle ki y=ax+b+ϵy=ax+b+ϵy = ax + b + \epsilon , nerede aaa ve bbb sabitlerdir ve ϵϵ\epsilon iid Normal gürültüdür. R kodundan rasgele veri ürettiğimde: x <- 1:100; y <- ax + b + rnorm(length(x))ve sonra böyle bir modele …

48 regression 

Moment tabanlı gradient iniş aşağıdaki gibi çalışır: v = s e l f. m, O m e n t u m * m - l r * gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g burada önceki ağırlık güncellemesidir ve , parametrelerine göre mevcut gradyandır , öğrenme hızıdır ve bir sabittir.g p l r s e l …

48 optimization  gradient-descent 

GBM ile Adaboost arasındaki farkları anlamaya çalışıyorum. Bunlar şimdiye dek anladım: Hem önceki modelin hatalarından ders alan ve hem de modellerin ağırlıklı toplamını yapan yükseltme algoritmaları vardır. GBM ve Adaboost, kayıp fonksiyonları dışında oldukça benzerdir. Ancak yine de aralarındaki farklar hakkında bir fikir edinmek benim için zor. Birisi bana sezgisel …

48 boosting  gbm  adaboost 

Sanırım cevap evet olmalı, ama hala bir şeyin doğru olmadığını hissediyorum. Literatürde bazı genel sonuçlar olmalı, biri bana yardımcı olabilir mi?

48 covariance  matrix  covariance-matrix  linear-algebra 

Ben kullanıyorum parti 10.000 satır ve 34 özelliklerle R paketi ve bazı faktör özellikleri 300'den fazla seviyeleri var. Hesaplama süresi çok uzun. (Şimdiye kadar 3 saat sürdü ve henüz bitmedi.) Hangi öğelerin rastgele bir ormanın hesaplama zamanı üzerinde büyük bir etkisi olduğunu bilmek istiyorum. Çok fazla seviyeye sahip faktörleri var …

48 r  random-forest 

Denetimsiz öğrenmeye ilişkin (kümelenme gibi), performansı değerlendirmek için herhangi bir ölçüm var mı?

48 machine-learning  clustering  data-mining  unsupervised-learning 

Kimliğini (bağımsız ve özdeş olarak dağıtılmış) teknik olmayan insanlara açıklamaya nasıl devam edersiniz?

48 random-variable  intuition 

2015 yılının ilk yarısında Makine Öğrenimi dersini yaptım (Andrew Ng, BÜYÜK kurs). Ve makine öğrenmenin temellerini öğrendi (doğrusal regresyon, lojistik regresyon, SVM, Nöron Ağları ...) Ayrıca 10 yıldır bir geliştiriciyim, bu nedenle yeni bir programlama dili öğrenmek sorun olmaz. Son zamanlarda, makine öğrenmesi algoritmalarını uygulamak için R öğrenmeye başladım. Ancak, …

47 r  regression  machine-learning  references 

Tüm verilerimi veya katlamalarımı (CV uygulanmışsa) aynı anda mı değiştirebilirim? Örneğin (allData - mean(allData)) / sd(allData) Tren seti ve test setini ayrı ayrı değiştirebilir miyim? Örneğin (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Yoksa tren takımını değiştirip test setinde hesaplamaları kullanabilir miyim? Örneğin (trainData - mean(trainData)) / …

47 r  cross-validation  data-transformation  normalization  standardization 

Tamamen körüm ve bir programlama geçmişinden geliyorum. Yapmaya çalıştığım şey makine öğrenmeyi öğrenmek ve bunu yapmak için önce doğrusal regresyon hakkında bilgi edinmem gerekiyor. İnternette bu konuda bulabildiğim tüm açıklamalar ilk önce verileri gösteriyor. Grafiklere ve parsellere bağlı olmayan lineer regresyonun pratik bir açıklamasını arıyorum. İşte basit doğrusal regresyonun amacını …

47 regression  intuition 

KL diverjansının arkasındaki sezgiyi, bir model dağılım fonksiyonunun verinin teorik / doğru dağılımından ne kadar farklı olduğunu öğrendim. Okuyorum kaynak bu iki dağılım arasındaki 'mesafeye' sezgisel anlayış yararlıdır, ancak iki dağılımlar için çünkü tam anlamıyla alınması gerektiğini söylemeye devam ediyor ve , KL Iraksama içinde simetrik değildir ve .PPPQQQPPPQQQ Son …

47 distributions  distance  intuition  kullback-leibler 

Bu genel olarak bir sorudur, herhangi bir yönteme veya veri kümesine özgü değildir. Veri setinde 0 sayısının% 90 civarında, 1 sayısının% 10 civarında olduğu Denetimli Makine öğreniminde sınıf dengesizliği problemiyle nasıl başa çıkacağız. Sınıflandırıcıyı nasıl optimum şekilde eğitiyoruz? İzlediğim yollardan biri, veri setini dengelemek ve ardından sınıflandırıcıyı eğitmek ve bunu …

47 machine-learning  unbalanced-classes  supervised-learning