İstatistikler ve Büyük Veri

Benim asıl sorum, k / kat çapraz doğrulamanın eğitim / doğrulama / test setlerine sahip olma bağlamında nasıl uyduğunu anlamaya çalışmakla ilgilidir (eğer bu bağlamda uyuyorsa). Genellikle, insanlar verileri bir eğitim, validasyon ve test setine - örneğin Andrew Ng'in kursu başına 60/20/20 oranında) bölmekten söz ederler, böylece doğrulama seti model …

14 cross-validation  dataset  overfitting 

Çapraz entropi maliyeti regresyon bağlamında anlamlı mıdır (sınıflamanın aksine)? Eğer öyleyse, TensorFlow aracılığıyla bir oyuncak örneği verebilir misiniz? Değilse, neden olmasın? Michael Nielsen tarafından Yapay Sinir Ağları ve Derin Öğrenme'de çapraz entropi hakkında okuyordum ve doğal olarak regresyon ve sınıflandırma için kullanılabilecek bir şey gibi görünüyor, ancak TensorFlow'da bunu nasıl …

14 regression  entropy  tensorflow  cross-entropy 

Benim (çok temel) anlayışım için, Naive Bayes olasılıkları eğitim verilerindeki her özelliğin sınıf frekanslarına göre tahmin ediyor. Fakat sürekli değişkenlerin sıklığını nasıl hesaplar? Tahmin yaparken, eğitim setinde herhangi bir gözlemin aynı değerlerine sahip olmayabilecek yeni bir gözlem nasıl sınıflandırılır? Bir tür mesafe ölçüsü kullanıyor mu veya 1NN'yi mi buluyor?

14 machine-learning  classification  bayesian  naive-bayes 

Bazı derslerde, "Xavier" kilo başlatmanın (kağıt: Derin ileri beslemeli sinir ağlarını eğitmenin zorluğunu anlamanın ) sinir ağlarının ağırlıklarını başlatmanın etkili bir yolu olduğunu ifade ettim . Tamamen bağlı katmanlar için bu öğreticilerde temel bir kural vardı: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad \text{simpler alternative:} \quad Var(W) = \frac{1}{n_{in}} …

14 normal-distribution  variance  neural-networks  conv-neural-network 

Enterprise miner kullanarak olay oranı yaklaşık% 1 ile bir veri kümesinde degrade artırmayı deniyorum, ancak herhangi bir çıktı üretmek için başarısız. Sorum şu ki, karar ağacı temelli bir yaklaşım olduğu için, bu kadar düşük bir olayla gradyan artırmayı kullanmak doğru mu?

14 boosting  unbalanced-classes  rare-events  gradient 

Neden ROC eğrisinin altındaki alan, bir sınıflandırıcının rasgele seçilen bir "pozitif" örneği (alınan tahminlerden) rastgele seçilen "pozitif" olandan (orijinal pozitif sınıftan) daha yüksek sıraya koyma olasılığıdır? Gerçek pozitif ve negatif sınıf dağılımlarının CDF'lerini ve PDF'lerini vererek integrali kullanarak bu ifadeyi matematiksel olarak nasıl kanıtlayabiliriz?

14 probability  roc  auc 

Sürekli değişken olduğunu biliyorum .P[X=x]=0P[X=x]=0P[X=x]=0 Fakat ise sonsuz sayıda olası ' olduğunu göremiyorum . Ve ayrıca olasılıkları neden sonsuz derecede küçülüyor?xP[X=x]=0P[X=x]=0P[X=x]=0xxx

14 probability  self-study  references  continuous-data 

Birisi bir sezgi sağlayabilir neden yüksek bir olasılık dağılımının anları çarpıklık üçüncü ve dördüncü anlar gibi, tekabül sırasıyla kurtosis? Özellikle, üçüncü veya dördüncü güce yükseltilen ortalamadaki sapma neden bir çarpıklık ve basıklık ölçüsüne dönüşüyor? Bunu işlevin üçüncü veya dördüncü türevleriyle ilişkilendirmenin bir yolu var mı?pXpXp_X Bu çarpıklık ve basıklık tanımını …

14 mathematical-statistics  skewness  moments  intuition  kurtosis 

KL Diverjansının simetrik olmadığını ve kesinlikle bir metrik olarak kabul edilemeyeceğini biliyorum. Öyleyse, JS Divergence bir metrik için gerekli özellikleri karşıladığında neden kullanılır? KL diverjansının kullanılabildiği ancak JS Diverjansının kullanılamadığı ya da tam tersinin olmadığı senaryolar var mı?

14 probability  distributions  kullback-leibler  metric 

Birçok yerde (örneğin, burada ve burada ) log-sum-exp hile hakkında okudum ama özellikle Naive Bayes sınıflandırıcı (örneğin ayrık özellikleri ve iki sınıf ile) nasıl uygulandığına dair bir örnek görmedim Bu hileyi kullanarak sayısal taşma problemini tam olarak nasıl önleyebiliriz?

14 naive-bayes  underflow 

Araştırma çalışmalarım için scikit-learn uygulamasında bir sınıf SVM kullanıyordum . Ama bunu iyi anlayamadım. Herkes bir sınıf SVM hakkında basit ve iyi bir açıklama verebilir misiniz?

14 machine-learning  svm  data-mining  novelty-detection 

MLE = Maksimum Olabilirlik Tahmini MAP = Maksimum posteriori MLE sezgisel / naiftir, çünkü sadece parametre verilen gözlem olasılığı (yani olabilirlik fonksiyonu) ile başlar ve parametrenin gözlemle en iyi anlaşmaları bulmaya çalışır . Ancak, ön bilgi dikkate alınmaz. HARİTA, Bayes kuralı aracılığıyla ön bilgileri dikkate aldığı için daha makul görünmektedir. …

14 machine-learning  bayesian  estimation  maximum-likelihood  inference 

Lojistik regresyonda aşırı dağılım kavramını ele almaya çalışıyorum. Tepki değişkeninin gözlenen varyansı binom dağılımından beklenenden daha büyük olduğunda aşırı dağılımın olduğunu okudum. Fakat bir binom değişkeni sadece iki değere (1/0) sahipse, nasıl bir ortalaması ve varyansı olabilir? Bernoulli denemelerinin x sayısından elde edilen başarıların ortalamasını ve varyansını hesaplamakta iyiyim. Ama …

14 logistic  variance  binomial  mean  overdispersion 

10 kat çapraz doğrulamayı kullandığımda parametre optimizasyonu hakkında bir sorum var. Her katın model eğitimi sırasında parametrelerin düzeltilip düzeltilmeyeceğini sormak istiyorum, yani (1) her katın ortalama doğruluğu için bir dizi optimize edilmiş parametre seçin. veya (2) Her kat için optimize edilmiş parametreyi bulmalıyım ve daha sonra her kat, modelini eğitmek …

14 cross-validation  optimization  parameterization 

Ben dput kullanarak burada yüklediğim sayıların bir vektör (... / code / MyData.Rdata) var. Ben bca ci almak istiyorum bu yüzden bu kodu yazdım: my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) Ama aşağıdakileri çalıştırdığımda bunu alıyorum: > boot.ci(boot.out) Error in bca.ci(boot.out, conf, …

14 r  bootstrap