İstatistikler ve Büyük Veri

MRI verilerini kullanarak kansere yanıtı tahmin etmek için dört katmanlı bir CNN'im var. Doğrusal olmamaları tanıtmak için ReLU aktivasyonlarını kullanıyorum. Trenin doğruluğu ve kaybı monoton bir şekilde artar ve düşer. Ancak, test doğruluğum çılgınca dalgalanmaya başlar. Öğrenme oranını değiştirmeyi, katman sayısını azaltmayı denedim. Ancak, dalgalanmaları durdurmaz. Bu cevabı bile okudum …

31 machine-learning  python  deep-learning 

Coursera materyalini kullanarak makine öğrenmeyi öğrenmeye çalışıyordum . Bu derste Andrew Ng, hata fonksiyonunu (maliyet fonksiyonu) en aza indirecek doğrusal regresyon modelinin katsayılarını bulmak için gradyan iniş algoritması kullanır. Doğrusal regresyon için degrade inişe ihtiyacımız var mı? Görünüşe göre hata fonksiyonunu analitik olarak farklılaştırabilir ve katsayıları çözmek için sıfıra ayarlayabilirim; …

31 regression  machine-learning  linear-model  gradient-descent 

Bayesian istatistiklerinde çok yeniyim ve bu aptalca bir soru olabilir. Yine: Düzgün bir dağılım belirten bir öncekiyle güvenilir bir aralık düşünün. Örneğin, 0 dan 1 e kadar, burada 0 dan 1 e kadar bir etkinin olası tüm değerleri temsil eder. Bu durumda,% 95 güvenilir bir aralık% 95 güven aralığına eşit …

31 bayesian  confidence-interval  estimation  prior  credible-interval 

Diğer konuyu burada gördüm ama cevabın asıl soruyu tatmin ettiğini sanmıyorum. Sürekli okuduğum, Naive Bayes'ın log odds gösterimini kullanarak doğrusal bir sınıflandırıcı (örneğin: burada ) (doğrusal bir karar sınırı çizecek şekilde) olduğu. Ancak, iki Gauss bulutunu simüle ettim ve bir karar sınırı taktım ve sonuçları aldım (n. Kitaplık e1071, naiveBayes …

31 classification  naive-bayes 

Lojistik regresyonda (ve varsayılan dağılımı) bir hata teriminin bulunup bulunmadığı üzerine, çeşitli yerlerde okudum: hata terimi yok hata terimi binom dağılımına sahiptir (cevap değişkeninin dağılımına göre) Hata terimi lojistik bir dağılıma sahip Birisi lütfen netleşebilir mi?

31 logistic  binomial  bernoulli-distribution  logistic-distribution 

Değişkenlerin kümelerinin randomForestR'deki bir sınıflandırma modeline göre göreceli önemini belirlemek isterim . importanceİşlev, MeanDecreaseGiniher bir yordayıcı için metrik sağlar - bunu bir kümedeki her yordayıcı arasında toplamak kadar basit midir? Örneğin: # Assumes df has variables a1, a2, b1, b2, and outcome rf <- randomForest(outcome ~ ., data=df) importance(rf) # …

31 r  machine-learning  classification  random-forest 

18.05 MIT OpenCourseWare notlarında, Olasılık ve İstatistiğe Giriş, Bahar 2014 (şu anda burada mevcut ): Önyükleme yüzdelik metodu sadeliği nedeniyle çekici. Bununla birlikte, bir önyükleme dağılımına bağlıdır bir göre özellikle gerçek dağılımı çok yakın bir olmak örnek . Rice, yüzdelik yöntemden bahseder: “Önyükleme örneklemesi dağılımının güven sınırları olan miktarlarının doğrudan …

31 confidence-interval  bootstrap 

Vikipedi tanımlarına bakarak: Ortalama Kare Hatası (MSE) Kalan Kareler Toplamı (RSS) Bana öyle geliyor ki MSE = 1N-RSS = 1N-Σ ( fben- yben)2MSE=1N-RSS=1N-Σ(fben-yben)2\text{MSE} = \frac{1}{N} \text{RSS} = \frac{1}{N} \sum (f_i -y_i)^2 burada örnek sayısıdır ve bizim .N-N-Nfbenfbenf_iybenybeny_i Ancak, Wikipedia makalelerinden hiçbiri bu ilişkiden bahsetmiyor. Niye ya? Bir şey mi kaçırıyorum?

31 residuals  mse 

Önyükleme işleminin tahmin edicideki önyargı tahminini sağlayabildiği sık sık iddia edilmektedir. Eğer T bir istatistik için tahmini ve ~ t i önyükleme kopyaları vardır ile ( i ∈ { 1 , ⋯ , N } ), daha sonra önyargı önyükleme tahminidir ki bu oldukça huzursuz görünüyor.t^t^\hat tt~it~i\tilde t_ii∈{1,⋯,N}i∈{1,⋯,N}i\in\{1,\cdots,N\}biast≈1N∑it~i−t^biast≈1N∑it~i−t^\begin{equation} \mathrm{bias}_t \approx …

31 bootstrap  bias 

Destek vektör sınıflandırması için libsvm ( http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ) aracını kullanıyorum . Ancak, girdi verilerinin formatı hakkında kafam karıştı. README'den: Eğitim ve test veri dosyasının formatı şudur: <label> <index1>:<value1> <index2>:<value2> ... . . . Her satır bir örnek içerir ve '\ n' karakteriyle sonlanır. Sınıflandırma için, <label>sınıf etiketini gösteren bir tamsayıdır …

31 machine-learning  svm  python  libsvm  c++ 

Kement regresyon modelleri ve parametrelerin denklemin sadece kısmen girdiği diğer düzenli modeller için AIC veya BIC değerlerini hesaplamak mümkün mü. Kişi serbestlik derecelerini nasıl belirler? Paketdeki glmnet()fonksiyona kement regresyon modellerine uyması için R kullanıyorum glmnetve bir model için AIC ve BIC değerlerinin nasıl hesaplanacağını bilmek istiyorum. Bu şekilde, değerleri normalleştirme …

31 r  model-selection  lasso  aic  bic 

Bu benzer bir soruya benziyor ve fazla cevap alamadım. Cook's D gibi testlerden kaçınmak ve sadece kalıntılara bir grup olarak bakmak, diğerlerinin uygunluk durumunu değerlendirirken artıkları nasıl kullandığıyla ilgileniyorum. Ham artıkları kullanıyorum: QQ-arsada, normalliği değerlendirmek için bir grafiği olarak (a) 'hetereoscedasticity ve (b) seri otokorelasyon gözün kontrolü için artıkların karşı.yyy …

31 goodness-of-fit  residuals 

Diyelim ki 1000 bileşenim olduğunu ve bu girişlerin kaç kez başarısız olduğunu ve her girişimde hata verdiğine dair veri topladığımı varsayalım, ayrıca ekibimin sorunu çözmesinin ne kadar sürdüğünü de izliyorum. Kısacası, bu 1000 bileşenin her biri için onarım süresini (saniye olarak) kaydediyorum. Veriler bu sorunun sonunda verilmiştir. Tüm bu değerleri …

31 distributions  data-visualization  survival  reliability  distribution-identification 

“Kayıp” terimi “hata” ile eş anlamlı mıdır? Tanımda bir fark var mı? Ayrıca, "kayıp" teriminin kökeni nedir? Not: Burada belirtilen hata fonksiyonu normal hata ile karıştırılmamalıdır.

31 loss-functions 

Neden rektifiye edilmiş lineer birimleri (ReLU) sinir ağlarıyla kullanıyoruz? Bu sinir ağını nasıl geliştirir? Neden ReLU'nun bir aktivasyon işlevi olduğunu söylüyoruz? Sinir ağları için softmax aktivasyon fonksiyonu değil mi? Hem ReLU hem de softmax kullandığımızı tahmin ediyorum: softmax çıkışlı nöron 1 ----> nöron 2'nin girişindeki nöron 1 çıkışındaki ReLU ---> …

31 neural-networks