«loss-functions» etiketlenmiş sorular

K-araçlarının genellikle Beklenti Maksimizasyonu kullanılarak optimize edildiğini biliyorum . Bununla birlikte, kayıp fonksiyonunu diğerlerini optimize ettiğimiz gibi optimize edebiliriz! Büyük ölçekli k-araçları için aslında stokastik gradyan kökenli bazı makaleler buldum , ancak sorumun yanıtını alamadım. Peki, bunun neden olduğunu bilen var mı? Beklenti Maksimizasyonu daha hızlı birleştiği için mi? Özel …

14 optimization  k-means  expectation-maximization  loss-functions 

Sınıflandırma için bir sinir ağı eğitmeye çalışıyorum, ancak sahip olduğum etiketler oldukça gürültülü (etiketlerin yaklaşık% 30'u yanlış). Çapraz entropi kaybı gerçekten işe yarıyor, ama bu durumda daha etkili olan alternatifler olduğunu merak ediyordum. veya çapraz entropi kaybı optimal midir? Emin değilim ama çapraz entropi kaybını "kırpma" düşünüyorum, böylece bir veri …

14 machine-learning  neural-networks  loss-functions  noise 

Bishop'un Örüntü Tanıma ve Makine Öğreniminin 3.2. Bölümünde , bir kare kaybı fonksiyonu için beklenen kaybın kare şeklinde bir önyargı terimine ayrılabileceğini belirten sapma-varyans ayrışmasını tartışır (bu, ortalama tahminlerin doğrudan ne kadar uzak olduğunu açıklar) model), bir varyans terimi (tahminlerin ortalamanın etrafına yayılmasını tanımlar) ve bir gürültü terimi (verilerin gerçek …

13 self-study  variance  bias  regularization  loss-functions 

Naive Bayes sınıflandırıcısı, sınıf üyeliği için arka değerini en üst düzeye çıkararak öğelerini bir sınıfına atayan ve öğelerin özelliklerinin bağımsız olduğunu varsayan sınıflandırıcıdır .C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) 0-1 kaybı, herhangi bir yanlış sınıflandırmaya "1" kaybı ve doğru sınıflandırmaya "0" kaybı atayan kayıptır. Sık sık (1) "Naive Bayes" …

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

Ian Goodfellow'un Derin Öğrenme kitabında, Bazen, gerçekten önem verdiğimiz kayıp fonksiyonu (örneğin, sınıflandırma hatası) verimli bir şekilde optimize edilebilen bir işlev değildir. Örneğin, beklenen 0-1 kaybını tam olarak en aza indirmek, doğrusal bir sınıflandırıcı için bile tipik olarak inatçıdır (giriş boyutunda üstel). Bu gibi durumlarda, tipik olarak vekil görevi gören …

12 neural-networks  deep-learning  loss-functions 

Nöral ağlar ve derin öğrenme noktaları com öğretici ile sinir ağlarını öğrenmeye başladım. Özellikle 3. bölümde çapraz entropi fonksiyonu hakkında bir bölüm vardır ve çapraz entropi kaybını şu şekilde tanımlar: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Bununla birlikte, Tensorflow girişini okurken, çapraz …

12 neural-networks  loss-functions  softmax  cross-entropy 

Ben ilgili bir soru sormak istiyorum bu bir . Burada xgboost için özel kayıp fonksiyonu yazma bir örnek buldum : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") # We …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

Bir yüz / yüz olmayan ikili algılamayı eğitmek için derin öğrenmeyi kullanmak istiyorum, hangi kaybı kullanmalıyım, SigmoidCrossEntropyLoss veya Menteşe kaybı olduğunu düşünüyorum . Bu doğru mu, ama ben sadece softmax kullanmalıyım ama sadece iki sınıfla mı merak ediyorum?

11 deep-learning  loss-functions  computer-vision  conv-neural-network 

Goodfellow'un (2016) derin öğrenme kitabında, erken durmanın L2 düzenlenmesi ile eşdeğerliğinden bahsetti ( https://www.deeplearningbook.org/contents/regularization.html sayfa 247). Maliyet fonksiyonu jjj dereceden yaklaşımı şu şekilde verilir: J^( θ ) = J( w*) + 12( w - w*)T'H( w - w*)J^(θ)=J(w*)+12(w-w*)T'H(w-w*)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) 'H'HHf( w + ϵ ) = f( w ) + f'( w …

11 neural-networks  deep-learning  loss-functions  derivative 

Sürgülü / yeniden boyutlandırılmış bir pencerede uygulanan bir CNN ikili sınıflandırıcı kullanmayı planlayan, çok nadiren (görüntülerde) oluşan nesnelerin bir dedektör yapmaya çalışıyorum. Dengeli 1: 1 pozitif negatif eğitim ve test setleri oluşturdum (bu durumda btw yapmak doğru bir şey mi?) Ve sınıflandırıcı doğruluk açısından bir test seti üzerinde iyi çalışıyor. …

11 logistic  classification  unbalanced-classes  loss-functions 

Bu scikit GradientBoosting'in binom sapma kaybı fonksiyonudur, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return (-2.0 / sample_weight.sum() * …

11 machine-learning  scikit-learn  boosting  loss-functions 

Sorunun çözümü: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] X'in medyanı olarak iyi bilinir XXX, ancak kayıp fonksiyonu diğer persantiller için nasıl görünür? Örn: X'in 25. persentili şu çözümdür: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] Bu durumda L nedir LLL?

11 expected-value  loss-functions 

Çeşitli kaggle yarışmalarında puanlama "mantık" temel alınarak yapıldı. Bu, sınıflandırma hatasıyla ilgilidir. İşte teknik bir cevap ama sezgisel bir cevap arıyorum. Mahalanobis mesafesiyle ilgili bu sorunun cevaplarını çok beğendim , ancak PCA mantık değil. Sınıflandırma yazılımımın ortaya koyduğu değeri kullanabilirim, ama gerçekten anlamıyorum. Neden doğru / yanlış pozitif / negatif …

11 interpretation  intuition  loss-functions 

Ben geldim bu slaytlar çevrimiçi derslerin birinde (slayt # 16 & # 17). Eğitmen Maksimum Posterior Tahmini (MAP) çözüm aslında nasıl anlatmaya çalışıyordu L ( θ ) = I[ θ ≠ θ*]L(θ)=ben[θ≠θ*]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}] , nerede θ*θ*\theta^{*} gerçek bir parametredir. Birisi bunun nasıl olduğunu açıklayabilir mi? Düzenle: Bağlantının …

10 bayesian  optimization  loss-functions  decision-theory  map-estimation 

Ben seq2seq modelleme için kodlayıcı-kod çözücü mimarisini tanıttı Cho 2014 kağıt üzerinde çalışıyorum . Bu makalede, uzunluğundaki bir giriş ve uzunluğundaki çıkışı için kayıp fonksiyonu olarak girdi verilen çıkışın (ya da negatif log olabilirliği) olasılığını kullanıyor görünmektedir :M y NxxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | …

10 deep-learning  loss-functions  rnn