«optimization» etiketlenmiş sorular

1X2 (ağırlıklı) oyunlarda bahis önermek için bir algoritma kodlamaya çalışıyorum. Temel olarak, her oyunun bir takım maçları vardır (ev sahibi ve deplasman takımları): 1: ev sahibi kazanır X: çizmek 2: deplasman kazanır Her maç ve sembol ( 1ve Xve 2) için, bu sembolün doğru maç sonucu olma şansını / olasılığını …

16 optimization 

Standart Degrade İniş, tüm eğitim veri kümesi için degradeyi hesaplar. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Önceden tanımlanmış bir dönem sayısı için, ilk olarak parametre vektör parametrelerimizle tüm veri kümesi için kayıp fonksiyonunun gradient vektörü ağırlıkları_gradını hesaplıyoruz. Stokastik Degrade İniş, …

16 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Her iki yöntemin de artıları nelerdir?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Biz veri kümesi ile başlar , buna Lasso uygulanır ve bir çözelti elde etmek β L , Veri kümesi için tekrar Lasso uygulayabilir ( X S , Y ) , S sıfır olmayan kümesidir indeksleri β L , bir çözüm elde etmek için β R L olarak adlandırılan 'rahat Kement' …

16 regression  optimization  lasso  regularization  shrinkage 

Sorularım: Genelleştirilmiş doğrusal modellerin (GLM'ler) küresel bir maksimuma yaklaşması garanti ediliyor mu? Öyleyse neden? Ayrıca, konveksliği sağlamak için link fonksiyonunda ne gibi kısıtlamalar vardır? GLM'leri anladığım, oldukça doğrusal olmayan bir olasılık fonksiyonunu en üst düzeye çıkarmalarıdır. Böylece, birkaç yerel maxima olduğunu ve yakınsama parametre kümesi optimizasyon algoritması için başlangıç ​​koşullarına …

16 generalized-linear-model  optimization  convergence  exponential-family 

Bir fonksiyonun minimumunu bulmam gerekiyor. Http://docs.scipy.org/doc/scipy/reference/optimize.html adresindeki dokümanları okumak Aynı şeyi yapan, yani minimum olanı bulan birkaç algoritma olduğunu görüyorum. Hangisini seçmem gerektiğini nasıl bilebilirim? listelenen algoritmanın bazıları Yokuş aşağı simpleks algoritmasını kullanarak bir işlevi en aza indirin. BFGS algoritmasını kullanarak bir işlevi en aza indirin. Doğrusal olmayan eşlenik gradyan …

16 optimization 

Karışım modellerinde (Gauss Karışımı, Gizli Markov Modeli, vb.) Beklenen Maksimizasyon yöntemini vurgulayan birçok literatür vardır. EM neden önemlidir? EM, optimizasyon yapmanın bir yoludur ve degrade tabanlı yöntem (gradyan terbiyeli veya newton / yarı-newton yöntemi) veya BURADA tartışılan diğer gradyansız yöntem olarak yaygın olarak kullanılmaz . Buna ek olarak, EM'nin hala …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

Farklı Perceptron uygulamaları ile biraz denedim ve "iterasyonları" doğru anladığımdan emin olmak istiyorum. Rosenblatt'ın orijinal algılayıcı kuralı Anladığım kadarıyla, Rosenblatt'ın klasik perceptron algoritmasında, ağırlıklar aynı anda her eğitim örneğinden sonra güncellenir. Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i burada etaetaeta burada öğrenme kuralıdır. Hem hedef hem de gerçek eşik değerlerdir …

15 optimization  gradient-descent  perceptron 

ARIMA modelleme / Box Jenkins (BJ) parametrelerinin nasıl hesaplandığını anlamaya çalışıyorum. Maalesef karşılaştığım kitapların hiçbiri Log-Likelihood tahmin prosedürü gibi tahmin prosedürünü ayrıntılı olarak açıklamıyor. Web sitesi / öğretim materyali çok yararlı buldum . Yukarıda referansta bulunulan kaynaktan denklem aşağıdadır. L L ( θ ) = - n2günlük( 2 π) - …

15 time-series  forecasting  arima  optimization  box-jenkins 

Konvansiyonel sinir ağları hakkında çok şey okudum ve yok olan gradyan probleminden nasıl kaçındıklarını merak ediyordum. Derin inanç ağlarının tek seviyeli otomatik kodlayıcıları veya diğer önceden eğitilmiş sığ ağları biriktirdiğini biliyorum ve bu nedenle bu sorunu önleyebilirim ama CNN'lerde nasıl önlendiğini bilmiyorum. Wikipedia'ya göre : "yukarıda belirtilen" kaybolan gradyan sorununa …

15 machine-learning  optimization  deep-learning  gradient-descent 

Lmer'in (gerçekten parıldayan) çıktılarını bir oyuncak binomial örneğiyle eşleştirmek istiyorum. Vinyetleri okudum ve neler olduğunu anladığımı düşünüyorum. Ama görünüşe göre değil. Sıkıştıktan sonra, "gerçeği" rastgele etkiler açısından sabitledim ve sadece sabit etkilerin tahmin edilmesinden sonra gittim. Bu kodu aşağıya ekliyorum. + Z %*% b.kYasal olduğunu görmek için yorum yapabilir ve …

15 r  mixed-model  optimization  lme4-nlme 

Bir takip gelince Benim sinir ağı bile Öklid mesafe öğrenemez Hatta daha ve tek relu için (rastgele ağırlığı) tek relu eğitmek çalıştı basitleştirilmiş. Bu, en basit ağdır ve yine de birleşemediği zamanın yarısıdır. İlk tahmin hedefle aynı yönde ise, hızlı bir şekilde öğrenir ve doğru 1 ağırlığına yaklaşır: İlk tahmin …

15 machine-learning  neural-networks  optimization  keras 

Derin Öğrenme için Adam optimizer hakkında okuyordum ve Begnio, Goodfellow ve Courtville'in yeni Deep Learning kitabında şu cümle ile karşılaştım: Adam, başlangıç ​​noktasındaki başlangıçlarını hesaplamak için hem birinci dereceden momentlerin (momentum terimi) hem de (merkezsiz) ikinci dereceden momentlerin tahminlerine önyargı düzeltmeleri içerir. bu önyargı düzeltme terimlerini dahil etmenin temel nedeni, …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Degrade iniş algoritmasının genel ayarında, burada geçerli nokta, adım boyutu ve degrade değerlendirildi . x n η g r a d i e n t x n x nxn + 1= xn- η∗ gr a dben e n txnxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta * gradient_{x_n}xnxnx_nηη\etagr a dben e n txngradientxngradient_{x_n}xnxnx_n …

15 algorithms  optimization 

Amacım sensör sinyallerini sınıflandırmak. Çözümümün şimdiye kadarki kavramı: i) Ham sinyalden mühendislik özellikleri ii) ReliefF ve kümeleme yaklaşımı ile ilgili özellikleri seçme iii) NN, Random Forest ve SVM uygulayın Ancak bir ikilemde sıkışıp kaldım. İi) ve iii) 'de, ReliefF için k-En Yakın Neigbours veya sensör sinyalinin değerlendirildiği pencere uzunluğu veya …

15 feature-selection  hyperparameter  optimization