«optimization» etiketlenmiş sorular

Bu makalenin amacı, düzenli log olasılığını en üst düzeye çıkararak bazı parametreleri optimize etmekti. Sonra Kısmi türevleri hesaplarlar. Ve sonra yazarlar, denklemi, birçok değişkenin pürüzsüz işlevlerini optimize etmek için standart bir yarı Newton prosedürü olan L-BFGS'yi kullanarak optimize ettiklerini belirtiyorlar (daha fazla ayrıntı yok). O nasıl çalışır ?

15 algorithms  optimization 

Derin öğrenme literatürü, degrade inişte sabit olmayan öğrenme oranları kullanarak akıllı hilelerle doludur. Üstel bozunma, RMSprop, Adagrad gibi şeylerin uygulanması kolaydır ve her derin öğrenme paketinde mevcuttur, ancak sinir ağlarının dışında var gibi görünmektedir. Bunun için herhangi bir nedeni var mı? Eğer insanlar umursamıyorlarsa, sinir ağlarının dışına bakmamıza gerek yok …

14 machine-learning  deep-learning  optimization  gradient-descent 

Bu soru, doğrusal modelin belirli bir versiyonunda kısıtlı maksimum olabilirlik (REML) tahmini ile ilgilidir: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), burada X(α)X(α)X(\alpha) bir ( n×pn×pn \times p ) ile parametrize matris α∈Rkα∈Rk\alpha \in \mathbb R^k , olduğu gibi Σ(α)Σ(α)\Sigma(\alpha) . ββ\beta rahatsız edici parametrelerin bilinmeyen bir …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

Bilgisayar görüşünde kötü bir sorun için optimizasyon hakkında okuyordum ve Wikipedia'daki optimizasyon ile ilgili aşağıdaki açıklama ile karşılaştım. Anlamadığım şey neden Bilgisayar Optimizasyonunda bu optimizasyona " Enerji minimizasyonu " diyorlar ? Bir optimizasyon sorunu aşağıdaki şekilde temsil edilebilir: Verilen: dan bazı set gerçek sayılara işleviAf: A → Rf:A→Rf: A \to …

14 machine-learning  optimization  computer-vision 

K-araçlarının genellikle Beklenti Maksimizasyonu kullanılarak optimize edildiğini biliyorum . Bununla birlikte, kayıp fonksiyonunu diğerlerini optimize ettiğimiz gibi optimize edebiliriz! Büyük ölçekli k-araçları için aslında stokastik gradyan kökenli bazı makaleler buldum , ancak sorumun yanıtını alamadım. Peki, bunun neden olduğunu bilen var mı? Beklenti Maksimizasyonu daha hızlı birleştiği için mi? Özel …

14 optimization  k-means  expectation-maximization  loss-functions 

Daha önce aşağıdaki ifadeyi duydum: "Optimizasyon, istatistikteki tüm kötülüklerin köküdür". Örneğin, bu konudaki en önemli yanıt, bu ifadeyi model seçimi sırasında çok agresif bir şekilde optimize etme tehlikesine atıfta bulunur. İlk sorum şu: Bu alıntı özellikle herhangi birine atfedilebilir mi? (örneğin istatistik literatüründe) Anladığım kadarıyla, ifade aşırı uyum risklerini ifade …

14 cross-validation  optimization  overfitting 

Optimizasyon işlevime uygun kısıtlı bir optimizasyon kütüphanesi seçimi için herhangi bir öneriniz var mı? Ben ai) doğrusal eşitlik ve eşitsizlik kısıtlamaları ile doğrusal olmayan bir işlevi en aza indiriyorum ve ii) işlevin gradyanını ve kendirini kullanıyorum. Eğer yardımcı olursa, en aza indirdiğim fonksiyon Kullback-Liebler ıraksamasıdır . constrOptim sadece eşitsizlik kısıtlamalarıyla …

14 r  optimization  software 

10 kat çapraz doğrulamayı kullandığımda parametre optimizasyonu hakkında bir sorum var. Her katın model eğitimi sırasında parametrelerin düzeltilip düzeltilmeyeceğini sormak istiyorum, yani (1) her katın ortalama doğruluğu için bir dizi optimize edilmiş parametre seçin. veya (2) Her kat için optimize edilmiş parametreyi bulmalıyım ve daha sonra her kat, modelini eğitmek …

14 cross-validation  optimization  parameterization 

Genellikle lojistik regresyonda, bir modele uyuyoruz ve eğitim seti hakkında bazı tahminler alıyoruz. Daha sonra bu eğitim tahminlerini ( burada olduğu gibi ) çapraz doğrular ve ROC eğrisi gibi bir şeye dayanarak optimum eşik değerine karar veririz . Neden gerçek modele INT eşiğinin çapraz doğrulamasını dahil etmiyoruz ve her şeyi …

13 logistic  cross-validation  optimization  roc  threshold 

Makine öğreniminin ne kadarının optimizasyon gerektirdiğini bilmek istedim. İstatistiklerden duyduğum kadarıyla, makine öğrenimi ile çalışan insanlar için önemli bir matematik konusudur. Benzer şekilde, makine öğrenimi ile çalışan birinin dışbükey veya dışbükey olmayan optimizasyon hakkında bilgi edinmesi ne kadar önemlidir?

13 machine-learning  optimization 

Amaç KKT anlayışının doğru olup olmadığını onaylayın. KKT hakkında daha fazla açıklama ve teyit isteyin. Arka fon SVM makalelerinde her zaman maviden çıkan KKT koşullarını, özellikle tamamlayıcı olanı anlamaya çalışmak. Soyut formül listesine ihtiyacım yok ama somut, sezgisel ve grafiksel bir açıklamaya ihtiyacım var. Soru Maliyet fonksiyonunu f (X) en …

13 svm  optimization  lagrange-multipliers 

Kısmen gözlenen bir matrisi veya daha genel olarak tensörü tamamlamak için işbirlikçi filtreleme (CF) projesi üzerinde çalışıyorum. Sahaya yeni başlayan biriyim ve bu proje için sonunda yöntemimizi, günümüzde, CF'de son teknoloji olan önerilen yöntemlerin kendileriyle karşılaştırıldığı bilinen diğer yöntemlerle karşılaştırmam gerekiyor. Araştırmam aşağıdaki yöntemleri ortaya çıkardı. Gerçekten de, bu makalelerin …

13 optimization  recommender-system  matrix-decomposition 

Elastik ağ için motivasyonlardan biri LASSO'nun aşağıdaki sınırlamasıydı: Gelen durumda, çünkü dışbükey optimizasyon problemine doğasının kement en fazla seçer n değişkenler ondan önce doymuş bileşikler,. Bu, değişken seçim yöntemi için sınırlayıcı bir özellik gibi görünmektedir. Ayrıca, katsayıların L1-normuna bağlı belirli bir değerden daha küçük olmadığı sürece, kement iyi tanımlanmamıştır.p>np>np > …

13 regression  optimization  feature-selection  lasso 

Bir arkadaşım modelleri karıştırıcı satıyor . Bazı karıştırıcılar çok basit ve ucuz, diğerleri çok sofistike ve daha pahalıdır. Verileri, her ay için, her bir blenderın (kendisi tarafından sabitlenen) fiyatlarından ve her model için satılan birimlerin sayısından oluşur. Bir gösterim oluşturmak için vektörleri burada ayı boyunca blender modeli fiyatıdır ve ayı …

13 optimization 

Gizli değişkenli modelleri (özellikle pLSA) öğrenmek için EM algoritmasına hızlı alternatifler var mı? Hız lehine hassasiyetten ödün vermekte sorun yok.

13 machine-learning  optimization  expectation-maximization  lsa