Teorik makine öğrenmesi için neden dışbükey optimizasyon çalışılıyor?

Doktora için teorik makine öğrenmesi - transfer öğrenimi, spesifik olması için çalışıyorum.

• Merakım dışında, neden dışbükey optimizasyon dersi almalıyım?

• Teorik makine öğrenimi konusundaki araştırmamda dışbükey optimizasyondan ne gibi faydalar alabilirim?

Makine öğrenmesi algoritmaları her zaman optimizasyonu kullanır. Kayıp ya da hatayı minimuma indiririz veya bazı puanlama fonksiyonlarını en yükseğe çıkarırız. Gradyan iniş muhtemelen herhangi bir makine öğrenim kursunda yer alan "merhaba dünya" optimizasyon algoritmasıdır. Regresyon veya sınıflandırma modellerinde açıktır, ancak kümeleme gibi görevlerde bile verilerimize en iyi şekilde uyan bir çözüm arıyoruz (örn. K-araçları küme içi karelerin toplamını en aza indirir). Bu nedenle, makine öğrenme algoritmalarının nasıl çalıştığını anlamak istiyorsanız, optimizasyon hakkında daha fazla bilgi edinmek yardımcı olur. Ayrıca, hiperparametre ayarı gibi şeyler yapmanız gerekiyorsa, doğrudan optimizasyonu da kullanıyorsunuzdur.

Bir o dışbükey optimizasyonu yerine uğraşmak beri makine öğrenme için bu ilginç olmamalıdır iddia edilebilir dışbükey fonksiyonlar , sık sık karşılaşma kaybı aşağıda biri gibi yüzeyleri dışbükey uzaktır .

(kaynak: https://www.cs.umd.edu/~tomg/projects/landscapes/ ve arXiv: 1712.09913 )

Bununla birlikte, diğer cevaplarda belirtildiği gibi, dışbükey optimizasyon daha hızlı, daha basit ve daha az hesaplama açısından yoğundur, bu nedenle bir sorunu "dışbüklemek" (dışbükey optimizasyon dostu hale getirmek), sonra da dışbükey olmayan optimizasyon kullanmak genellikle daha kolaydır. Örneğin, gradyan iniş ve benzer algoritmalar , özellikle sinir ağları için makine öğreniminde yaygın olarak kullanılır, çünkü "çalışırlar", ölçeklendirilirler ve farklı yazılımlarda yaygın olarak uygulanırlar, bununla birlikte, kendileri için sahip olabileceği ve tuzaklara sahip olabilecekleri en iyisi değillerdir. , Ali Rahimi'nin NIPS 2017'deki konuşması tarafından tartışıldığı gibi .

Diğer yandan, evrimsel algoritmalar gibi dışbükey olmayan optimizasyon algoritmalarının ML toplumunda gittikçe daha fazla tanınırlık kazandığı görülmektedir , örneğin nöral evrim ile sinir ağlarını eğitmek son araştırma konusu gibi görünmektedir (ayrıca bkz . ArXiv: 1712.07897 ).

Burada iki soru olduğunu düşünüyorum.

• Neden optimizasyon çalışmalı?
• Neden dışbükey optimizasyon

@Tim'in neden optimizasyonun iyi bir cevabı olduğunu düşünüyorum. Makine optimizasyonu ile ilgilenen herkesin sürekli optimizasyon yapmasını şiddetle tavsiye ediyorum. Çünkü optimizasyon süreci / zaman içinde daha iyi bir çözüm bulmak, bir bilgisayarın öğrenme sürecidir.

Dışbükey fonksiyonlara neden ilgi duyduğumuz hakkında daha fazla konuşmak istiyorum. Nedeni basit: dışbükey optimizasyonlar "çözmesi daha kolay" ve çözmemiz gereken çok sayıda güvenilir algoritma var.

Ama dünya dışbükey mi? Hayır. Neden dışbükeyliğe takıntılısınız? Bu metaforu kontrol et

Bir polis, sokak lambası altında bir şey arayan sarhoş bir adam görür ve sarhoşun ne kaybettiğini sorar. Anahtarlarını kaybettiğini ve ikisi birlikte sokak ışığının altına baktığını söylüyor. Birkaç dakika sonra, polis onları burada kaybettiğinden emin olup olmadığını sorar ve sarhoş cevap verir, hayır, ve onları parkta kaybettiğini söyler. Polis, neden burada aradığını soruyor ve sarhoş, "ışığın olduğu yer burası" diyor.

En önemli paket servisi, makinenin öğrenmesinin uygun bir çözüm bulunamadığı sorunlara uygulanmasıdır. Yapabileceğin en iyi şey, iyi bir yaklaşım bulmak.

Buna karşılık, bir optimizasyon probleminiz olduğunda, optimum bir çözüm vardır, ancak genellikle makul sürede veya makul işlem gücüyle bulunamaz.

Kullandığınız araçlar ve algoritmalar temelde farklıdır. Bu yüzden, bir optimizasyon dersi almanın hemen bir faydası olmadığını söylerken, ilgili alanlarla ilgili biraz bilgi sahibi olmak her zaman iyidir. Bir optimizasyon problemini tanıyabiliyorsanız, bunu makine öğrenme algoritmalarıyla değil, optimizasyon algoritmalarıyla çözmeniz gerektiğini bileceksiniz. Yalnız diyeceğim çok değer.

Hxd1011'in dediği gibi, dışbükey problemlerinin hem teorik olarak hem de (tipik olarak) pratikte çözülmesi daha kolaydır. Bu nedenle, dışbükey olmayan problemlerde bile, birçok optimizasyon algoritması "1. adımı sorunu bir dışbükeyine indir" (muhtemelen bir süre içinde) içinde başlar.

Benzer bir şey doğrusal olmayan kök bulma ile olur. Genellikle çözüm (örneğin, Newton'un yöntemiyle) "adım 1'e gider. Doğrusal bir sorunu azaltın, çünkü bunları nasıl çözeceğimizi biliyoruz".

İlgi alanlarınız derin öğrenmeye uygulanan (dışbükey) optimizasyona dayanıyorsa (sinir ağları ile pratikte yaygın olarak kullanılan transfer öğrenmesinden bahsediyorsunuz) uygulamalarında, http: : //www.deeplearningbook.org/

Dışbükey optimizasyonun bir tartışması ve derin sinir ağları uygulandığında neden bu kadar başarılı olamadığı. Tabii ki, belki de mevcut uzlaşmayı değiştirecek bu alanda araştırma yapabilirsin!

Jerome H.'den duyduğum gibi, Makine Öğrenimi'nde geliştirilen Friedman yöntemleri aslında Makine Öğrenimi topluluğuna ait değildir.

Benim açımdan Makine Öğrenmesi, başka alanlardan çeşitli yöntemlerin toplanması gibidir.

İstatistiksel Öğrenme açısından bakıldığında, regresyon ve sınıflandırma için üç ana soru şunlardır:

1. Yaklaştırıcıyı çektiğiniz fonksiyon ailesi nedir

2. Bir işlevi nasıl çekeceğinizin kriterleri nedir

3. En iyi işlevi bulmak için yöntem nedir

Yapıcı bir şekilde (1) 'de çalışmak için - matematik optimizasyonun kullanımına nasıl yardımcı olabileceği çok açık değildir.

(2) 'de yapıcı bir şekilde çalışmak - hedefin amaç olduğu açıktır. Ve matematik optimizasyonu buna yardımcı olabilir.

Üzerinde (3) yapıcı şekilde çalışmak için - matematik optimizasyonuna ihtiyacınız var.

Matematik optimizasyonunun birkaç parçası var:

1. Dışbükey Optimizasyon / Dışbükey Analiz - çok güzel matematik alanı. Farklı olmama, problem değil. Ve uygulama açısından iki faydadan daha fazlası quasiconvex ve log-conveve olduğu dışbükey fonksiyonların 50 genellemesi vardır.

Ayrıca "stokastiklik" ile nasıl başa çıkılacağına dair yollar da var, "Kimse stokastik dışbükey optimizasyonun nasıl çözüleceğini kimse bilmiyor"

2. Konveks Olmayan Optimizasyon - genellikle insanlar bununla sürekli bir amaç anlamına gelir, ancak eğrilik değişebilir. Bu gezegendeki insanlar onu tam olarak nasıl çözeceğini bilmiyorlar. Ve aslında tüm mehtodlar kaldıraç yapar (1).

3. Kombinatoryal optimizasyon - o zaman daha da vahşi (2), şimdi bulduğunuz parametreler için eksi operatörünü bile uygulayamıyorsunuz. Bir örnek Karar Ağaçlarında "bölgeler" dir. Bu yüzden onunla nasıl başa çıkılacağının iki yolu vardır: a) Sorunu dışa vurun ve (1) b) 'den metotları kullanın. Çok sayıda parametre için çalışmaz. c) kaba kuvvet uygulayın, ancak bazı açgözlü adımlarla. CART'ın yaptığı bir şey.

En azından seni ikna ettiğimi düşünüyorum:

I) Dışbükey Optimizasyon çoğu optimizasyon problemi için merkezi bir şeydir.

II) "01:15 Optimizasyon aslında ML veya AI'dan daha büyük bir konu, fakat aslında daha büyük bir konu." ( https://www.youtube.com/watch?v=uF3htLwUHn0&t=992s )