Küresel olarak optimize edilebilir bir maliyet fonksiyonu formüle ederek bir probleme yaklaşmanın avantajları

Bu oldukça genel bir sorudur (yani istatistiklere özgü olması gerekmez), ancak yazarların aşağıdaki yaklaşımı izlemeyi tercih ettiği makine öğrenimi ve istatistiksel literatürde bir eğilim fark ettim:

Yaklaşım 1 : Küresel olarak optimal bir çözüm bulmanın mümkün olduğu bir maliyet fonksiyonunu formüle ederek (örn. Dışbükey bir maliyet fonksiyonunu formüle ederek) pratik bir soruna bir çözüm elde edin.

ziyade:

Yaklaşım 2 : Küresel olarak optimal bir çözüm elde edemeyeceğimiz bir maliyet fonksiyonu formüle ederek aynı soruna bir çözüm elde edin (örneğin, bunun için sadece yerel olarak optimal bir çözüm elde edebiliriz).

İki sorunun titizlikle ifade edilmesinin farklı olduğunu unutmayın; varsayım, birincisi için küresel olarak en uygun çözümü bulabileceğimiz, ikincisi için bulamayacağımızdır.

Diğer hususlar bir yana (yani hız, uygulama kolaylığı, vb.), Arıyorum:

1. Bu eğilimin bir açıklaması (örneğin, matematiksel veya tarihsel argümanlar)
2. Pratik bir sorunu çözerken 2 yerine Yaklaşım 1'i takip etmenin faydaları (pratik ve / veya teorik).

İnanıyorum ki amaç ilgilendiğiniz işlevi optimize etmek olmalıdır. Eğer bu bir binomial olasılık değil, yanlış sınıflandırmaların sayısı ise, o zaman yanlış sınıflandırma sayısını en aza indirmeye çalışmalısınız. Bununla birlikte, bahsedilen pratik nedenlerin sayısı (hız, uygulama, kararsızlık vb.) Nedeniyle, bu o kadar kolay olmayabilir ve hatta imkansız olabilir. Bu durumda, çözümü yaklaşık olarak seçmeyi tercih ederiz.

Temel olarak iki yaklaşım stratejisi biliyorum; ya orijinal sorunun çözümüne doğrudan yaklaşmaya çalışan algoritmalar buluyoruz ya da orijinal sorunu daha doğrudan çözülebilir bir sorun olarak yeniden biçimlendiriyoruz (örn. konveks gevşeme).

Bir yaklaşımı diğerine tercih etmenin matematiksel bir argümanı, a) gerçekte hesaplanan çözümün özelliklerini ve b) çözümün gerçekten ilgilendiğimiz sorunun çözümüne ne kadar yaklaştığını anlayabiliyor muyuz.

Optimizasyon problemine bir çözümün özelliklerini kanıtlayabildiğimiz istatistiklerde birçok sonuç biliyorum. Bana göre, hesapladığı şeyin matematiksel bir formülasyonuna sahip olmadığınız bir algoritmanın çözümünü analiz etmek daha zor görünüyor (örneğin, belirli bir optimizasyon problemini çözdüğü gibi). Kesinlikle yapamayacağınızı iddia etmeyeceğim, ancak hesapladığınız şeyin net bir matematiksel formülasyonunu verebilmeniz teorik bir fayda gibi görünüyor .

Bu matematiksel argümanların Yaklaşım 2 üzerinden Yaklaşım 1'e herhangi bir pratik fayda sağlayıp sağlamadığı net değil . Dışbükey olmayan bir kayıp fonksiyonundan korkmayan birileri kesinlikle var .

@NRH bu soruya bir cevap verdi (5 yıl önce), bu yüzden sadece Yaklaşım 1 ve 2'yi birleştiren bir Yaklaşım 3 sunacağım.

Yaklaşım 3 :

1. Bir dışbükey veya herhangi bir durumda, küresel olarak optimize edilebilir (mutlaka dışbükey değil), gerçekten çözmek istediğiniz soruna "yakın" olan problemi formüle edin ve çözün.
2. Gerçekten çözmek istediğiniz dışbükey olmayan bir optimizasyon problemine başlangıç ​​(başlangıç) çözümü olarak 1. adımdaki global olarak en uygun çözümü kullanın (veya 1. adımda çözülen sorundan daha fazla çözmek istediğiniz). Başlangıç ​​çözümünüzün, gerçekten çözmek istediğiniz dışbükey olmayan optimizasyon problemini çözmek için kullanılan çözüm yöntemine göre küresel optimum "cazibe bölgesinde" olduğunu umuyoruz.