Optimizasyon ve Makine Öğrenimi

13

Makine öğreniminin ne kadarının optimizasyon gerektirdiğini bilmek istedim. İstatistiklerden duyduğum kadarıyla, makine öğrenimi ile çalışan insanlar için önemli bir matematik konusudur. Benzer şekilde, makine öğrenimi ile çalışan birinin dışbükey veya dışbükey olmayan optimizasyon hakkında bilgi edinmesi ne kadar önemlidir?

machine-learning optimization

— Ronald Grayson
kaynak

2

"makine öğrenimi ile çalışmak" belirsiz bir kavramdır - daha iyi ML yöntemleri geliştirmek için çalışmak bir cevap anlamına gelecektir, bilinen yöntemleri kullanan ML sistemleri geliştirmek tamamen farklı bir şeydir.

— Peteris

28

Benim bakış açım istatistik / makine öğreniminin neyi optimize etmeniz gerektiğini söylemesi ve optimizasyon aslında bunu nasıl yaptığınızdır.

$Y = X\beta + \varepsilon$ $E(\varepsilon) = 0$ $Var(\varepsilon) = \sigma^2I$ $\hat \beta$

\hat{β} = {argmin}_{b \in R^{p}} | | Y - X b | |^{2} .

$\hat \beta = \textrm{argmin}_{b \in \mathbb R^p} ||Y - Xb||^2.$

$\hat \beta$

\hat{f} = {argmin}_{f \in F} \frac{1}{n} \sum_{i = 1}^{n} L (y_{i}, f (x_{i}))

$\hat f = \textrm{argmin}_{f \in \mathscr F} \frac 1n \sum_{i=1}^n L(y_i, f(x_i))$

$\mathscr F$ $\hat f$

Sorunuzu tam olarak yanıtlamak için, bazı optimizasyonların bilinmesi kesinlikle yararlıdır, ancak genel olarak hiç kimse tüm bu alanlarda uzman değildir, bu yüzden mümkün olduğunca çok şey öğrenirsiniz, ancak bazı yönler her zaman sizin için bir kara kutu olacaktır. Belki de en sevdiğiniz ML algoritmasının arkasındaki SLT sonuçlarını düzgün bir şekilde incelemediniz veya belki de kullandığınız optimize edicinin iç işleyişini bilmiyorsunuzdur. Hayat boyu sürecek bir yolculuk.

— JLD
kaynak

3

It yetmeyecek açıkça söz en.wikipedia.org/wiki/Empirical_risk_minimization

— Emre

13

Uygulamada, birçok paket sizin için optimizasyon ve matematik detaylarının çoğunu halleder. Örneğin, TensorFlow, sizin için otomatik olarak sinir ağlarını eğitmek için backprop + stokastik degrade iniş yapabilir (sadece öğrenme oranını belirtmeniz gerekir). scikit-learn'ın ML araçları genellikle optimizasyonun gerçekte nasıl gerçekleştiği hakkında bir şeyler bilmenizi gerektirmez, ancak belki sadece bazı ayarlama parametrelerini ayarlar ve geri kalanıyla ilgilenir (örneğin, optimize edicinin çalıştığı yineleme sayısı). Örneğin, scikit-learn'daki herhangi bir matematiği bilmeden bir SVM eğitebilirsiniz - sadece verileri, çekirdek türünü besleyin ve devam edin.

Bununla birlikte, temel teoriyi bilmek (örn. Boyd ve Vandenberghe'nin Convex Optimization / Bertsekas'ın Doğrusal Olmayan programlama seviyesinde), özellikle teorik konular üzerinde çalışıyorsanız, algoritma / problem tasarımı ve analizinde yardımcı olabilir. Veya, optimizasyon algoritmalarını kendiniz uygulayabilirsiniz.

Ders kitabı optimizasyon yöntemlerinin pratikte modern ortamlarda çalışması için genellikle ince ayar yapılması gerektiğini unutmayın; örneğin, klasik Robbins-Munroe stokastik eğim inişini değil, daha hızlı hızlandırılmış bir varyantı kullanabilirsiniz. Bununla birlikte, optimizasyon sorunları ile çalışarak bazı bilgiler edinebilirsiniz.

— yarasa Adam
kaynak