Neden daha küçük ağırlıklar düzenli modellemede daha basit modellerle sonuçlanır?

Andrew Ng'nin Makine Öğrenimi kursunu bir yıl kadar önce tamamladım ve şimdi Lise Matematik araştırmamı Lojistik Regresyon çalışmalarına ve performansı optimize etmek için kullandığım tekniklere yazıyorum. Bu tekniklerden biri elbette düzenlileşmedir.

Düzenlemenin amacı, maliyet fonksiyonunu model basitliği hedefini içerecek şekilde genişleterek fazladan takmayı önlemektir. Bunu, bazı düzenlileştirme paramaterleriyle çarpılan her bir karenin ağırlık fonksiyonuna karıştırarak, maliyet fonksiyonuna ekleyerek ağırlık boyutunu cezalandırarak başarabiliriz .

Şimdi, Makine Öğrenmesi algoritması, eğitim setindeki doğruluğu korurken ağırlıkların boyutunu azaltmayı hedefleyecektir. Buradaki fikir, veriler üzerinde genelleştirilen ve daha az karmaşık olarak tüm stokastik gürültüye uymaya çalışmayan bir model üretebileceğimiz ortadaki bir noktaya ulaşacağımızdır.

Benim karışıklık neden biz cezalandırma boyutunu ağırlıkları? Neden daha büyük ağırlıklar daha karmaşık modeller oluşturur ve daha küçük ağırlıklar daha basit / pürüzsüz modeller yaratır? Andrew Ng, dersinde açıklamanın öğretilmesi zor bir ders olduğunu iddia ediyor, ama sanırım şimdi bu açıklamayı arıyorum.

Prof. Ng, yeni maliyet fonksiyonunun, özelliklerin ağırlıklarının (yani, x ^ 3 ve x ^ 4) sıfıra nasıl dönmesine neden olabileceğine ve böylece modelin derecesinin düşürülmesine bir örnek verdi. açıklama.

Sezgim, daha küçük olanların, daha küçük olanlara göre daha büyük özelliklere sahip olan özelliklerde “kabul edilebilir” olma eğiliminde olacağıdır (çünkü küçük ağırlıklara sahip olan özellikler, fonksiyonun temeli gibidir). Küçük ağırlıklar, yüksek dereceli özelliklere daha küçük "katkılar" anlamına gelir. Ancak bu sezgi çok somut değil.

Eğer kullanmak düzenlenişi sadece ancak in örnek hata minimize değil $OutOfSampleError \le InSampleError + ModelComplexityPenalty$.

Daha kesin bir ifadeyle, hhipotezi için∈H, ki buradaλbazı parametredir, genellikleλ∈(0,1),mveri kümenizdeki örnek sayısıdır veΩw,Ω= 'nin ağırlığına bağlı bir cezadır.wTw. Buartırılmış hataolarak bilinir. Şimdi, sadece ağırlıklar oldukça küçükse yukarıdaki fonksiyonu en aza indirebilirsiniz.$J_{aug}(h(x),y,\lambda,\Omega)=J(h(x),y)+\frac{\lambda}{2m}\Omega$$h \in H$$\lambda$$\lambda \in (0,1)$$m$$\Omega$$w$$\Omega=w^Tw$

İşte oyuncak bazı R kodu

w <- c(0.1,0.2,0.3)
out <- t(w) %*% w
print(out)

Bu yüzden, hipotezinin H uzayını cezalandırmak yerine, her hipotezi H ayrı ayrı cezalandırıyoruz . Bazen, h ağırlığının w ile h hipotezini kastediyoruz .$H$$h$$h$$w$

Neden küçük ağırlıklar düşük model karmaşıklığı ile birlikte giderse, şu hipoteze bakalım: . Toplamda w 1 , … , w 3 olmak üzere üç aktif ağırlık parametresi var . Şimdi w 3 ' ü çok çok küçük bir değere ayarlayalım , w 3 = 0 . Bu modelin karmaşıklığını azaltır: $h_1(x)=x_1 \times w_1 + x_2 \times w_2 + x_3 \times w_3$${w_1,\dotsc,w_3}$$w_3$$w_3=0$ . Üç aktif ağırlık parametresi yerine sadece iki tane kaldı.$h_1(x)=x_1 \times w_1 + x_2 \times w_2$

Ne hakkında konuştuğumu gerçekten bildiğimden emin değilim ama bir şans vereceğim. Fazla uydurmayı engelleyen küçük ağırlıklara sahip olmak o kadar da fazla değil (bence), daha fazla düzenlileşmenin model alanını daha da azalttığı gerçeğidir. Aslında, X değerlerinin L2 normunu eksi 10000000'lerin bir vektörünü alarak, istersen 10000000'i düzenleyebilirsin. Bu aynı zamanda aşırı uyumu da azaltacaktır (tabii ki bunu yapmanın ardında bir mantığa sahip olmalısınız (örneğin, Y değerleriniz X değerlerinizin toplamından 10000000 kat daha büyüktür, ancak hiç kimse bunu gerçekten değerlendirebileceğiniz için yapmaz).

Önyargı ve varyans, model karmaşıklığının bir işlevidir. Bu VC teorisi ile ilgilidir, o yüzden şuna bakın. Olası modellerin alanı ne kadar büyük olursa (yani, tüm parametrelerinizin temelde alabileceği değerler) modelin daha fazla giymesi olasılığı artar. Eğer modeliniz düz bir çizgiden, aşağı ve yukarı hareket edebilen bir sinüs dalgası gibi her yönde kıpırdatmaya kadar her şeyi yapabiliyorsa, verilerinizde rastgele bozulmaların toplanması ve modellenmesi daha olasıdır. Altta yatan sinyal ancak bu veri setinde şans eseri bir şansın sonucudur (bu yüzden daha fazla veri almak, fazladan giydirmeye yardım eder, ama giydirmemeyi sağlar).

Düzenleme yaptığınızda, temelde model alanını düşürürsünüz. Bu ille ki, daha yumuşak / düz işlevlerin daha yüksek yanlılığa ve daha az değişkenliğe sahip olduğu anlamına gelmez. Temelde hiçbir şey yapmayan, gerçekten küçük bir genlik salınımına sahip sınırlı bir sinüs dalgasıyla örtülmüş doğrusal bir model düşünün (temelde bulanık bir çizgi). Bu fonksiyon bir anlamda süper kıpırdaysa da yalnızca doğrusal bir regresyondan biraz daha fazla uyuyor. Düzgün / düz işlevlerin neden daha yüksek önyargı ve daha az farklılığa sahip olma eğiliminde olmasının nedeni, veri bilimcisi olarak, örneklem alanımızın azalması durumunda, ocam ustura ile daha düzgün ve daha basit olan modelleri koruyacağımızı ve modelleri attığımızı varsaymamızdır. Bu her yerde kıpır kıpır ve salınan. İlk önce kıpır kıpır modeller atmak mantıklı

Sırt regresyonu gibi düzenli olma, model alanını azaltır çünkü sıfırdan (ya da herhangi bir sayıdan) daha uzakta olmasını daha pahalı kılar. Bu nedenle, model verilerinizde küçük bir bozulmayı göz önünde bulundurma seçeneğiyle karşı karşıya kaldığında, bunun yanında büyük olasılıkla hata yapması olasıdır, çünkü bu (genellikle) parametre değerinizi artıracaktır. Bu sapma rastlantısal şanstan kaynaklanıyorsa (yani, x değişkenlerinizden biri y değişkenlerinizle hafif bir rastgele korelasyona sahipse), normalize olmayan regresyonun hiçbir maliyeti olmadığı için model, düzenli olmayan bir regresyona karşı dikkate almaz. artan beta boyutları. Bununla birlikte, bu bozulma gerçek sinyalden kaynaklanıyorsa, düzenli regresyonunuz daha yüksek bir önyargıya sahip olmasının (ve neden bir sapma önyargısının olması nedeniyle) daha fazla özleyecektir.

Hikaye:
Büyükannem yürür, ama tırmanmaz. Bazı büyükanneler yapar. Bir büyükanne Kilimanjaro'ya tırmandığı için ünlüydü .

Bu uyuyan yanardağ büyüktür. Tabanının 16.000 feet üstünde. (İmparatorluk birimlerimden nefret etme.) Bazen üstte buzullar da var.

Buzulun olmadığı bir yıla tırmanıp zirveye çıkarsanız, buzulun olduğu ile aynı mıdır? İrtifa farklı. Atmanız gereken yol farklı. Buzul kalınlığı arttıkça tepeye çıkarsanız ne olur? Bu onu daha çok başardı mı? Her yıl yaklaşık 35.000 kişi tırmanmaya çalışır, ancak yalnızca 16.000 kişi başarılı olur.

Uygulama:
Böylece, büyükanneme ağırlık kontrolünü (model karmaşıklığını en aza indirgeyerek) şöyle açıklayacağım:

Büyükanne, beynin bilsen de bilmesen harika bir düşünür. Size zirveye ulaştığını düşünen 16.000 kişiden kaçının bunu yaptığını sorarsam, “hepsini” diyeceksiniz.

Sensörleri 30.000 dağcının hepsinin ayakkabısına koyarsam ve deniz seviyesinden yüksekliği ölçersem, bu insanların bir kısmı diğerlerinden daha yükseğe çıkamaz ve kalifiye olmayabilir. Bunu yaptığımda sabit bir modele gidiyorum - Yüksekliğin ölçülen maksimum yüksekliklerin bir yüzdelik değerine eşit olup olmadığını söyleyeyim, o zaman üst değil. Bazı insanlar üste atlar. Bazı insanlar çizgiyi geçip oturur.

Sensöre enlem ve boylam ekleyebilirim ve bazı daha yüksek dereceden denklemleri takabilirim ve belki daha iyi bir form alabilir ve daha fazla insan olabilir, belki de deneyen toplam insanın% 45'ini bile alabilirim.

Diyelim ki gelecek yıl "büyük bir buzul" yılı ya da "buzulsuz" bir yıl, çünkü bazı volkanlar gerçekten dünyanın albümünü dönüştürüyor . Karmaşık ve titiz modelimi bu yıldan alıp gelecek yıl tırmanan insanlara uygularsam, modelin garip sonuçları olacak. Belki herkes "geçer", hatta geçemeyecek kadar yüksek olabilir. Belki hiç kimse geçemez ve hiç kimsenin tırmanışı tamamlayacağını düşünmez. Özellikle model karmaşık olduğunda, genelleme eğiliminde olmayacaktır. Bu yılki "eğitim" verilerine tam olarak uyabilir, ancak yeni veriler geldiğinde kötü davranır.

Tartışma:
Modelin karmaşıklığını sınırladığınızda, aşırı uydurma olmadan genellikle daha iyi genelleme yapabilirsiniz. Daha basit modelleri kullanmak, gerçek dünyadaki varyasyonu karşılamak için daha fazla üretilmiş olanları, her şey eşit olmak üzere daha iyi sonuçlar vermeye meyillidir.

Artık sabit bir ağ topolojisine sahipsiniz, bu nedenle “parametre sayım sabit” diyorsunuz - model karmaşıklığında değişiklik yapamıyorum. Saçmalık. Ağırlıklardaki entropiyi ölçün. Entropi daha yüksek olduğunda, bazı katsayıların diğerlerinden önemli ölçüde daha fazla “bilgilendirici” taşıdığı anlamına gelir. Eğer çok düşük bir entropiye sahipseniz, bu genel olarak katsayıların benzer "bilgilendirici" seviyelere sahip oldukları anlamına gelir. Bilgilendirme mutlaka iyi bir şey değil. Bir demokraside tüm insanların eşit olmasını istersiniz ve George Orwell gibi "diğerlerinden daha eşit" gibi şeyler sistemin başarısızlığının bir ölçüsüdür. Bunun için iyi bir nedeniniz yoksa, ağırlıkların birbirine çok benzemesini istersiniz.

Kişisel bir notta: Vudu ya da sezgisel tarama kullanmak yerine, "bilgi kriterleri" gibi şeyleri tercih ederim çünkü güvenilir ve tutarlı sonuçlar almamı sağlıyorlar. AIC , AICc ve BIC bazı yaygın ve kullanışlı başlangıç ​​noktalarıdır. Çözümün kararlılığını veya bilgi kriterleri sonuç aralığını belirlemek için analizin tekrarlanması ortak bir yaklaşımdır. Biri, ağırlıklardaki entropiye tavan koymak gibi görünebilir.

Basit bir sezgi şudur. Düzenleme için, özelliklerin yaklaşık olarak olması için standart hale getirilmesi gerektiğini unutmayın. Aynı ölçek.

Diyelim ki simge durumuna küçültme işlevi sadece kare hataların toplamıdır:

$SSE$

$SSE$$SSE$

Şimdi bu durumda LASSO düzenini düşünün. Minimize edilecek fonksiyonlar

$SSE + \lambda \Sigma |\beta|$

Ekstra bir özellik eklemek artık ekstra bir cezaya yol açıyor: mutlak katsayıların toplamı büyüyor! SSE'deki düşüş, ilave cezadan ağır basmalıdır. Ekstra özellikler artık maliyet olmadan eklemek mümkün değildir.

Özellik standardizasyonu ve mutlak katsayıların toplamının cezalandırılması kombinasyonu, arama alanını kısıtlayarak daha az fazla sığdırmaya neden olur.

Şimdi LASSO:

$SSE + \lambda \Sigma |\beta|$

sırt regresyonu yaparken katsayıları sıfıra koyma eğilimindedir:

$SSE + \lambda \Sigma \beta^2$

katsayıları orantılı olarak küçültme eğilimindedir. Bu, cezalandırma işlevinin türünün bir yan etkisi olarak görülebilir. Aşağıdaki resim bu konuda yardımcı olur:

Pratikte düzenleyici ceza işlevi, yukarıdaki camgöbeği alanı tarafından gösterildiği gibi parametreler için bir 'bütçe' vermektedir.

$SSE$

Resim alınan https://onlinecourses.science.psu.edu/stat857/node/158

Özetleme: Düzenleme, ekstra parametreler eklemeyi cezalandırır ve düzenleme türüne bağlı olarak tüm katsayıları (çıkıntı) daraltacaktır veya diğer katsayıları bütçenin izin verdiği ölçüde korurken (0) bir miktar katsayıları 0'a ayarlayacaktır.

Girişe Guassian gürültüsü eklenerek, öğrenme modeli L2 penaltılı bir düzenleyici gibi davranacaktır.

Nedenini görmek için, özelliklere iID gürültüsünün eklendiği doğrusal bir regresyon düşünün. Zarar şimdi hataların + ağırlık normunun katkısının bir fonksiyonu olacaktır.

türetme: https://www.youtube.com/watch?v=qw4vtBYhLp0

Bir üniversite sınıfında öğretmenimin büyük parametrelerin cezalandırılmasının aşırı uydurmayı azaltabileceğini, çünkü modelin verilerdeki belirli özelliklere çok fazla ağırlık vermesini önlediğini, çünkü modelin verilerin yalnızca belirli özelliklerini hatırladığından ve bununla ilişkilendirildiğinden dolayı, aşırı uydurmaya neden olduğunu söyledi. Etiket, genel kuralları öğrenmeye çalışmak yerine.