Regresyonda fazla takmaktan kaçının: Düzenlemeye alternatifler

Regresyonda düzenlileştirme (doğrusal, lojistik ...) aşırı uyumu azaltmanın en popüler yoludur.

Hedef tahmin doğruluğu olduğunda (açıklamıyorsa), özellikle büyük veri kümeleri (mil / milyarlarca gözlem ve milyonlarca özellik) için düzenli hale getirmenin iyi alternatifleri var mı?

Sorunuzla doğrudan ilgili olmayan iki önemli nokta:

• Birincisi, amaç yorumlama yerine doğruluktur, çoğu durumda düzenlileştirme hala gereklidir, çünkü modelleme için kullanılan verileri değil, gerçek test / üretim veri setinde "yüksek doğruluk" u sağlayacaktır.

• İkincisi, milyar satır ve milyon sütun varsa, herhangi bir düzenlemeye gerek yoktur. Bunun nedeni, verilerin çok büyük olması ve birçok hesaplama modelinin "sınırlı güce" sahip olmasıdır, yani, fazla takmak neredeyse imkansızdır. Bu yüzden bazı derin sinir ağlarının milyarlarca parametresi vardır.

Şimdi, sorunuz hakkında. Ben ve Andrey tarafından belirtildiği gibi, düzenlemeye alternatif olarak bazı seçenekler vardır. Daha fazla örnek eklemek istiyorum.

• Daha basit bir model kullanın (Örneğin, sinir ağındaki gizli birim sayısını azaltın. SVM'de düşük dereceli polinom çekirdeği kullanın. Gaussian karışımı içindeki Gaussian sayısını azaltın.)

• Optimizasyonda erken durun. (Örneğin, sinir ağı eğitimindeki dönemi azaltın, optimizasyondaki yineleme sayısını azaltın (CG, BFGS, vb.)

• Birçok modelde ortalama (Örneğin, rastgele orman vb.)

Düzenlemeye iki alternatif:

1. Çok, çok gözlem var
2. Daha basit bir model kullanın

Geoff Hinton (sırt propogasyonunun ortak mucidi) bir zamanlar mühendislere (yoğun bir şekilde paraphrasing) bir hikaye anlattı, "Geoff, derin ağlarımızda okulu bırakmamız gerekmiyor çünkü çok fazla veriye sahibiz." Ve onun yanıtı, "O zaman sen kadar, hatta daha derin ağları inşa etmeliyiz oldu edilir overfitting ve ardından bırakma kullanıyoruz." İyi tavsiye bir yana, yeterli veri olduğu sürece, derin ağlarda bile normalleşmeyi önleyebilirsiniz.

Sabit sayıda gözlemle, daha basit bir model de seçebilirsiniz. Basit bir doğrusal regresyonda kesişimi, eğimi ve hata varyansını tahmin etmek için muhtemelen normalleştirmeye ihtiyacınız yoktur.

Aşırı takılmayı önlemek için bazı ek olasılıklar

• Boyutsal küçülme

  Alt boyutlu özellikler altuzayını elde etmek için temel bileşenler analizi (PCA) gibi bir algoritma kullanabilirsiniz. PCA fikri, sizin$m$ boyutsal özellik alanı, $l << m$ boyutlu altuzay.

• Özellik seçimi (ayrıca boyut azalması)

  Daha düşük boyutlu bir özellik alanı elde etmek için bir dizi özellik seçimi yapabilirsiniz (örn. LASSO kullanarak). LASSO kullanarak özellik seçimi gibi bir şey, bazı büyük ama bilinmeyen özellik alt kümelerinin alakasız olması durumunda faydalı olabilir.

• Rasgele orman gibi aşırı sığmaya daha az eğilimli algoritmalar kullanın. (Ayarlara, özelliklerin sayısına vb. Bağlı olarak, bunlar normal en küçük karelerden daha hesaplama açısından pahalı olabilir.)

  Diğer cevaplardan bazıları, artırma ve torbalama tekniklerinin / algoritmalarının avantajlarından da bahsetmiştir.

• Bayes yöntemleri

  Katsayı vektörüne bir öncekinin eklenmesi, aşırı sığmayı azaltır. Bu kavramsal olarak düzenlileştirme ile ilgilidir: örn. sırt regresyonu maksimum posteriori kestirim için özel bir durumdur.

Yineleyici / dönem sayısını tanımlayabileceğiniz bir çözücü içeren bir model kullanıyorsanız, doğrulama hatasını izleyebilir ve erken durdurma uygulayabilirsiniz: doğrulama hatası artmaya başladığında algoritmayı durdurun.

İki düşünce:

1. Ben Ogorek tarafından önerilen "daha basit bir model kullanın" stratejisini ikinci olarak kullandım .

   Küçük tamsayı katsayılı gerçekten seyrek doğrusal sınıflandırma modelleri üzerinde çalışıyorum (örneğin -5 ile 5 arasında tamsayı katsayılı maks. 5 değişken). Modeller, doğruluk ve daha karmaşık performans metrikleri (örn. Kalibrasyon) açısından iyi genelleme yapar.

   Bu makaledeki bu yöntem, lojistik regresyon için büyük örnek boyutlarına ölçeklenecek ve dışbükey kayıp fonksiyonlarına sahip diğer doğrusal sınıflandırıcılara uyacak şekilde genişletilebilir. Birçok özelliğe sahip vakaları işlemez ($n/d$ bu durumda veriler ayrılabilir ve sınıflandırma sorunu kolaylaşır).

2. Modeliniz için ek kısıtlamalar belirtebiliyorsanız (örn. Monotonite kısıtlamaları, yan bilgiler), bu hipotez alanını azaltarak genellemeye yardımcı olabilir (örneğin bu makaleye bakınız ).

   Bunun dikkatli bir şekilde yapılması gerekir (örneğin, modelinizi muhtemelen kısıtlama olmaksızın bir taban çizgisiyle karşılaştırmak ve eğitim sürecinizi kiraz toplama kısıtlamaları olmamasını sağlayacak şekilde tasarlamak istersiniz).