Büzülme nedir?

13

Büzülme sözcüğü belirli çevrelerde çok fazla atılır. Ama büzülme nedir, net bir tanım yok gibi görünüyor. Bir zaman serim varsa (ya da herhangi bir sürecin herhangi bir gözlem koleksiyonuna sahipsem), serideki ampirik büzülmeyi ölçmenin farklı yolları nelerdir? Bahsetebileceğim farklı teorik büzülme türleri nelerdir? Büzülme öngörüye nasıl yardımcı olabilir? İnsanlar iyi fikir ve referanslar sağlayabilir mi?

estimation predictive-models shrinkage

— Wintermute
kaynak

1

Steyergerg: Lojistik Regresyon Analizinde Büzülme Tekniklerinin Uygulanması: Bir Vaka Çalışması ve Büzülme ve öngörülen doğruluğu iyileştirme yöntemleri olarak cezalandırılma olasılığı başlangıç için iyi yerlerdir. Açık kaynak kodlu değil (sanırım) ama google orijinal makaleler bulacaktır.

— charles

3

Bir tahminin (genellikle 0 veya başka bir 'boş' / bilinen değere doğru) hareket eden (küçülen) herhangi bir tahmin edicinin düzenlenmesi; aslında, bir tahsilat koleksiyonunu birbirine doğru hareket ettiren düzenlenme de bir tür büzülmedir (farklılıklarını temsil eden parametreleri 0'a doğru hareket ettirir). Henüz görmediyseniz, Wikipedia makalesi yardımcı olabilir.

— Glen_b-Monica Mar'ı

Ampirik Büzülme ne olacak? Diyelim ki bir model taktığım bir zaman serim var. Numune yerleştirme ile örnek dışı performans arasında bir tür büzülme hakkında konuşabilir miyim?

— Wintermute

2

1961'de James ve Stein "Kuadratik Kayıpla Tahmin" başlıklı bir makale yayınladılar https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Büzülme terimini özel olarak belirtmese de, normal veriler için normal MLE'den (her bileşen örnek ortalaması) daha az riskli (beklenen kayıp) istatistiklere sahip yüksek boyutlu (aslında 3 parametreli bir konum için) minimax tahmin edicileri tartışırlar. . Bradley Efron, bulgularını "savaş sonrası matematiksel istatistiklerin en çarpıcı teoremi" olarak adlandırıyor. Bu makale 3.310 kez alıntılanmıştır.

1983'te Copas, "büzülme" terimini ifade etmek için Regresyon, Tahmin ve Büzülme adlı ilk makaleyi yazıyor. Özette dolaylı olarak tanımlanmıştır:

Bir regresyon öngörücüsünün yeni verilere uyması neredeyse her zaman orijinal verilere uymasından daha kötüdür. Bu büzülmeyi tahmin etmek, bazı varsayımlar altında, en küçük karelerden daha eşit bir şekilde daha düşük bir tahmin ortalama kare hatası veren Stein tipi tahmincilere yol açar.

Ve tüm ardışık araştırmalarda, büzülmenin, kabul edilebilir ve / veya minimaks tahmin edicileri bulma bağlamında tahmin ve tahminin örneklem dışı geçerliliği için işletim karakteristiklerine (ve bunların tahminlerine) atıfta bulunduğu görülmektedir.

— Adamo
kaynak

2

Bu düzenli hale getirme ile ilgili. Bir eğri sığdırmak istediğinizi ve bir kare kaybı işlevi kullandığınızı varsayalım (farklı seçebilirsiniz). Tarafındanfitbu eğriyi oluşturan işlemi yöneten parametreleri kurtarmak istersiniz. Şimdi bu eğriyi 100. polinom kullanarak sığdırmak istediğinizi düşünün (örneğin). Eğrinin her bükülmesini ve gürültüsünü tersine çevirecek veya yakalayacaksınız. Ayrıca, verilen egzersiz verisi aralığının dışındaki tahmin yetenekleriniz çok zayıf olacaktır. Bu nedenle, hedefleme işlevine, ağırlıklandırma, düzenleme faktörü - l_1, l_2 veya özel ile çarpılarak, normalleştirme terimi eklenir. Anlaşılması daha basit olan l_2 durumunda, bunun büyük parametre değerlerinin aka küçülmeyi azaltmaya zorlanacağı bir etkisi olacaktır. Düzenleme veya büzülmeyi, algoritmanızı daha iyi bir çözüm olabilecek bir çözüme yönlendirmek olarak düşünebilirsiniz.

— Vladislavs Dovgalecs
kaynak