Makine öğreniminde esnek ve esnek olmayan modeller

Esnek modellerin (yani splineların) esnek olmayan modellerin (örn. Doğrusal regresyon) farklı senaryolarda karşılaştırılmasıyla ilgili basit bir soru ile karşılaştım. Soru:

Genel olarak, esnek bir istatistiksel öğrenme yönteminin performansının aşağıdaki durumlarda esnek olmayan bir yöntemden daha iyi veya kötü performans göstermesini bekleriz:

1. belirteçlerinin sayısı son derece fazladır ve gözlem sayısı azdır? $p$$n$
2. Hata terimlerinin varyansı, yani $σ^2 = \text{Var}(e)$ , son derece yüksek mi?

(1) için, $n$ küçük olduğunda , esnek olmayan modeller daha iyidir (emin değilim). (2) için, hangi modelin (nispeten) daha iyi olduğunu bilmiyorum.

Bu iki durumda, esnek ve esnek olmayan model karşılaştırmalı performans aşağıdakilere de bağlıdır:

• "R", doğrusalya yakın ya da çok doğrusal olmayan gerçek ilişki y = f (x);
• takarken "esnek" modelin esneklik derecesini ayarlar / kısıtlar mısınız?

İlişki doğrusalya yakınsa ve esnekliği kısıtlamıyorsanız, doğrusal model her iki durumda da daha iyi test hatası vermelidir, çünkü esnek model her iki durumda da fazla uyum gösterebilir.

Buna şöyle bakabilirsiniz:

• Her iki durumda da veriler gerçek ilişki hakkında yeterli bilgi içermez (ilk durumda ilişki yüksek boyutludur ve yeterli veriye sahip değilsiniz, ikinci durumda gürültü ile bozulur) ama
  • doğrusal model gerçek ilişki hakkında bazı dış ön bilgiler getirir (uygun ilişkilerin sınıfını doğrusal olanlarla sınırla)
  • önceki bilginin doğru olduğu ortaya çıkar (gerçek ilişki doğrusal olana yakındır).
• Esnek model önceki bilgileri içermese de (herhangi bir şeye sığabilir), bu nedenle gürültüye uyar.

Bununla birlikte, gerçek ilişki çok doğrusal değilse, kimin kazanacağını söylemek zor (her ikisi de kaybedecek :)).

Esneklik derecesini ayarlar / kısıtlar ve bunu doğru bir şekilde yaparsanız (çapraz doğrulama ile), her durumda esnek model kazanmalıdır.

Tabii ki, bir modele uymaya çalışmadan önce her zaman özelliklerinden bazılarını bulmak için keşfetmeniz gereken temel verilere bağlıdır, ancak genel kural olarak öğrendiğim şeyler şunlardır:

• Esnek bir model, büyük bir numune boyutundan (büyük n) tam olarak yararlanmanızı sağlar.
• Doğrusal olmayan etkiyi bulmak için esnek bir model gerekli olacaktır.
• Esnek bir model, sorundaki çok fazla gürültüye uymanıza neden olur (hata terimlerinin değişimi yüksek olduğunda).

İkinci bölüm için, daha esnek bir modelin modele uyum sağlamaya çalışacağını ve eğitim verilerinin yüksek bir gürültü içerdiğini düşünüyorum, bu nedenle esnek model de gürültüyü öğrenmeye çalışacak ve daha fazla test hatasına yol açacaktır. Ben de aynı kitabı okurken bu sorunun kaynağını biliyorum :)

İlk bölümde, esnek olmayan modelin sınırlı sayıda gözlemle daha iyi performans göstermesini beklerdim. N çok küçük olduğunda, her iki model de (esnek veya esnek olmasa da) yeterince iyi tahmin vermez. Bununla birlikte, esnek model verileri geçmeye meyillidir ve yeni bir test seti söz konusu olduğunda daha kötü performans gösterir.

İdeal olarak, bağlantıyı geliştirmek için daha fazla gözlem toplardım, ancak durum böyle değilse, yeni bir test seti ile bir test hatasını en aza indirmeye çalışarak esnek olmayan modeli kullanırdım.

İkinci soru için cevabın her ikisinin de eşit performans göstereceğine inanıyorum (bu hataların indirgenemez olduğunu varsayarsak, yani bu hata). İstatistiksel Öğrenime Giriş sayfa 18'de (konu: Neden tahmin ) daha fazla bilgi yazarın$f$

Doğruluğu için bir tahmin olarak biz arayacak iki miktarlarda bağlıdır indirgenebilir hata ve indirgenemez hatayı . Genelde, için mükemmel bir tahmin olmayacaktır ve bu yanlışlık bazı hatayı tanıtacak. Bu hatadır indirgenebilir potansiyel olarak doğruluğunu artırabilir çünkü tahmin etmek en uygun istatistiksel öğrenme tekniğini kullanarak . Bununla birlikte, için mükemmel bir tahmin oluşturmak mümkün olsa bile , tahmini yanıtımız biçimini aldı$Y$$Y$$\hat f$$f$$\hat f$$\hat f$$f$$\hat Y = f(X)$, tahminimizde hala bir hata var! Çünkü ayrıca bir fonksiyonudur ve tanım gereği kullanılarak tahmin edilemez . Bu nedenle, ile ilişkili değişkenlik de tahminlerimizin doğruluğunu etkiler. Bu, indirgenemez hata olarak bilinir , çünkü ne kadar iyi tahmin ettiğimiz önemli değil, tarafından ortaya konulan hatayı azaltamayız . $Y$$\epsilon$$X$$\epsilon$$f$$\epsilon$

(A) ila (d) parçalarının her biri için, i. veya ii. doğrudur ve cevabınızı açıklayınız. Genel olarak, esnek bir istatistiksel öğrenme yönteminin performansının aşağıdaki durumlarda esnek olmayan bir yöntemden daha iyi veya kötü performans göstermesini bekleriz:

Numune boyutu n son derece büyüktür ve p belirleyicisi sayısı az mıdır?

Daha iyi. Esnek bir yöntem, verilere daha yakın olacak ve büyük örnek boyutu ile esnek olmayan bir yaklaşımdan daha iyi performans gösterecektir.

P belirteçlerinin sayısı son derece fazladır ve n gözlem sayısı azdır?

Daha da kötüsü. Esnek bir yöntem az sayıda gözlemden daha uygun olacaktır.

Öngörücüler ve yanıt arasındaki ilişki oldukça doğrusal değildir?

Daha iyi. Daha fazla serbestlik derecesi ile, esnek bir yöntem esnek olmayan bir yöntemden daha iyi uyuyacaktır.

Hata terimlerinin varyansı, yani σ2 = Var (ε), son derece yüksek mi?

Daha da kötüsü. Esnek bir yöntem, hata terimlerindeki gürültüye uyacak ve varyansı artıracaktır.

Buradan alındı .