B-Splines VS regresyondaki yüksek mertebeden polinomlar

Aklımda belirli bir örnek veya görevim yok. Ben sadece b-spline'ları kullanma konusunda yeniyim ve regresyon bağlamında bu işlevi daha iyi anlamak istedim.

Yanıt değişkeni ile bazı belirleyicileri arasındaki ilişkiyi değerlendirmek istediğimizi varsayalım . Öngörücüler bazı sayısal değişkenlerin yanı sıra bazı kategorik değişkenleri içerir.$y$$x_1, x_2,...,x_p$

Diyelim ki bir regresyon modeli takıldıktan sonra, örneğin sayısal değişkenlerden biri önemlidir. Sonrasında mantıklı bir adım , ilişkiyi aşırı sığmadan yeterince açıklamak için daha yüksek mertebeden polinomların örneğin: ve gerekip gerekmediğini değerlendirmektir .$x_1$$x_1^2$$x_1^3$

Sorularım:

1. Hangi noktada b-spline'lar veya basit üst düzey polinomlar arasında seçim yaparsınız. örneğin R'de:

   y ~ poly(x1,3) + x2 + x3
   

   vs

    y ~ bs(x1,3) + x2 + x3
   

2. Bu ikisi arasındaki seçiminizi bildirmek için grafikleri nasıl kullanabilirsiniz ve arazilerden çok açık değilse ne olur (örneğin: çok miktarda veri noktası nedeniyle)

3. Nasıl arasında iki yönlü etkileşim terimlerini değerlendiriyorsunuz ve diyelim kix $x_2$$x_3$

4. Yukarıdakiler farklı model türleri için nasıl değişir?

5. Asla yüksek dereceli polinomları kullanmayı ve daima b-spline'larını takmayı ve yüksek esnekliği cezalandırmayı düşünür müsünüz?

Genellikle polinomlardan ziyade sadece splineları düşünürdüm. Polinomlar eşikleri modelleyemez ve çoğu zaman istenmeyen küreseldir, yani öngörücünün bir aralığındaki gözlemler, modelin farklı bir aralıkta ne yaptığı üzerinde güçlü bir etkiye sahiptir ( Magee, 1998, Amerikan İstatistikçi ve Frank Harrell'in Regresyon Modelleme Stratejileri ). Ve elbette, aşırı düğümlerin dışında doğrusal olan kısıtlanmış splinelar, tahminlerin aşırı değerlerinde ekstrapolasyon, hatta intrapolasyon için daha iyidir.

Polinomları düşünmek isteyebileceğiniz bir durum, modelinizi teknik olmayan bir kitleye açıklamanın önemli olduğu durumdur. İnsanlar polinomları kamalardan daha iyi anlarlar. (Düzenleme: Matthew Drury , insanların sadece polinomları spline'den daha iyi anladıklarını düşünebileceklerine dikkat çekiyor . Bu soruya taraf olmayacağım.)

Grafikler, doğrusal olmama ile başa çıkmanın farklı yolları arasında karar vermede genellikle çok yararlı değildir. Çapraz doğrulama yapmak daha iyidir. Bu ayrıca etkileşimleri değerlendirmenize veya iyi bir ceza bulmanıza yardımcı olacaktır.

Son olarak, cevabım model türüyle değişmez, çünkü yukarıdaki noktalar herhangi bir istatistiksel veya ML modeli için geçerlidir.

"İstatistiksel Öğrenmenin Öğeleri" nin 7.4.5 bölümünde, spline'ların polinom regresyonundan daha üstün sonuçlar verdiği söylenir, çünkü:

• Esnek uyum sağlar;
• Daha kararlı tahminler üretir;
• Polinomlar sınırlarda istenmeyen sonuçlar verebilir.