Çeşitli regresyon problemlerinde spline kullanımı hakkında çok şey okuyorum. Bazı kitaplar (örneğin Hodges Richly Parrametreli Doğrusal Modeller ) cezalandırılmış spline'lar önerir. Diğerleri (örneğin, Harrell Regresyon Modelleme Stratejileri ) kısıtlı kübik spline'ları tercih eder.
Bunlar pratikte ne kadar farklı? Sık sık birini veya diğerini kullanmaktan çok farklı sonuçlar elde eder misiniz? Birinin veya diğerinin belirli avantajları var mı?
Yanıtlar:
Okumamdan, karşılaştırmamızı istediğiniz iki kavram oldukça farklı hayvanlar ve elma ve portakal benzeri bir karşılaştırma gerektiriyor. Bu, sorularınızın birçoğunu biraz tartışmalı hale getirir - ideal olarak (RCS temeli için gerekli bir şekilde bir wiggliness cezası yazabileceğini varsayarak) cezalandırılmış kısıtlı bir kübik regresyon spline modeli kullanırsınız.
Kısıtlı bir kübik spline (veya doğal bir spline), önceden belirlenmiş bazı yerlerde veya düğümlerde sorunsuz bir şekilde bir araya gelen parçalı kübik polinom fonksiyonlarından oluşturulan bir spline temelidir. Kısıtlanmış bir kübik spline'ı kübik spline'dan ayıran şey, spline'ın ilk düğümden ve son düğümden sonra doğrusal olacağı şekilde kısıtlanmış versiyona ek kısıtlamalar uygulanmasıdır. Bu, spline'ın kuyruklarındaki performansını artırmak için yapılır..
Bir RCS ile model seçimi, tipik olarak düğüm sayısının ve konumlarının seçilmesini içerir; önceki yönetim, ortaya çıkan spline'ın ne kadar kıvrımlı veya karmaşık olduğunu belirler. Model uydurma sırasında tahmini katsayıları düzenlemek için başka adımlar atılmadıkça, düğüm sayısı spline karmaşıklığını doğrudan kontrol eder.
Bu, kullanıcının bir veya daha fazla RCS terimi içeren bir modeli tahmin ederken aşılması gereken bazı problemler olduğu anlamına gelir:
RCS terimleri kendi başlarına bu sorunları çözmek için kullanıcının müdahalesini gerektirir.
Cezai regresyon spline'ları (sensu Hodges) sadece 3. sorunla mücadele ediyorlar, ancak 1. sorunun atlatılmasına izin veriyorlar . Buradaki fikir şudur:ve şimdilik bunun kübik bir spline temeli olduğunu varsayalım, ayrıca bir wiggliness ceza matrisi yaratıyorsunuz. Wiggliness, tahmin edilen spline'ın bir türevi kullanılarak ölçülür, kullanılan tipik türev ikinci türevdir ve cezanın kendisi, aralık içine entegre edilen kare ikinci türevi temsil eder.. Bu ceza ikinci dereceden yazılabilir.
burada bir ceza matrisidir ve model katsayılarıdır. Daha sonra, cezalandırılmış log olabilirliği ceriterionunu en üst düzeye çıkarmak için katsayı değerleri bulunur
Burada , modelin log-olasılığını ve , spline'ın kıvrımını ne kadar güçlü cezalandıracağını kontrol eden pürüzsüzlük parametresidir.
Cezalandırılmış log olabilirliği model katsayıları açısından değerlendirilebildiğinden, bu modele uymak , bu optimal arama sırasında katsayıları güncellerken için en uygun değeri bulmada etkin bir problem haline gelir .
çapraz doğrulama, genelleştirilmiş çapraz doğrulama (GCV) veya marjinal olabilirlik veya sınırlı marjinal olabilirlik kriterleri kullanılarak seçilebilir. Son iki, spline modelini karışık bir etki modeli olarak etkili bir şekilde yeniden düzenler (tabanın mükemmel pürüzsüz kısımları sabit etkiler haline gelir ve tabanın wiggly kısımları rastgele etkilerdir ve pürüzsüzlük parametresi rastgele etkiler için varyans terimiyle ters ilişkilidir. ), Hodges'un kitabında düşündüğü şey budur.
Bu, kaç düğümün kullanılacağı sorununu neden çözüyor? Sadece bunu yapar. Bu, her benzersiz veri noktasında (düzleştirme spline) bir düğüm gerektirmeme problemini çözer, ancak kaç düğüm veya temel fonksiyonun kullanılacağını seçmeniz gerekir. Bununla birlikte, ceza katsayıları daralttığı için, gerçek işlevi veya ona yakın bir yaklaşımı içermek için gerekli olduğunu düşündüğünüz kadar büyük bir temel boyut seçmekten kurtulabilirsiniz ve daha sonra ceza, tahmini spline'ın ne kadar kıvrımlı olduğunu kontrol etmenize izin verirsiniz. esasen mevcut ekstra potansiyel kıpır kıpır cezası tarafından kaldırılması veya kontrol edilmesidir.
Cezalandırılmış (regresyon) spline'lar ve RCS oldukça farklı kavramlardır. RCS temeli ve kuadratik formda ilişkili bir ceza oluşturmanızı ve ardından cezalandırılmış regresyon spline modelindeki fikirleri kullanarak spline katsayılarını tahmin etmenizi durduran hiçbir şey yoktur.
RCS, bir spline temeli oluşturmak için kullanabileceğiniz sadece bir tür temeldir ve cezalandırılmış regresyon spline'ları, ilişkili wiggliness cezalarına sahip bir veya daha fazla spline içeren bir modeli tahmin etmenin bir yoludur.
Evet, bir dereceye kadar, ince bir plaka spline (TPS) temeli ile. Bir TPS temeli, benzersiz veri değerleri kadar temel fonksiyona sahiptir . Wood'un (2003) gösterdiği, TPS temel fonksiyonlarının öz bileşimini kullanarak bir İnce Levha Regresyon Spline (TPRS) temeli oluşturabileceğiniz ve sadece ilk büyük sözünü koruduğuydu . Hala belirtmelisiniz, kullanmak istediğiniz temel işlevlerin sayısıdır, ancak seçim genellikle takılan işlevin ne kadar dalgalı olmasını beklediğinize ve ne kadar hesaplama isabeti almak istediğinize bağlıdır. Düğüm konumlarını belirtmeye gerek yoktur ve ceza katsayıları daraltır, böylece model sayısı probleminden kaçınılır, çünkü farklı sayıda knot'a sahip pek çok unpalize edilmemiş model yoktur.
Sadece işleri daha karmaşık hale getirmek için, P-spline olarak bilinen bir tür spline temeli vardır (Eilers ve Marx, 1996)), genellikle "cezalandırılmış" olarak yorumlanır. P-spline'lar, doğrudan model katsayılarına uygulanan bir fark cezası olan B-spline temelidir . Tipik kullanımda P-spline cezası, bitişik model katsayıları arasındaki kare farkları cezalandırır ve bu da kıpır kıpırlığı cezalandırır. P-spline'ların kurulumu çok kolaydır ve MCMC tabanlı Bayesian modellerinde spline terimlerinin tahminine çok uygun hale gelen seyrek bir ceza matrisiyle sonuçlanır (Wood, 2017).
Eilers, PHC ve BD Marx. 1996. Spline ve Penaltılarla Esnek Pürüzsüzleştirme. Stat. Sci.
Wood, SN 2003. İnce levha regresyon kamaları. JR Stat. Soc. Seri B Stat. Çalışma yöntemlerini. 65: 95–114. DOI: 10.1111 / 1467-9868,00374
Wood, SN 2017. Genelleştirilmiş Katkı Modelleri: R, İkinci Baskı, CRC Press ile Giriş.