Doğrulama ve model seçimi için önyüklemeyi anlama

Sanırım önyüklemenin temellerinin nasıl çalıştığını anlıyorum , ancak model seçimi veya aşırı sığmayı önlemek için önyüklemeyi nasıl kullanabileceğimi bilmiyorum.

Örneğin model seçimi için, önyükleme örnekleri arasında en düşük hatayı (belki de varyans?) Veren modeli seçer misiniz?

Model seçimi veya doğrulaması için önyüklemenin nasıl kullanılacağını tartışan metinler var mı?

DÜZENLEME: Bu konuyu ve bu sorunun arkasında daha fazla bağlam için @ mark999 tarafından verilen cevaba bakın .

model-selection cross-validation bootstrap

— Amelio Vazquez-Reina
kaynak

@ suncoolsu Eğer seçim için A, B ve C modelim varsa, 1) tahmin doğruluğu / sıralamasıyla ilgileniyorum ve 2) bir tutma için yeterli veriye sahip olmadığımda genellikle çapraz doğrulama veya önyükleme kullanırım doğrulama kümesi. Bu neden iyi bir fikir olmasın (ve iç içe doğrulamanın özellik seçimi vb. İçin önemli olduğunu biliyorum).

— B_Miner

İçinde @ mark999 tarafından cevap bu iplik hala overfitting ile baş ederken tam veri kümesi üzerinde bir model öğrenme bir çözüm olarak önyükleme doğrulama önerir. Bu cevap, bu soruya büyük ölçüde ilham veren şeydir ve bu konudaki orijinal soru da bu soruya bağlam eklemelidir.

— Amelio Vazquez-Reina

Üzgünüm - muhtemelen bu benim istatistikçiyim - ama çapraz doğrulama ve önyükleme iki farklı şey olarak düşünüyorum. Çapraz doğrulama mükemmeldir ve yapılmalıdır (ve ayrıca bootstrap). Ancak A, B, C (sadece üç model) arasında seçim yapmak gibi senaryolardaysanız, BIC daha iyi bir seçim olabilir. Dediğim gibi, çözüm eldeki soruna bağlıdır ve çoklu yaklaşımlar uygun olabilir.

— suncoolsu

AIC genellikle BIC'den daha az uygunluk sağlar.

— Frank Harrell

Yanıtlar:

Öncelikle gerçekten model seçimine ihtiyacınız olup olmadığına veya sadece modellemeniz gerekip gerekmediğine karar vermelisiniz. Durumların çoğunda, boyutluluğa bağlı olarak, esnek kapsamlı bir modelin yerleştirilmesi tercih edilir.

Bootstrap, bir modelin performansını tahmin etmenin harika bir yoludur. Tahmin edilmesi gereken en basit şey varyanstır. Orijinal noktanıza ek olarak, bootstrap, belirli bir modelleme prosedürünün henüz gerçekleşmemiş yeni veriler üzerinde gelecekteki olası performansını tahmin edebilir.

Hem model ayarlama parametrelerini seçmek hem de modeli tahmin etmek için yeniden örnekleme (önyükleme veya çapraz doğrulama) kullanıyorsanız, çift önyükleme veya iç içe çapraz doğrulamaya ihtiyacınız olacaktır.

Genel olarak, önyükleme çapraz doğrulamadan daha az model uyumu gerektirir (genellikle yaklaşık 300 civarında) (kararlılık için 10 kat çapraz doğrulama 50-100 kez tekrarlanmalıdır).

Bazı simülasyon çalışmaları http://biostat.mc.vanderbilt.edu/rms adresinde bulunabilir.

— Frank Harrell
kaynak

Wow, 10 kat CV'nin 50-100 kez tekrarlanması gerektiğini bilmiyordum! Son projemi tekrar gözden geçirmem ve bunun yerine bootstrap testini denemem gerekecek. Bu web sitesini seviyorum: Her gün bir şeyler öğreniyorum!

— Wayne

Teşekkürler @Frank! Aynı sayıda parametreye sahip bir dizi aday modelim olduğunu varsayalım, önyükleme tahminleri arasında daha düşük varyansa sahip olanlar daha fazla aday mı (toplam kayıp veya riskin hepsi için aynı olduğunu varsayarak) aşırı sığdırma ile mücadele için mi?

— Amelio Vazquez-Reina

Bunu varsaymam ama mümkün.

— Frank Harrell

Harika cevap, teşekkürler! Bootstrap'in model doğrulaması için de kullanılabileceğini bilmiyordum ve çapraz doğrulamanın birçok kez tekrarlanması gerekiyor. Bu yöntemin başka bir avantajı daha görüyorum: çapraz doğrulama, katlama sayısının önceden (öznel olarak) önceden belirlenmesini gerektirir, tipik olarak 10, optimumdan çok veya az sezgiseldir. Ancak bu harika bir yöntem olsa da, neden çapraz doğrulama kadar popüler görünmüyor?

— SiXUlm

Önyükleme modeli doğrulaması oldukça popülerdir, ancak çapraz doğrulama daha uzun zamandır olmuştur. Ama dediğin gibi cv'de # kıvrım seçiminde bazı keyfilik var.

— Frank Harrell

Model ortalaması için bootstrap'i kullanmayı düşünün .

Aşağıdaki makale, (daha yaygın olarak kullanılan?) Bayesci modelleme ortalamasına bir önyükleme modeli ortalama yaklaşımını karşılaştırdığından ve model ortalamasını gerçekleştirmek için bir reçete ortaya koyduğundan yardımcı olabilir.

Partikül madde hava kirliliği ve mortalite zaman serileri çalışmalarında ortalama bootstrap modeli

— Josh Hemann
kaynak

Çoğu durumda model ortalaması için bootstrap'i tavsiye etmem. Önyükleme en iyi şekilde, nasıl yeni bir prosedür oluşturacağınızı söylemek yerine bir modelleme prosedürünün nasıl performans gösterdiğini söylemektir. Bununla birlikte, bunun istisnaları vardır.

— Frank Harrell

@Frank Harrell - Kabul etti. Başvurduğum makale bazen çalıştığım alan için geçerli ve belirttiğiniz senaryo için önyüklemeyi kullandım: belirli bir modelin örnekleme hatası nedeniyle değişkenliğini değerlendirme. Ancak, model seçiminden kaynaklanan belirsizliğin değerlendirilmesi daha da zordur ve bootstrap modeli ortalama yaklaşımı, özellikle benim gibi Bayesian model ortalaması için sorunları yeniden biçimlendirmek için deneyim / arka plana sahip olmayan uygulayıcılar için bir yardımcı olarak yararlı olabilir.

— Josh Hemann

Hayır, önyüklemenin, modeli önceden bilmemenin neden olduğu hasarı değerlendirmek için mükemmel olduğunu söyleyebilirim. Bu, bir dizi belirsiz modelin ortalamasını almak gibi şeyleri iyileştirmek için bootstrap'i mutlaka kullanmanız gerektiği anlamına gelmez. Bootstrap'ı bu şekilde kullanmanız gerekirse, ortalama modelin performansının dürüst bir değerlendirmesini almak için çift bootstrap'e ihtiyacınız olacaktır. Rasgele ormanların bootstrap kullanarak ortalama bir model olduğunu belirtmeliyim.

— Frank Harrell

Çift önyükleme hakkında iyi bir nokta. Referans verdiğim makalenin yazarları bu konuda bir takip belgesine sahiptir: Hava Kirliliği Ölüm Araştırmaları için Model Seçiminde Model Belirsizliğini Azaltmak İçin Bootstrap-

— Boot

İyi. Unutmayın, bu genellikle aşırıya kaçar. Genellikle, konuya dayalı bir tam model oluşturmak ve aşırıya kaçarsa büzülme (cezalandırma) kullanmak en iyisidir; ama yine de bir model.

— Frank Harrell