Shao'nun dışarıda bırakılma çapraz onaylama sonuçları ne zaman geçerlidir?

23

Çapraz Doğrulama ile Doğrusal Model Seçimi adlı makalesinde , Jun Shao, çok değişkenli doğrusal regresyonda değişken seçimi problemi için, bir kez dışarıda bırakılma çapraz doğrulama yönteminin (LOOCV) 'asimptotik olarak tutarsız' olduğunu göstermektedir. Düz İngilizce olarak, çok değişkenli modelleri seçme eğilimindedir. Bir simülasyon çalışmasında, Shao, en az 40 gözlem için bile, LOOCV'nin diğer çapraz doğrulama tekniklerinden daha iyi performans gösterdiğini göstermektedir.

Bu makale biraz tartışmalı ve biraz göz ardı edildi (yayınlanmasından 10 yıl sonra, kemometri meslektaşlarım bunu hiç duymamıştı ve LOOCV'yi değişken seçim için mutlu bir şekilde kullanıyorlardı ...). Ayrıca, sonuçlarından orijinal sınırlı kapsamın biraz ötesine uzandığına dair bir inanç da var.

O zaman soru şu: Bu sonuçlar ne kadar uzuyor? Aşağıdaki problemlere uygulanabilir mi?

Lojistik regresyon için değişken seçimi / GLM?
Fisher LDA sınıflandırması için değişken seçim?
Sonlu (veya sonsuz) çekirdek alanlı SVM kullanarak değişken seçim?
Sınıflandırmadaki modellerin karşılaştırılması, farklı çekirdeklerin kullanıldığı SVM mi?
Lineer regresyondaki modellerin karşılaştırılması, MLR'nin Ridge Regression ile karşılaştırılması?
vb.

classification model-selection cross-validation

— shabbychef
kaynak

Kemometri kitaplarında bir şeyler olmalı; LOO’yu kullanan tanıdığım tek erkek de bunu yapıyor.

14

Shao'nun sonuçlarının uygulanabilir olup olmadığını söyleyebilmeniz için önce modelin amacını belirtmeniz gerekir. Örneğin, amaç tahmin ise, LOOCV iyi anlamlıdır ve değişken seçimindeki tutarsızlık sorun değildir. Öte yandan, eğer amaç önemli değişkenleri tanımlamak ve cevap değişkenini nasıl etkilediğini açıklamaksa, Shao'nun sonuçları açıkça önemlidir ve LOOCV uygun değildir.

AIC asimptotik LOOCV ve BIC, leave- asimptotik olarak denktir CV -kasa burada --- doğrusal modeller için BIC sonucu. Böylece BIC tutarlı bir model seçimi sunar. Bu nedenle, Shao'nun sonucunun kısa bir özeti, AIC'nin tahmin için yararlı olduğu, ancak BIC'nin açıklama için faydalı olduğu şeklindedir. $v$ $v=n[1-1/(\log(n)-1)]$

— Rob Hyndman
kaynak

1

Shao,

büyürken

sabitlenirse k-kat CV'nin tutarsız olduğunu gösterdiğine inanıyorum .

k

$k$

n

$n$

— shabbychef

1

BIC n ile büyüyor.

— Rob Hyndman

1

Sadece sessizce, Shao kağıttan * IC <--> * CV yazışmalarının sadece doğrusal modeller için çalıştığını ve BIC'nin sadece belirli k ile CV katlamaya eşdeğer olduğunu hatırlatacağım .

Aslında, Shao’nun,

olarak

olmadığı sürece CV’nin tutarsız olduğuna inanıyorum , burada

test setindeki örneklerin sayısıdır. Bu nedenle,

katlı CV, değişken seçimi için her zaman tutarsızdır. Yanlış mı anladım? By

kat CV ben içine numuneyi bölünmesi demek

gruplar ve eğitim

tanesi ve sonra tekrar, bunlardan on 1 test

kez. Sonra

için

n_{v} / n \to 1

$n_v/n \to 1$

n \to inf

$n \to \inf$

n_{v}

$n_v$

k

$k$

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

n_{v} / n = 1 / k

$n_v/n = 1/k$

k

$k$ katlama CV, asla 1'e yaklaşmaz.

— 09:

3

@mbq: Hayır - Stone 1977 tarafından AIC / LOO geçirmez yok değil doğrusal modeller varsayalım. Bu nedenle, Shao'nun sonucundan farklı olarak, geniş çapta alıntılanmıştır; örneğin, EOSL veya Hesaplamalı İstatistik El Kitabı'ndaki model seçim bölümlerine veya model seçimine ilişkin gerçekten iyi bir bölüm / makaleye bakın. Bir sayfadan uzun ve okumaya değer bir şeyden biraz daha fazlası çünkü sonucu elde etmek için Fisher bilgilerini / Puanını hesaplamaktan kaçındığı için biraz temiz.

— ars

7

Bu makale biraz tartışmalı ve biraz göz ardı ediliyor

Gerçekten de, kesinlikle yanlış yorumlanmış olmasına rağmen, model seçimi teorisinin nerede olduğu dikkate alınmaktadır. Asıl mesele, vahşi doğada modelleme pratiğiyle ne kadar alakalı olduğudur. Araştırmayı önerdiğiniz davalar için simülasyonları yaptığınızı ve LOOCV'nin gerçekten tutarsız olduğunu varsayalım. Bunu almanızın tek nedeni, "gerçek" modeli zaten bildiğiniz ve bu nedenle "gerçek" modeli geri kazanma olasılığının 1'e yakınlaşmadığını belirleyebilmenizdir. fenomenlerin doğrusal modeller tarafından tanımlandığı ve "gerçek" modelin dikkate alınanların bir alt kümesi olduğu;

Shao'nun makalesi teorik çerçeveyi ilerletmek için kesinlikle ilginçtir. Hatta bazı netlik sağlar: "gerçek" model gerçekten göz önünde bulundurulursa, şapkalarımızı takmak için tutarlılık sonuçları elde ederiz. Ama tarif ettiğiniz davalar için gerçek simülasyonların ne kadar ilginç olacağından emin değilim. Bu, büyük ölçüde EOSL gibi kitapların çoğunun Shao'nun sonucuna odaklanmamasının nedeni, bunun yerine model seçimi için bir kriter olarak tahmin / genelleme hatasına odaklanıyor.

EDIT: Sorunuzun çok kısa cevabı şudur: Shao'nun sonuçları, en küçük kareler kestirimi, kuadratik kayıp fonksiyonunu gerçekleştirirken uygulanabilir. Daha geniş değil. (Yangının (2005?) İlginç bir yazı olduğunu düşünüyorum. Olumsuz bir cevapla tutarlılık ve verim elde edip edemediğinizi araştırdık.)

— ars
kaynak

Doğada gerçek modeli bilip bilmememin önemli olduğunu sanmıyorum. Eğer 'doğru' bir model varsa, onu bulması daha muhtemel olan bir yöntemi tercih ederim.

— shabbychef

2

@ shabbychef: Katılmıyorum. Ancak not: "Eğer 'gerçek' bir model varsa" ve göz önünde bulundurulur. Bunu bir öncül olarak nasıl bildin?

— ar

1

Ayrıca ikinci paragrafımın yorumunuzda gerçekten önemli olduğunu unutmayın. Bu güzel bir mülk, ancak vahşi doğada ne kadar uygulanabilir olduğu belli değil; Bir anlamda rahatlatıcı olmasına rağmen, yanlış yönlendirilmiş olabilir.

— ars

2

@ars - 'true' modelinin "doğrusallığının", "true" modelini doğrusal bir modelden kurtarmanın tek yolu olmadığını unutmayın. Eğer 'doğru' modelin doğrusal olmayan bileşeni gürültü terimiyle iyi bir şekilde modellenebiliyorsa (örneğin doğrusal olmayan etkiler birbirini iptal etme eğilimindedir), o zaman makul bir şekilde 'doğru' doğrusal modeli diyebiliriz. Bu, kalan bir lineer taylor serisindeki geri kalanının önemsiz olduğunu varsaymaya benzer.

— olasılık

1

v

$v$

6

$10/10$ $1$

Kanıtların ötesinde, örneğin listelediğim beş vakadan herhangi birinin simülasyon çalışmaları olup olmadığını merak ediyorum.

— shabbychef

Biraz yapmak ister misin?

2

Ben yaparım; Yine de sonuçları burada paylaşmak için daha fazla R öğrenmek zorunda kalacağım.

— shabbychef

1

@shabbychef: hiç bunu yaptınız mı? Ve bu arada, eğer hala değişken seçimi için CV kullanan veya kullanmayan kemometrisyenleri sayıyorsanız, bunu yapmayı reddedenlerin yanına sayabilirsiniz, çünkü a) Henüz gerçek bir veriye sahip değildim. Spektroskopik verilerim için tek bir model karşılaştırmasına bile izin verecek kadar vakayı (numuneleri) ayarladım ve b) spektroskopik verilerim için, ilgili bilgiler genellikle spektrumun büyük bölümleri üzerinde "bulaşıyor", bu yüzden sert değişkenli bir seçim yapmadan normalleştirmeyi tercih ediyorum.

— cbeleites, Monica

1

1) @ars'ın cevabı Yang (2005), "AIC ve BIC'in Gücü Paylaşılabilir mi?" . Gevşek bir şekilde konuşursak, model seçim ölçütünü hem tutarlılığı elde edemezsiniz (doğru modeli seçiyorsanız, doğru modeli seçiyorsanız, dikkate alınan modeller arasındaysa) ve verimliliği (en düşük ortalamayı elde edin) Seçtiğiniz modeller arasında ortalama kare kare hatası). Ortalama olarak doğru modeli seçme eğiliminde olursanız, bazen biraz çok küçük modeller elde edersiniz ... ancak çoğu zaman gerçek bir öngörücüyü kaçırdığınızda, MSE açısından her zaman birkaç sahte yordayıcı içeren birinden daha kötü durumda olursunuz.

Daha önce de söylediğim gibi, tam olarak doğru değişkenleri elde etmekten daha iyi tahminler yapmayı umursanız, LOOCV veya AIC'yi kullanmaya devam etmek iyidir.

2) Ayrıca makalelerinin ikisini de vurgulamak istedim: Yang (2006) "Sınıflandırma için Öğrenme Yöntemlerini Karşılaştırma" ve Yang (2007) "Regresyon İşlemlerini Karşılaştırmada Çapraz Doğrulamanın Tutarlılığı" . Bu raporlar, doğrusal modellerden daha düşük hızlarda birleşen modelleri karşılaştırıyorsanız, test etme eğitim verisi oranının 0'a doğru küçülmesine ihtiyacınız olmadığını gösteriyor.

Böylece, orijinal sorularınızı 1-6 daha doğrudan cevaplamak için: Shao'nun sonuçları doğrusal modelleri birbirleriyle karşılaştırırken uygulanır. Gerileme veya sınıflandırma için, daha düşük bir hızda birleşen parametrik olmayan modelleri (hatta bir doğrusal modeli bir parametrik olmayan modele karşılaştırarak) karşılaştırıyorsanız, verilerin çoğunu eğitim için kullanabilir ve yine de model seçimiyle tutarlı CV kullanabilirsiniz. .. ama yine de Yang, LOOCV'nin çok aşırı olduğunu öne sürüyor.

— civilstat
kaynak