Çapraz doğrulama (CV) ve genelleştirilmiş çapraz doğrulama (GCV) istatistikleri

Çapraz doğrulama (CV) istatistiği ve doğrusal bir model $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ (normal, homoscedastic error vector ile) ile ilişkili genelleştirilmiş çapraz doğrulama (GCV) istatistiği için muhtemelen çelişkili tanımlar buldum. $\boldsymbol\varepsilon$ ).

Bir yandan, Golub, Heath ve Wahba GCV tahminini $\hat{\lambda}$ olarak tanımladı (s. 216).

arasında asgarileştirir $V\left(\lambda\right)$ tarafından verilen
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ burada $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

Öte yandan, Efron aynı kavramı $V\left(0\right)$ (s. 24) olarak tanımlamaktadır , ancak bu kavramın tanımını temelde aynı olan Craven & Wahba'ya atfeder (s. 377). Golub olarak, Heath & Wahba'nın yukarıda belirtilen tanımı.

Bu, $0$ en aza indirdiği anlamına mı geliyor ? $V\left(\lambda\right)$

Benzer şekilde, Golub, Heath ve Wahba, $\lambda$ (s. 217) ' nin CV tahminini en aza indirgeyici olarak tanımlamıştır .

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

burada $\beta^{\left(k\right)}\left(\lambda\right)$ olan tahmin

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

ve $\beta$ ile $k$ inci veri noktası $y_i$ çıkartıldı.

Yazarlar, Allen kağıt Yine Allen ( "Allen'in PRESS", aynı eser.) İla (aynı zamanda basın tahmini olarak da adlandırılır) CV tahmininin giriş öznitelik, PRES tahmini tanımlanır (s. 126) olarak $n P\left(0\right)$ (Efron'un makalesinde $P\left(0\right)$ (s. 24)) olarak tanımlanmıştır.

Yine, bu $0$ en aza indirdiği anlamına mı geliyor? $P\left(\lambda\right)$

Allen, David M. Değişken Seçme ve Veri Toplama Arasındaki İlişki ve Öngörü Yöntemi. Technometrics, Vol. 16, No. 1 (Şubat 1974), sayfa 125-127
Craven, Peter ve Wahba, Grace. Spline Fonksiyonlarıyla Gürültülü Verileri Düzgünleştirme. Numerische Mathematik 31, (1979), sayfa 377-403
Efron, Bradley. Lojistik Bir Regresyonun Görünür Hata Oranı Ne Kadar Önyargılıdır? Teknik rapor no. 232. İstatistik Bölümü, Stanford Üniversitesi (Nisan 1985)
Golub, Gene H., Heath ve Grace Wahba. İyi Bir Ridge Parametresi Seçme Yöntemi Olarak Genelleştirilmiş Çapraz Doğrulama. Technometrics, Vol. 21, No. 2 (Mayıs 1979), sayfa 215-223

cross-validation

— Evan Aad
kaynak

Bunun, en küçük karelere değil, sırt regresyonuna sahip olacağını söylemeyi unuttun mu? Kâğıt başlıkları görene dek

λ

$\lambda$

— lambda'nın

Başlığa Genelleştirilmiş Çapraz Doğrulamayı kaldırın ve başlığa Ridge Regression ekleyin. İşte ne GridSearchCV () RidgeCV için varsayılan ():

— HoofarLotusX

Yorumların cevabı işaret ettiğine inanıyorum, ancak açıkça belirtmiyor. O yüzden kör olacağım.

Burada verilen V formülü doğrusal sırt regresyonuna özgüdür. PRESS ile aynı olduğunu söylemezler, PRESS'in dönüşü değişmeyen bir versiyonu olduğunu söylerler. "Rotasyon değişmez" kısmı, bunu genelleştiren şeydir.

Efron'un makalesi, bu bağlam için özelleştirilmiş lojistik regresyon ile ilgilidir. İki bağlam arasındaki matematik çevirisini görmek istiyorsanız, okumak için doğru kitap, 2ed, Hastie, Tibshirani ve Freedman tarafından verilen İstatistiksel Öğrenme Öğeleridir. Bu kitabı çevrimiçi olarak ücretsiz sunuyorlar: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . GCV hakkında bir başka yararlı okuma, Simon Wood'un Genelleştirilmiş Katkı Modelleri'dir. Tedavisi genel olarak GCV'yi regresyon ve lojistik regresyondaki uygulamalarla bütünleştirir.

ESL kitabına bakarsanız, s 244, temel olarak aynı sembolojiyi görürsünüz. Pürüzsüz matris olarak sahip olduğunuz o büyük matris ürününe atıfta bulunurlar (bunun bir Şapka matrisi veya yakın bir kuzeni olduğunu söyleyebilirim). Pürüzsüz e eşleme olarak tanımlarlar. $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ , verilerdeki her satır için bir tane olmak üzere bir CV bırakma değeri hesaplamak için kullanılabilir. İçin doğrusal modeller , matrisi regresyon teşhis Şapka matrisinin rol oynamaktadır. Bununla birlikte, bunun hesaplanması zor olabilir ya da gereksiz olabilir diyorlar ve GCV yaklaşımı aynı fikrin biraz daha genel bir versiyonu. $S$

GCV'nin yaklaştırılması için bir formül sunar :

G, C V (\hat{f}) = \frac{1}{N-} Σ_{ben = 1}^{N-} {[\frac{y_{ben} - \hat{f} (x_{ben})}{1 - t r bir c e (S) / N-}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

Bu, birçok modelde AIC'ye davranış olarak oldukça benzerdir. parametre etkili bir sayıdır. $trace{S}$

Eğer alıntı parça daha genel bir iz olduğunu . Anlayabildiğim kadarıyla, soyut GCV'de bir tane çapraz onaylama dışında bırakmanın yaklaşık bir versiyonudur, ancak bazı durumlarda (sırt regresyonuna inanıyorum) kesindir. Golub gazetesinde ana nokta budur. $n\lambda$ $S$

İyi şanslar, daha fazlasını öğrenirseniz, tekrar yazın.

— pauljohn32
kaynak

Teşekkürler. Sorumu 5 yıldan fazla bir süre önce gönderdim ve o zamandan beri bu malzemenin çoğunu unuttum, bu yüzden iyi olup olmadığını (ki göründüğü gibi) ya da kötü olduğunu söylemek için cevabınızı değerlendiremiyorum. Ben de kabul edemem. Yine de gönderdiğiniz için teşekkürler. Umarım bu sayfaya gelebilecek başkaları için faydalı olacaktır.

— Evan Aad,