Bir regresyon modelinin ne zaman uygun olduğunu nasıl tespit edebilirim?

İşi yapan siz olduğunuzda, ne yaptığınızın farkında olmak, modele ne zaman uyduğunuz konusunda bir fikir geliştirir. Birincisi, trend veya bozulmayı modelin Düzeltilmiş R Meydanı'nda takip edebilirsiniz. Ana değişkenlerin regresyon katsayılarının p değerlerinde de benzer bir bozulmayı izleyebilirsiniz.

Ancak, başka birini okuduğunuzda ve kendi iç model geliştirme süreci hakkında bir fikriniz yoksa, bir modelin aşırı uyup uymadığını nasıl net bir şekilde tespit edebilirsiniz.

regression multivariate-analysis overfitting

— sympa
kaynak

Sadece konuyla ilgili birkaç fikir atmak için, çalışma standart regresyon istatistiklerini açıklıyorsa, katsayıların t istatistiklerine ve p değerlerine odaklanabilirsiniz. Modelin RSquare değeri yüksekse; ancak, değişkenlerden biri veya daha fazlası stat <2.0'dadır; bu kırmızı bir bayrak olabilir. Ayrıca, bazı değişkenlerdeki katsayıların işareti, muhtemelen başka bir kırmızı bayrak olan mantığa meydan okuyorsa. Çalışma model için bir bekleme süresi açıklamazsa, bu başka bir kırmızı bayrak olabilir. Umarım başka ve daha iyi fikirleriniz olur.

— Sympa

Bir yol, modelin diğer (ancak benzer) veriler üzerinde nasıl performans gösterdiğini görmektir.

— Shane

Yanıtlar:

Çapraz doğrulama ve düzenlileştirme, aşırı takmayı önlemek için oldukça yaygın tekniklerdir. Hızlı bir şekilde almak için, Andrew Moore'un çapraz doğrulama ( ayna ) kullanımı ile ilgili eğitici slaytlarını öneriyorum - uyarılara özellikle dikkat edin. Daha fazla ayrıntı için, konuyu ve ilgili konuyu derinlemesine kapsayan EOSL'nin 3. ve 7. bölümlerini kesinlikle okuyun .

— ars
kaynak

Vay canına, Andrew Moore'un çapraz doğrulama hakkındaki eğitimi dünya standartlarında.

— Sympa

Bir modeli kendim takarken genellikle uydurma işlemi sırasında AIC veya BIC gibi bilgi ölçütlerini veya alternatif olarak maksimum olasılığa dayalı modeller için Olabilirlik oranı testlerini veya en küçük karelere dayanan modeller için F-testini kullanırım.

Hepsi kavramsal olarak benzerdir, çünkü ek parametreleri cezalandırırlar. Bir modele eklenen her yeni parametre için "ek açıklayıcı güç" eşiği belirlediler. Hepsi bir çeşit düzenlileştirme .

Diğerlerinin modelleri için, bu tekniklerin kullanılıp kullanılmadığını görmek için yöntemler bölümüne bakıyorum ve parametre başına gözlem sayısı gibi başparmak kurallarını da kullanıyorum - parametre başına yaklaşık 5 (veya daha az) gözlem varsa merak etmeye başlıyorum.

Önemli olması için bir modelde bir değişkenin "önemli" olması gerekmediğini daima unutmayın. Bir karıştırıcı olabilirim ve hedefiniz diğer değişkenlerin etkisini tahmin etmekse bu temelde yer almalıyım.

— Thylacoleo
kaynak

AIC ve BIC testlerine bağlantılar için teşekkürler. Değişken eklemek için modelleri cezalandırarak benzer bir şey yapan Düzeltilmiş R Meydanı'na çok değer katıyorlar mı?

— Sympa

@Gaeten, Düzeltilmiş R-kare, önceki ve sonraki modelin bir F testi önemli olduğunda artacaktır, bu nedenle eşdeğerdirler, ancak normal olarak ayarlanmış bir R-kare hesaplanması bir p değeri döndürmez.

— Thylacoleo

@Gaeten - AIC & BIC, F testlerinden daha geneldir ve genellikle en küçük karelere uyan modellerle sınırlı olan ayarlanmış R-kare şeklindedir. AIC & BIC, olasılığın hesaplanabileceği ve serbestlik derecelerinin bilinebildiği (veya tahmin edilebildiği) herhangi bir model için kullanılabilir.

— Thylacoleo

Bir değişken grubunu test etmek bir düzenlenme biçimi değildir (büzülme). Ve test, birine aşırı takılmayı azaltmakla hiçbir ilgisi olmayan değişkenleri kaldırma cazibesi verir.

— Frank Harrell

@FrankHarrell Bu eski yorumunuzu biraz ayrıntılandırabilir misiniz? Bana öyle geliyor ki, bir değişkenin kaldırılması aşırı uydurmayı azaltacaktır, diğer tüm şeyler eşittir, çünkü fazla oturmak için mevcut özgürlük dereceleri azalır. Burada bazı nüansları kaçırdığımdan eminim.

— Lepidopterist

$BIC_{m}$ $M$

P (model m is true | one of the M models is true) \approx \frac{w_{m} \exp (- \frac{1}{2} B I C_{m})}{\sum_{j = 1}^{M} w_{j} \exp (- \frac{1}{2} B I C_{j})}

$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$

= \frac{1}{1 + \sum_{j \neq m}^{M} \frac{w_{j}}{w_{m}} \exp (- \frac{1}{2} (B I C_{j} - B I C_{m}))}

$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$

$w_{j}$ $w_{j}=1$

$BIC_{final}<BIC_{j}$ $p$ $d$

M \geq 1 + p + (p - 1) + \dots + (p - d + 1) = 1 + \frac{p (p - 1) - (p - d) (p - d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$

M \geq 1 + p + (p - 1) + \dots + (d + 1) = 1 + \frac{p (p - 1) - d (d - 1)}{2}

$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$

$M$ $BIC_{j}$ $\lambda$ $BIC_{m}=BIC_{j}-\lambda$

\frac{1}{1 + (M - 1) \exp (- \frac{λ}{2})}

$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$

$\lambda$ $M$ $M$

\frac{1}{1 + \frac{p (p - 1) - d (d - 1)}{2} \exp (- \frac{λ}{2})}

$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$

$p=50$ $d=20$ $\lambda$ $P_{0}$

λ > - 2 l o g (\frac{2 (1 - P_{0})}{P_{0} [p (p - 1) - d (d - 1)]})

$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$

$P_{0}=0.9$ $\lambda > 18.28$

— probabilityislogic
kaynak

+1, bu gerçekten akıllı. Bu bir yerde yayınlandı mı? Bunun için 'resmi' bir referans var mı?

— gung - Monica'yı eski

@gung - neden teşekkür ederim. Ne yazık ki, bu "zarfın arkası" cevabı idi. Daha ayrıntılı bir şekilde araştırırsanız, bununla ilgili problemler olduğundan eminim.

— olasılık