İki lineer regresyon modeli göz önüne alındığında, hangi model daha iyi performans gösterir?

Üniversitemde bir makine öğrenimi kursu aldım. Sınavlardan birinde bu soru soruldu.

Model 1:
$y = θ x + ϵ$ $y = \theta x + \epsilon$ Model 2: $y = θ x + θ^{2} x + ϵ$ $y = \theta x + \theta^2 x + \epsilon$
Yukarıdaki modellerden hangisi verilere daha uygun? (verilerin doğrusal regresyon kullanılarak modellenebileceğini varsayın)

Doğru cevap (profesöre göre) her iki modelin de eşit derecede iyi performans göstereceğidir. Ancak ilk modelin daha uygun olacağına inanıyorum.

Cevabımın arkasındaki sebep bu. $\alpha x + \epsilon$ , olarak yeniden yazılabilen ikinci model, $\alpha = \theta + \theta^2$ ilk modelle aynı olmaz. $\alpha$ aslında bir paraboldir ve bu nedenle minimum bir değere sahiptir ( bu durumda $-0.25$ ). Bundan dolayı , ilk modeldeki $\theta$ aralığı ikinci modeldeki aralığından daha büyüktür $\alpha$ . Dolayısıyla, eğer veriler en iyi uyumun daha az bir eğime sahip $-0.25$ olacağı şekilde olsaydı, ikinci model birinciye kıyasla çok kötü performans gösterecektir. Bununla birlikte, en uygun eğimin eğimi $-0.25$ , her iki model de aynı şekilde iyi performans gösterecektir.

İlki daha mı iyi, yoksa ikisi de aynı mı?

— kush
kaynak

Bence haklısın. Bir parametre gerektiren

eksprese olacak şekilde

(bazıları için

bunun ne sınırlayıcı bir zorunlu kılmaz)

s mümkündür.' Bu, ikinci modelin , aslında kısıtlı bir optimizasyon problemi olduğu için, birinciden daha az ilişki ifade edebileceği anlamına gelir . Akıl yürütmen bana sağlam geliyor.

α

$\alpha$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

α

$\alpha$

— Matthew Drury

@MatthewDrury Sadece nerede yanlış gittiğimi anladım, aşağıdaki cevaba bir göz atın (ve yorum)

— kush

Ben yorum görüyorum ama o varsaymak olaylara ciddi jimnastik olan

karmaşık değerler alacaktı. Ben kesinlikle profesör ile konuşmak için bazı çalışma saatleri katılmak istiyorum. Her iki şekilde de iyi bir tartışma yapacaksınız.

θ

$\theta$

— Matthew Drury

-0,25'in nereden geldiği net değil. Açıklayabilir misin?

— Mad Jack

Profesörün iki noktalı veri kümesi için her modelin uyabilecek nasıl ilgilenen olacağını

. Model 1 ve

ile uyum mükemmeldir, ancak Model 2'de mükemmel bir uyum elde etmek için

nasıl tahmin eder ?

{(1, - 1), (2, - 2)}

$\{(1,-1),(2,-2)\}$

θ = - 1

$\theta=-1$

θ

$\theta$

— whuber

Yanıtlar:

Model 2 şu şekilde yazılabilir: Bu, model 1'e benziyor, sadece hiperparametreler için farklı gösterimle ( ). Ancak, modelin 1 için biz yazabiliriz

y = (θ + θ^{2}) x + ϵ = β x + ϵ .

$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$

θ, β

$\theta, \beta$

\hat{θ} = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$

Model 2'de o sahip Fakat Eğer gerçekten belirtildiği gibi o aralığı ait olmalıdır için . Bu da bu 2 modelde fark yaratacak.

β = θ + θ^{2},

$\beta=\theta + \theta^{2},$

\hat{β}

$\hat{\beta}$

[- 0.25, + \infty]

$[-0.25,+\infty]$

θ \in R

$\theta \in R$

$\hat{\theta}$

\hat{θ} = \arg min_{θ \in R} (y - X θ)^{^{'}} (y - X θ) = (X^{^{'}} X)^{- 1} X^{^{'}} y .

$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$

\hat{β} = \arg min_{β \geq - 0.25} (y - X β)^{^{'}} (y - X β)

$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$

— Wis
kaynak

Bu mantıklı, ikinci modelde üzerinde herhangi bir kısıtlama olmaması beni çok ! Durumunda , negatif kompleks değerlere sahip olabilir. Ancak bu modeli gerçekten etkilemez, değil mi? Ben oy için temsilcisi yok, ama çok teşekkürler!

θ

$\theta$

θ + θ^{2}

$\theta + \theta^2$

θ

$\theta$

— kush

@kush Lütfen endişenizi de düzenleyen düzenlenmiş yanıtımı kontrol edin

— Wis

Sebebini anladığımdan emin değilim. Eğer alırsan:

y = α x + ϵ

$y = \alpha x+\epsilon$ ve

y = θ x + ϵ

$y = \theta x + \epsilon$

ve ve basit bir doğrusal regresyon kullanarak tahmin ederseniz = elde edersiniz . Dahası, metodoloji tamamen aynı olduğundan, her iki denklemde alacağınız değerinde bir fark yoktur . , ilk denklemdeki temel değeri farklı olacaktır , ancak bunun uyumla ilgisi yoktur. $\alpha$ $\theta$ $\alpha$ $\theta$ $R^2$ $\theta$ $\alpha = \theta + \theta^2$

— akeenlogician
kaynak

θ

$\theta$ ilk modeldeki aralıkta herhangi bir değer alabilir Ancak ikinci modeldeki yalnızca aralıktaki değerleri alabilir . Her ikisine de basit bir doğrusal regresyon modeli olarak baktığımızda, katsayısına (ikinci modelde) bir kısıtlama getirmiyor muyuz ? Verilere en uygun olumsuz eğim olması durumunda bu bir sorun yaratmaz mı?

(- \infty, \infty)

$(- \infty, \infty)$

α

$\alpha$

(- 0.25, \infty)

$(- 0.25, \infty)$

x

$x$

— kush