Sırt regresyonunda standardizasyon hakkında soru

Hey millet sırt regresyonu kullanan bir veya iki makale buldum (basketbol verileri için). Bir sırt regresyonu yürüttüysem her zaman değişkenlerimi standartlaştırmam söylendi, ancak basitçe bunu yapmam söylendi çünkü sırt ölçekli varyanttı (sırt regresyonu gerçekten kursumuzun bir parçası değildi, bu yüzden öğretim üyemiz onu gözden kaçırdı).

Okuduğum bu makaleler değişkenlerini standardize etmedi, bu da biraz şaşırtıcı buldum. Ayrıca çapraz doğrulama yoluyla büyük lambda değerleri (2000-4000 seviyesi civarında) ile sonuçlandılar ve bunun değişkenlerin standartlaştırılmamasından kaynaklandığı söylendi.

Değişkenleri standart dışı bırakmanın tam olarak nasıl yüksek lambda değerlerine yol açtığı ve değişkenlerin genel olarak standardize edilmemesinin sonuçları nelerdir? Gerçekten çok mu önemli?

Herhangi bir yardım çok takdir edilmektedir.

Ridge regresyonu, katsayıların boyutuna bir ceza uygulayarak doğrusal regresyonu düzenler. Böylece katsayılar sıfıra doğru ve birbirlerine doğru küçülür. Ancak bu olduğunda ve bağımsız değişkenler aynı ölçeğe sahip değilse, büzülme adil değildir. Farklı ölçeklerde iki bağımsız değişken cezalandırılmış terimlere farklı katkılarda bulunacaktır, çünkü cezalandırılmış terim tüm katsayıların karelerinin toplamıdır. Bu tür problemlerden kaçınmak için, bağımsız değişkenler varyans 1 olması için ortalanır ve ölçeklendirilir.

[Daha sonra yoruma cevap vermek için düzenleme yapın]

$height$

Lambda ile cezalandırma süresi, verilen bir sabitten küçük veya ona eşit olan kare katsayılarının toplamı açısından kare kaybı işlevini ifade etmekle aynıdır. Bu, daha büyük lambda'nın kare katsayıların toplamına çok daha fazla alan ve daha düşük lambda'nın daha küçük bir alan sağladığı anlamına gelir. Daha büyük veya daha küçük alan, katsayıların daha büyük veya daha küçük mutlak değerleri anlamına gelir.

Standardizasyonu kullanmamak, o zaman modele uymak için katsayıların büyük mutlak değerlerini gerektirebilir. Elbette, değişkenin modeldeki rolü nedeniyle doğal olarak büyük bir katsayı değerine sahip olabiliriz. Belirttiğim şey, bu değerin ölçeklenmemesi nedeniyle yapay olarak şişirilmiş bir değere sahip olabileceğidir. Bu nedenle ölçekleme, büyük katsayı değerlerine olan ihtiyacı da azaltır. Bu nedenle, lambda'nın optimal değeri genellikle daha küçük olacaktır, bu da daha küçük bir toplam katsayı değerlerine karşılık gelir.

Dört yıl geç olsa da, birisinin bundan faydalanacağını umuyorum .... Anladığım gibi, katsayı, bağımsız değişkente (dy / dx) bir birim değişikliği için hedef değişkenin ne kadar değiştiğidir. Diyelim ki ağırlık ve boy arasındaki ilişkiyi inceliyoruz ve kilo Kg cinsinden ölçülür. Yükseklik için Kilometre kullandığımızda, veri noktalarının çoğunun (insan boyu için) yakından paketlendiğini hayal edebilirsiniz. Bu nedenle, boyda küçük bir fraksiyonel değişiklik için ağırlıkta büyük bir değişiklik olacaktır (ağırlıkla boyda artış varsayalım). Dy / dx oranı çok büyük olacaktır. Öte yandan, yükseklik milimetre cinsinden ölçülürse, veriler yükseklik özelliklerinde geniş ve geniş olacaktır. Yükseklikteki bir birim değişikliğin ağırlıkta önemli bir değişikliği olmayacaktır dy / dx neredeyse 0'a çok yakın olacaktır.