Doğrusal regresyonun kantil regresyona göre avantajları nelerdir?

Doğrusal regresyon modeli varsayımları bir demet yapar dilim regresyon doğrusal regresyon varsayımları yerine getirilmesi halinde ve, sonra benim sezgi (ve bazı çok sınırlı deneyimi) medyan regresyon doğrusal regresyon olarak hemen hemen aynı sonuçları vereceğini olduğunu gelmez.

Peki, lineer regresyonun ne gibi avantajları vardır? Kesinlikle daha tanıdık, ama bundan başka?

regression multiple-regression quantile-regression

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

'Daha aşina' olmak için 'yorumlanabilirlik' ve 'kararlılık' eklerdim, ama benim için doğrusal regresyonun avantajlarından biri size ortalama hakkında ve bunun örnek popülasyonunu ne kadar iyi temsil ettiği (yani çok bilgilendirici) . Doğrusal regresyon, varsayımları karşılandığında büyük bir değere ve karşılanmadığında iyi bir değere sahiptir.

— JustGettinStarted

Bu iki konuda önemli bir konunun tartışıldığını iddia ediyorum: stats.stackexchange.com/questions/153348/… ve stats.stackexchange.com/questions/146077/… - verimlilik ve hatta muhtemelen belirli koşullar altında en iyi duruma getirme varsayımlar

— Christoph Hanck

Daha ileri fakat küçük bir nokta olarak, örneğin LAD için mevcut olmayan açık, kapalı form çözümlerinin kullanılabilirliği eklenebilir, bu da bu tür teknikleri uygulayıcılar için daha az çekici hale getirebilir.

— Christoph Hanck

Yanıt, tek bir popülasyon parametresini tahmin etmenin basit durumunu karşılaştırmak, ardından en az kare hataların Gauss hatalarıyla daha iyi performans gösterdiğini ve en az mutlak artıkların (varsayımlar kullanılarak da) farklı hata türleri için daha iyi performans gösterdiğini göstermek gibi olabilir. Ama sonra, bu soru daha karmaşık doğrusal modeller hakkında ve sorun daha karmaşık ve geniş olmaya başlıyor. Basit problemin sezgisi (tek bir ortalama / medyan tahmini) daha büyük bir model için işe yarıyor, ancak ne kadar çözülmeli? Ve nasıl karşılaştırılır, aykırı değerlere, dağılımlara, hesaplamaya karşı sağlamlık?

— Sextus Empiricus

Benim durumumda, yanıt değişkeni çarpık olduğunda (örneğin müşteri harcamaları) teknik olmayan kişilere açıklamak için çok daha iyi buldum ve bir dönüşüm / bağlantı fonksiyonu adımının uygulanması tüm analizi gizliyor. Bu anlamda, " medyan regresyon, doğrusal regresyon ile hemen hemen aynı sonuçları verir " iddiasını biraz aşırı basitleştirdiğine itiraz edeceğim ; özellikle potansiyel olarak çarpık yanıt değişkenleriyle uğraşırken bunu yapmaz.

— usεr11852 diyor Reinstate Monic

Yanıtlar:

Sıklıkla en az kare kalıntıları en aza indirmenin , hesaplama bakımından daha basit olmasından dolayı mutlak kalıntıları en aza indirmeye tercih edildiği belirtilmektedir . Ancak, olabilir de başka nedenlerle iyi olur. Şöyle ki, eğer varsayımlar doğruysa (ve bu yüzden nadir değildir) o zaman (ortalama olarak) daha doğru bir çözüm sağlar.

Maksimum olasılık

En küçük kareler regresyonu ve kantil regresyon (mutlak kalıntılar en aza indirilerek gerçekleştirildiğinde), Gauss / Laplace dağıtılmış hatalarının olasılık fonksiyonunu en üst düzeye çıkarıyor gibi görülebilir ve bu anlamda çok ilişkilidir.

Gauss dağılımı:

$f (x) = \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}$ $f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

kare kalıntıların toplamı en aza indirilirken log olasılığı en üst düzeye çıkarılır

$\log L (x) = - \frac{n}{2} \log (2 π) - n \log (σ) - \frac{1}{2 σ^{2}} \underset{sum of squared residuals}{\underset{⏟}{\sum_{i = 1}^{n} (x_{i} - μ)^{2}}}$ $\log \mathcal{L}(x) = -\frac{n}{2} \log (2 \pi) - n \log(\sigma) - \frac{1}{2\sigma^2} \underbrace{\sum_{i=1}^n (x_i-\mu)^2}_{\text{sum of squared residuals}}$
Laplace dağılımı:

$f (x) = \frac{1}{2 b} e^{- \frac{| x - μ |}{b}}$ $f(x) = \frac{1}{2b} e^{-\frac{\vert x-\mu \vert}{b}}$

mutlak artıkların toplamı en aza indirilirken log olasılığı en üst düzeye çıkarılır

$\log L (x) = - n \log (2) - n \log (b) - \frac{1}{b} \underset{sum of absolute residuals}{\underset{⏟}{\sum_{i = 1}^{n} | x_{i} - μ |}}$ $\log \mathcal{L}(x) = -n \log (2) - n \log(b) - \frac{1}{b} \underbrace{\sum_{i=1}^n |x_i-\mu|}_{\text{sum of absolute residuals}}$

^{Not: Laplace dağılımı ve mutlak artıkların toplamı medyanla ilgilidir, ancak negatif ve pozitif kalıntılara farklı ağırlıklar verilerek diğer niceliklere genelleştirilebilir.}

Bilinen hata dağılımı

Hata dağılımını bildiğimizde (varsayımlar muhtemelen doğru olduğunda) ilişkili olabilirlik işlevini seçmek mantıklıdır. Bu işlevi en aza indirmek daha uygundur.

Çoğu zaman hatalar (yaklaşık) normal dağılır. Bu durumda, en küçük kareler kullanmak $\mu$ parametresini bulmanın en iyi yoludur ( hem ortalama hem de medyan ile ilgilidir). Bu en iyi yoldur çünkü en düşük örnek varyansına sahiptir (tüm yansız tahmin edicilerin en düşüktür ). Veya daha güçlü bir şekilde söyleyebilirsiniz: stokastik olarak baskın olduğunu ( bu sorudaki örnek medyanın dağılımını ve örnek ortalamasını karşılaştıran resme bakın ).

Dolayısıyla, hatalar normal olarak dağıtıldığında, örnek ortalaması dağılım medyanının numune medyanından daha iyi bir tahmin edicisidir . En küçük kareler regresyonu, miktarların daha uygun bir tahmincisidir. Mutlak artıkların en az toplamını kullanmaktan daha iyidir.

Normal dağıtılmış hatalarla ilgili çok fazla sorun olduğundan, en küçük kareler yönteminin kullanımı çok popülerdir. Diğer dağıtım türleri ile çalışmak için Genelleştirilmiş doğrusal model kullanılabilir . Ve, GLM'leri çözmek için kullanılabilen yinelemeli en küçük kareler yöntemi , medyanı (veya genelleştirilmiş versiyonda diğer miktarlarda) bulmaya eşdeğer olan Laplace dağılımı (yani mutlak sapmalar için ) için de çalışır .

Bilinmeyen hata dağılımı

sağlamlık

Medyan veya diğer miktarlar, dağıtım türü konusunda çok sağlam olma avantajına sahiptir. Gerçek değerler çok önemli değil ve miktarlar sadece siparişi önemsiyor. Dolayısıyla, dağılım ne olursa olsun, mutlak kalıntıları (miktarları bulmaya eşdeğer) en aza indirmek çok iyi çalışıyor.

Buradaki soru karmaşık ve geniş hale geliyor ve dağıtım işlevi hakkında ne tür bilgiye sahip olduğumuz ya da sahip olmadığımıza bağlı. Örneğin, bir dağılım yaklaşık olarak normal dağılıma sahip olabilir, ancak sadece bazı ek aykırı değerlerle olabilir. Bu, dış değerler kaldırılarak çözülebilir. Aşırı değerlerin bu şekilde kaldırılması , kesik ortalamanın medyandan daha iyi bir tahminci olabileceği Cauchy dağılımının konum parametresini tahmin etmede bile çalışır . Bu nedenle, yalnızca varsayımların geçerli olduğu ideal durum için değil, aynı zamanda daha az ideal uygulamalar için (örn. Ek aykırı değerler), mutlak artıkların toplamı yerine bir miktar kare kalıntısının hala bir kısmını kullanan iyi sağlam yöntemler olabilir.

Kesik artıklarla regresyonun hesaplama açısından çok daha karmaşık olabileceğini düşünüyorum. Yani aslında hesaplama açısından daha basit (normal en küçük karelerden daha basit değil, kesik en küçük karelerden daha basit) nedeni ile gerçekleştirilen regresyon türü olan kuantil regresyon olabilir .

Önyargılı / tarafsız

Başka bir konu tarafsız tahmin edicilere karşı önyargılıdır. Yukarıda, ortalama veya en küçük kareler çözümü için maksimum olasılık tahminini iyi veya tercih edilebilir bir tahmin edici olarak tanımladım çünkü çoğu zaman tüm yansız tahmin edicilerin en düşük varyansına sahiptir (hatalar normal dağıtıldığında). Ancak, önyargılı tahminciler daha iyi olabilir (kare hatalarının beklenen toplamının düşük olması).

Bu, soruyu tekrar geniş ve karmaşık hale getirir. Bunları uygulamak için birçok farklı tahminci ve birçok farklı durum vardır. Uyarlanmış toplam kare kalıntısı kaybı işlevinin kullanılması, hatayı azaltmak için genellikle iyi çalışır (örneğin her türlü düzenleme yöntemi), ancak tüm durumlar için iyi çalışması gerekmeyebilir. Sezgisel olarak, kare kalan kalıntı kaybı işlevinin toplamının çoğu zaman tüm tarafsız tahmin ediciler için iyi çalıştığından, en uygun önyargılı tahmin edicilerin muhtemelen kare kalan kalıntı kaybı işlevinin toplamına yakın bir şey olduğunu hayal etmek garip değildir.

— Sextus Empiricus
kaynak

Hata dağılımını bildiğimizde, ilişkili olabilirlik işlevini seçmek mantıklıdır. Bu işlevi en aza indirmek daha uygundur. Bunun yanlış olduğunu söylememek, ancak muhtemelen nitelikli olması gerekir. Tabii ki, bu bir kez daha farklı kayıp fonksiyonları altındaki optimal tahmin ediciler hakkındaki soruma (yanıtladığınız) ilişkindir .

— Richard Hardy

En düşük örnek varyansı olduğu için en iyi yoldur. Sapma genellikle mantıklı bir kayıp fonksiyonu değildir, çünkü önyargıyı ihmal eder; hem varyans hem de yanlılığı hesaba katan mantıklı bir muadili beklenen kare hatası (yani ortalama kare hatası) olacaktır. En küçük kareler regresyonu, miktarların daha uygun bir tahmincisidir. Medyan - evet, ama diğerleri? Ve eğer evetse, neden? Her durumda, seninki çok güzel bir cevap!

— Richard Hardy

@RichardHardy bu konu çok geniş. Aslında hata = varyans + sapma. Örnek ortalamasının yanlılığının örnek medyanla aynı olduğunu varsaydım (veya daha genel: en az kare kalıntıların toplamı ve en az mutlak kalıntı kalıntılarının toplamı aynı yanlılığa sahiptir). Bu, çeşitli hata dağılımları (örneğin simetrik hata dağılımları) göz önüne alındığında doğrudur, ancak aslında sorular diğer durumlar için daha karmaşık hale gelir. (asıl mesele, hataların genellikle normal dağılmasıydı ve bu da en küçük kareler regresyonunu olumlu kılıyor)

— Sextus Empiricus

Aynı şey (sorunun karmaşıklığı) medyanı değil, başka bir kantili düşünürsek de geçerlidir. Normal dağıtılmış hatalar söz konusu olduğunda, MLE'nin herhangi bir kantil için en iyi sonucu verdiğine inanıyorum, ancak bunun sezgi olduğunu kabul ediyorum. Yine sorun çok geniştir (örnek sayısına, hataların dağılım türüne ve bu konuda kesinliğe vb. Bağlı olarak).

— Sextus Empiricus

Bir kırık saat ben Bozuk bir saat MLE demem, tam olarak doğru iki kez bir gün. Tabii, sorunu iyi bildiğinizde, genel hatayı iyileştirmek için bazı sapmaları azaltan önyargı getirebilirsiniz. Bu mutlaka farklı (kantil) bir regresyon türüne geçmez, aynı zamanda en küçük karelere ekmek ve tereyağına biraz reçel veya bal koyabilirsiniz. Eğer MLE'yi kırık bir saatle karşılaştırmak istiyorsanız, o zaman en çok kullandığımız zaman boyunca duran bir saattir.

— Sextus Empiricus

Doğrusal regresyon (LR), katsayılarını hesaplarken en küçük kareler optimizasyonuna kadar kaynar. Bu, regresyon modelinden sapmalarda bir simetri anlamına gelir. Kuantil regresyonun (QR) iyi bir açıklaması https://data.library.virginia.edu/getting-started-with-quantile-regression/ adresindedir .

LR varsayımları (çıkarsama için gerekli: p-değerleri, güven aralıkları vb.) Karşılanırsa QR ve LR tahminleri benzer olacaktır. Ancak varsayımlar şiddetle ihlal edilirse, standart LR çıkarımınız yanlış olacaktır. Dolayısıyla 0,5 kantil (medyan) regresyon LR'ye göre bir avantaj sağlar. Aynı zamanda diğer kantiller için regresyon sağlamada daha fazla esneklik sağlar. Doğrusal modeller için eşdeğer bir LR'den hesaplanan bir güven sınırı olacaktır (iid şiddetle ihlal edilirse bu yanlış olur).

Peki LR'nin avantajı nedir? Tabii ki hesaplamak daha kolaydır, ancak veri kümeniz makul boyutta ise çok fark edilmeyebilir. Ancak daha da önemlisi, LR çıkarım varsayımları belirsizliği azaltan bilgiler sağlar. Sonuç olarak, tahminlerdeki LR güven aralıkları tipik olarak daha dar olacaktır. Dolayısıyla, varsayımlar için güçlü bir teorik destek varsa, daha dar güven aralıkları bir avantaj olabilir.

— George Ostrouchov
kaynak

$E(Y \vert X)$ $Y$ $X$ $E(Y \vert X)= X \beta$ $\beta$ MAVİ (en iyi doğrusal yansız kestirimci - bkz. Gauss-Markov teoremi).

Kantil regresyon, medyan dahil koşullu dağılımın HERHANGİ bir kantilini tahmin etmek için kullanılabilir. Bu, potansiyel dağılım koşullu ortalamasından çok daha fazla bilgi sağlar. Koşullu dağılım simetrik değilse veya kuyruklar muhtemelen kalınsa (örneğin risk analizi), lineer regresyonun tüm varsayımları karşılanırsa, niceliksel regresyon EVEN yararlıdır.

Tabii ki, doğrusal regresyona göre kantil tahmin yapmak sayısal olarak daha yoğundur, ancak genellikle çok daha sağlamdır (örneğin, medyan, aykırı değerlerin ortalamasından daha sağlam olduğu için). Ek olarak, doğrusal regresyon olmadığında - örneğin sansürlenmiş veriler için - uygundur. Varyans-kovaryans matrisinin doğrudan tahmini zor veya hesaplama açısından pahalı olabileceğinden, çıkarım daha zor olabilir. Bu durumlarda, kişi bootstrap yapabilir.

— Kruggles
kaynak