Bir problemin doğrusal regresyon için çok uygun olduğuna dair ipuçları

Montgomery, Peck ve Vining'in Doğrusal Regresyon Analizine Giriş'i kullanarak doğrusal regresyon öğreniyorum . Bir veri analizi projesi seçmek istiyorum.

Doğrusal regresyonun sadece açıklayıcı değişkenler ile yanıt değişkeni arasında doğrusal fonksiyonel ilişkiler olduğundan şüphelenildiğinde uygun olduğuna dair saf bir düşüncem var. Ancak pek çok gerçek dünya uygulaması bu kriteri karşılamıyor gibi görünmektedir. Yine de doğrusal regresyon çok yaygındır.

Bir projenin hangi yönleri deneyimli bir istatistikçinin ayakkabılarımda olup olmadığını düşünmek, doğrusal regresyon için çok uygun bir soru + veri aramak olabilir.

Doğrusal regresyonun sadece açıklayıcı değişkenler ile yanıt değişkeni arasında doğrusal fonksiyonel ilişkiler olduğundan şüphelenildiğinde uygun olduğuna dair saf bir düşüncem var. Ancak pek çok gerçek dünya uygulaması bu kriteri karşılamıyor gibi görünmektedir.

Bu, "doğrusal regresyon" da "doğrusal" neyin doğru anlaşılması değildir.

O arasındaki ilişki değil ve 'in (tüm temel örnekler sizi yanıltma olasılığı olsa da) doğrusal form olduğu varsayılır söyledi.$y$$x$

"Doğrusal", parametrelerde doğrusal olan model anlamına gelir ve ile bazı arasındaki doğrusal olmayan ilişkiler kesinlikle bu şekilde modellenebilir.$y$$x$

Burada tek bir öngörücüye sahip bir örnek var , ancak eğrisel modeller daha çok çoklu regresyon olarak takılıyor, burada regresyonda bir kestiricinin (x değişkeni, bağımsız değişken) çeşitli işlevleri oluşabilir ve bu çok fazla esnekliğe izin verir. Örneğin polinom regresyonu da buna dahildir. Burada bazı tartışmalara ve örneklere bakın .

Ancak, öngörücülerin kavisli ilişkilere uyacak şekilde dönüştürülebilmesine izin verirsek, parametrelerdeki doğrusallık dönüştürülmüş öngörücülerdeki doğrusallığa da karşılık gelir.

Ek olarak, birçok sorun doğrusaldır (en azından dikkate alınan değer aralığının üzerinde) veya herhangi bir hafif eğriliğin ayırt edilemeyeceği kadar gürültülüdür ve artan veya azalan bir ilişki için çeşitli basit modeller yapabilir - ve bu durumda doğrusal bir seçim hem uyması hem anlaşılması hem yeterli hem de en basit olabilir.

Bir projenin hangi yönleri deneyimli bir istatistikçinin ayakkabılarımda olup olmadığını düşünmek, doğrusal regresyon için çok uygun bir soru + veri aramak olabilir.

Regresyon uygulamak için bir sorun arayabileceğim tek zaman, öğretim için iyi bir örnek bulmaya çalıştığım zamandır. Aslında istatistiksel çalışma yapma konumundayken (açıklamak veya öğretmek yerine), yönteme uygun verileri seçmek yerine, ilgilenilen soruya (ve verilerin özelliklerine) uygun yöntemi seçerim.

Örneğin bir marangoz düşünün. Marangoz spokeshave alıp söylemez "ne kullanabilir bu üzerinde?". Bunun yerine, marangozun çözmesi gereken bir sorunu vardır ve sorunun özelliklerini ("ne yapmaya çalışıyorum?" Ve "ne tür bir ahşap kullanıyorum?" Vb.) diğerlerinden daha alakalı. Bazen sınırlayabilir veya seçimler rehberlik edebilir mevcuttur araçları (eğer yoksa sahip bir spokeshave, başka bir şey ile yetinmek zorunda kalabilirsiniz ... ya da sadece bir spokeshave satın gitmek gerekebilir).

Bununla birlikte, size yardımcı olan bir cep istatistikçiniz olduğunu ve doğrusal regresyona uygun bir sorun bulmaya çalıştığınızı varsayalım . O zaman çeşitli regresyon varsayımlarını ve ne zaman önemli olduklarını düşünmenizi önerebilirler. Birkaç şeyden bahsedeceğim.

Eğer y ve bazı tek değişkenli (muhtemelen dönüştürülmüş) x arasındaki bir ilişkiyi kurmakla ilgileniyorsanız , varsayımların çoğu sizin için önemli değildir (Gauss-Markov teoremi biraz alakalı olabilir). Sen düşündüğünüz bir durum için yapmamız gerekecekti yaklaşık lineer olduğu - Bilinen - bazıları için (olduğunu, biz istediğimiz ilişkinin fonksiyonel formu biliyor varsayar) . yazarken , nin en azından yaklaşık olarak doğru olması gerekir.g ( x ) g x ∗ = x E ( y | x ∗ ) = a + b x $E(y|g(x))$$g(x)$$g$$x^*=x$$E(y|x^*)=a+bx*$

Bu çok önemli bir sorun olmasa bile çoklu regresyon kullanabiliyorsanız, oldukça genel ilişkilere uymak için (örneğin) kübik regresyon spline'ları kullanılabilir.

Sahte regresyon ile ilgili sorunları anlamadığınız sürece, zaman içinde verilerden uzak durmanızı öneririm; kesit problemleri ile sopa.

Yalnızca tek bir ile uğraşıyorsanız, kategorik bir yerine sürekli bir tane olmasını bekliyorum .$x$$x$

Sen ölçüm hatalarını almamayı isterdi üzerinde beklenti şartlandırma ilgilenen sürece ölçülen değer.$x$

Hipotez testi, güven aralıkları veya tahmin aralıkları ile ilgileniyorsanız, normal regresyon varsayımlarından daha fazlası önemli olabilir (ancak bu varsayımları yapmayan alternatifler vardır ve bazı durumlarda, en azından bazı varsayımlar özellikle önemli olabilir).

En azından farkına varmaya çalıştığımız bir şey, kullandığınız çıkarımsal prosedürlerin türetilmesinde yapılan bu varsayımların ne olduğu ve sizin özel probleminizde ne kadar önemli olabileceğidir (örnek olarak, olağan hipotez testlerini gerçekleştirirken, normallik bir varsayımdır, ancak büyük örneklerde bu varsayım önemli olmayabilir; öte yandan, sürekli varyans varsayımı daha önemli olabilir).

Regresyon varsayımlarını tartışan bir dizi yazı ve ne zaman yapılması gerektiğini ve ne kadar önemli olabileceklerini ve hatta hangi sırayla dikkate alınacağını tartışan bazı yayınlar vardır.

Yukarıdaki mükemmel cevaplara ek olarak, doğrusal modelin, esas olarak ile ilgili olarak, iyi çalışması için genel gereksinimler vardır . model uyumunu aşırı derecede etkileyecek aşırı değerlere sahip olmaması anlamında iyi davranılması gerekir. İkincisi, şans eseri dönüştürülmesi gerekir, böylece model katkı maddesi olma umuduna sahiptir ve artıklar Gauss'dur (eğer çıkarsama yapıyorsa). Analistler sık ​​sık model çıkarımlarını karşılamak için 2'den fazla dönüşümünü denemede hata yaparlar ki bu da nihai çıkarımı bozar. Bunu söylemenin daha basit bir yolu, dağılımını zaten anlamamız gerektiğidir (Y Y Y Y $Y$$Y$$Y$$Y$$Y$$X$) iyi. Uzun yıllara dayanan deneyim, kan basıncı gibi bazı değişkenlerin doğrusal bir modelde iyi davranma eğiliminde olduğunu ve diğerlerinin (örn. Kan kimyası ölçümleri) iyi olmadığını göreceksiniz.

Bütün bunlar, sadece sıralı olduğunu varsayan , garip değerlere tamamen dayanıklı olan ve nasıl dönüştürüldüğünü umursamayan yarı parametrik modellerin aksine . Orantılı olasılıklar ve oransal tehlikeler modelleri iki örnek model sınıfıdır.$Y$$Y$

@ Glen_b çok iyi bir cevap verdi ama belirtildiği gibi bitiremedi.

Son sorunuzla ilgili olarak:

Deneyimli bir istatistikçi bence bu soruyu sormazdı. Glen'in belirttiği gibi, sorun araçları tam tersine değil, kullanılacak araçları belirler.

Doğrusal regresyon gibi bir teknik öğrenmeye çalışsaydım, zaten işe yaramış örnekleri kullanırdım - ama gerçek verileri olan, işleri kolaylaştırmak için tasarlanan verilerden oluşmamıştı. Örneklerle Regresyon Modellemesi gibi bir kitap rehberlik sağlayabilir.

Bununla birlikte, bir regresyon sorununa bakmanın ilk adımlarından biri, doğrusal regresyonun aslında uygun olup olmadığına karar vermektir.

Birçok yanıt karşılanması gereken varsayımlara değinmiştir: artıklarda doğrusallık, öngörücünün aralığında varyans homojenliği, regresyon çizgisini etkileyebilecek aşırı değerler ve bağımsız gözlemler. Artık parsellerin çoğu regresyon programı ile üretilmesi oldukça kolaydır ve bazı paketler otomatik olarak (SAS) sağlar.

Bir kişi y'yi dönüştürmekten bahsetti. Bu, bazı alanlarda yaygın bir uygulamadır, ancak taraflı ve muhtemelen yorumlanamayan sonuçlara yol açan bir uygulamadır. Sonuçları orijinal metriğe geri dönüştürmeye çalıştığınızda önyargı ortaya çıkar. Kalanın dağılımsal varsayımlarına uyan bir artık paterni olan başka bir regresyon türüne geçmek daha iyidir. Agresti'nin Kategorik Veri Analizine Giriş bölümündeki bölüm 3'e bakınız . Bazı regresyon ders kitapları genelleştirilmiş doğrusal modeli de tanıtmaktadır.