Regresyon sonuçlarında beklenmeyen üst sınır var

Bir denge skoru tahmin etmeye çalıştım ve birkaç farklı regresyon yöntemini denedim. Fark ettiğim bir şey, tahmin edilen değerlerin bir çeşit üst sınıra sahip olduğu görünüyor. Yani, gerçek denge , ancak tahminlerim yaklaşık . Aşağıdaki grafik, gerçek ile tahmin edilen dengeyi göstermektedir (doğrusal regresyon ile tahmin edilir): $[0.0, 1.0)$ $0.8$

gerçek ve tahmin edilen

Ve aynı verilerin iki dağıtım grafiği:

ilk dağıtım

Tahmincilerim çok eğik olduğundan (güç yasası dağıtımına sahip kullanıcı verileri), sonuçları aşağıdaki şekilde değiştiren bir Box-Cox dönüşümü uyguladım:

Box-Cox dönüşümünden sonra gerçekleşen tahmin

-Cox dönüşümünden sonra dağılım

Tahminlerin dağılımını değiştirmesine rağmen, hala bu üst sınır var. Yani sorularım:

Tahmin sonuçlarında bu tür üst sınırların olası nedenleri nelerdir?
Tahminleri, gerçek değerlerin dağılımına karşılık gelecek şekilde nasıl düzeltebilirim?

Bonus: Box-Cox dönüşümünden sonraki dağılım, dönüştürülmüş tahmin edicilerin dağılımlarını takip ettiğinden, bunun doğrudan bağlantılı olması mümkün müdür? Eğer öyleyse, dağılımı gerçek değerlere uydurmak için uygulayabileceğim bir dönüşüm var mı?

Düzenleme: 5 öngörücü ile basit bir doğrusal regresyon kullandım.

— Mennny
kaynak

Bunun nereye gittiğini gerçekten çok merak ediyorum. Bu sadece doğrusal bir regresyon modeli mi? Kaç belirleyici var?

— shadowtalker

Bir yan not olarak: Sonuç değişkeniniz 0 ve 1 ile sınırlandığından, basit bir doğrusal regresyon modeli, elbette geçersiz olan bu sınırların dışındaki değerleri tahmin edecektir. Bu durumda dikkate alınması gereken başka seçenekler de vardır .

— COOLSerdash

Sınırlı girdi, doğrusal bir model için sınırlı çıktı anlamına gelir. (Dönüştürülmüş) öngörücüler üzerindeki sınırlar nelerdir? Bize model uyumunun özet tablosunu gösterebilir misiniz?

— kardinal

Mennny: Başlamak için gerçekten ihtiyacınız olan tek şey katsayı değerleri ve öngörücüler üzerindeki sınırlardır. İşaretleri tek tek eşleştirerek, minimum ve maksimum tahmini hızlı bir şekilde belirleyebilirsiniz (öngörücülerin sınırları her zaman örtülü veya açık bir şekilde karşılayacağını varsayarak).

— kardinal

@cardinal: Tahmincilerin sınırlarını kontrol ettim ve varsayımınızı doğrulayabildim. Verilen (dönüştürülmemiş) öngörücülerle, maksimum tahmin ~ 0.79'dur. Lütfen yorumunuzu cevap olarak "kopyala / yapıştır" yazabilir misiniz? Nasıl ilerleyebilirim? Sanırım bu, tahminlerim ile sonuç arasında doğrusal bir ilişki olmadığını gösteriyor.

— Mennny

Yanıtlar:

Dep değişkeniniz 0 ile 1 arasında sınırlıdır ve bu nedenle OLS tam olarak uygun değildir, örneğin beta regresyonunu öneririm ve başka yöntemler olabilir. Ancak ikincisi, kutu-cox dönüşümünüzden sonra, tahminlerinizin sınırlı olduğunu söylersiniz, ancak grafiğiniz bunu göstermez.

— Leonardo Auslender
kaynak

0/1 sınırlarına uyan regresyonları kullanmaya çok fazla odaklanılsa da ve bu makul (ve önemli!) Olsa da, LPM'nizin neden 0.8'den büyük sonuçları tahmin etmediğinin özel sorusu bana biraz farklı bir soru olarak çarpıyor .

Her iki durumda da, artıklarınızda not edilmiş bir desen vardır, yani, doğrusal modeliniz dağıtımınızın üst kuyruğuna zayıf şekilde oturur. Bu, doğru model hakkında doğrusal olmayan bir şey olduğu anlamına gelir.

Verilerinizin 0/1 sınırını da dikkate alan çözümler: probit, logit ve beta regresyonu. Bu sınır kritiktir ve göreceli olarak 1'e yakın dağıtımınız ve dolayısıyla bu konuda çok sayıda cevap verildiğinde, çalışmanızın titiz olması için ele alınmalıdır.

Ancak genellikle sorun, bir LPM'nin 0/1 sınırını aşmasıdır. Burada durum böyle değil! 0/1 bağlı ile ilgilenmiyorsanız ve aktif olarak (x'x) ^ - 1 (x'y) ile donatılabilecek bir çözüm istiyorsanız, o zaman modelin sabit olarak doğrusal olmadığını düşünün. Modeli x ^ 2, bağımsız değişkenlerin çapraz ürünleri veya bağımsız değişkenlerin günlükleri olarak yerleştirmek, uyumunuzu geliştirmenize ve muhtemelen modelinizin açıklayıcı gücünü geliştirerek 0.8'den büyük değerleri tahmin etmesine yardımcı olabilir.

— RegressForward
kaynak