Bağımlı değişkenin bir "kesilmesi" olduğunda modelleme

Kullandığım terminolojilerden herhangi biri yanlışsa önceden özür dileriz. Herhangi bir düzeltmeyi memnuniyetle karşılarım. "Kesim" olarak tanımladığım şey farklı bir isme sahipse, bana bildirin ve soruyu güncelleyebilirim.

İlgilendiğim durum şu: bağımsız değişkenleriniz var ve tek bağımlı değişken . Bunu belirsiz bırakacağım, ancak bu değişkenler için iyi bir regresyon modeli almanın nispeten basit olacağını varsayalım. $\bf{x}$ $y$

Bununla birlikte, oluşturmayı amaçladığınız model bağımsız değişkenler ve bağımlı değişken ; burada , aralığında sabit bir değerdir . İçermez için Eşit, veri erişiminiz olan sadece, . $\bf{x}$ $w = \min(y,a)$ $a$ $y$ $y$ $w$

Bunun (gerçekçi olmayan) bir örneği, insanların emeklilik maaşlarını kaç yıl boyunca tahsil edeceğini modellemeye çalışıyorsanız olurdu. Bu durumda, $\bf{x}$ cinsiyet, kilo, haftada egzersiz saatleri, vb. Gibi ilgili bilgiler olabilir. 'Temel' değişken $y$ yaşam beklentisidir. Bununla birlikte, modelinizde erişebileceğiniz ve tahmin etmeye çalışacağınız değişken, $w = \min(0, y-r)$ ; burada r, emeklilik yaşıdır (sabitliği varsayarsak).

Regresyon modellemesinde bununla başa çıkmak için iyi bir yaklaşım var mı?

— Ben Aaronson
kaynak

Emin değilim, ancak hayatta kalma analizinin bazı varyasyonları ile ulaşılabilir gibi görünebilir. 1) Sansür içerir 2) En azından örneğinizde zaman içerir. Ancak sağ sansürden ziyade sol sansür olurdu (bu daha yaygındır). Bana katılıyorsanız, hayatta kalma etiketini ekleyebilir ve herhangi birinin üzerine atlayıp atlamadığını görebilirsiniz.

— Peter Flom - Monica'yı eski durumuna döndürün

@Peter Bana doğru sansürlenmiş görünüyor. Sansürün hangi tarafta meydana geldiği çok az içe aktarılır, çünkü bağımlı değişkeni yok ederek sağ ve sol sansür arasında geçiş yapar.

— whuber

@whuber haklı olduğunu düşünüyorum. Ancak, dediğin gibi, sansür yeterince kolay değişebilir.

— Peter Flom - Monica'yı eski durumuna döndürün

Emeklilik örneği, bir sayım veri modeli gerektiriyor gibi görünüyor (eğer tüm yıllara yuvarlamak istiyorsanız ve analizi çalıştırdığınız zaman herkes öldüğü sürece). Gizli değişken yaklaşım, zamanın negatif olamayacağı için bununla birlikte gergin görünmektedir.

— Dimitriy V. Masterov

Bu tür bir model, disipline ve konu alanına bağlı olarak birkaç isimle geçer. Ortak isimleri Sansürlü Bağımlı Değişkenler, Kesilmiş Bağımlı Değişkenler, Sınırlı Bağımlı Değişkenler, Hayatta Kalma Analizi, Tobit ve Sansürlü Regresyon'dur. Muhtemelen başka isimler de bırakıyorum.

öğesinin gözlendiği yerde önerdiğiniz "doğru sansürleme" denir, çünkü gerçek satırda çok sağdaki değerleri sansürlenir - ve bunun yerine sansür noktasını görüyoruz, . $\min\{y_i,a\}$ $y_i$ $a$

Böyle verilerle başa çıkmanın bir yolu, gizli değişkenlerin kullanılmasıdır (ve temel olarak önerdiğiniz şey budur). İşte devam etmenin bir yolu:

\begin{aligned} y_{i} & = x_{i}^{'} β + ε_{i} \\ w_{i} & = min {y_{i}, a} \\ ε_{i} & \sim N (0, σ^{2}) i i d \end{aligned}

$\begin{align} y_i &= x_i'\beta+\varepsilon_i\\ w_i &= \min\{y_i, a\}\\ \varepsilon_i &\sim N(0,\sigma^2)\; \ {\rm iid} \end{align}$

Ardından, bunu maksimum olasılıkla analiz edebilirsiniz. meydana geldiği gözlemler , olasılık fonksiyonuna katkıda bulunur ve sansürlemenin olmadığı gözlemler katkıda bulunur olasılık işlevine . Standart normalin CDF'si ve standart normalin yoğunluğu . Yani, olasılık işlevi şöyle görünür: $P\{y_i>a\}=\Phi(\frac{1}{\sigma}x_i'\beta-a)$ $\frac{1}{\sigma}\phi((y_i-x_i'\beta)/\sigma)$ $\Phi$ $\phi$

\begin{aligned} L (β, σ) & = \prod_{i \in censored} Φ (\frac{1}{σ} x_{i}^{'} β - a) \prod_{i \notin censored} \frac{1}{σ} ϕ ((y_{i} - x_{i}^{'} β) / σ) \end{aligned}

$\begin{align} L(\beta,\sigma) &= \prod_{i\ \in\ \text{censored}} \Phi\left(\frac{1}{\sigma}x_i'\beta-a\right) \prod_{i\ \not\in\ \text{censored}} \frac{1}{\sigma}\phi\big((y_i-x_i'\beta)/\sigma\big) \end{align}$

Bunu en üst düzeye çıkararak ve tahmin edersiniz . Standart hataları olağan maksimum olasılık standart hataları olarak alırsınız. $\beta$ $\sigma$

Tahmin edebileceğiniz gibi, bu birçok kişi arasında sadece bir yaklaşımdır.

— fatura
kaynak

+1 ML çözümünün çalışan bir örneği stats.stackexchange.com/questions/49443 adresinde görünür .

— whuber

@whuber Bu güzel bir fuar.

— Bill