Regresyon katsayısının karşılıklı dağılımı

Diyelim ki doğrusal bir modelimiz var $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ tüm standart regresyon (Gauss-Markov) varsayımlarını karşılar. İlgileniyoruz $\theta = 1/\beta_1$ .

Soru 1: Dağıtım için hangi varsayımlar gereklidir? $\hat{\theta}$ iyi tanımlanmalı? $\beta_1 \neq 0$ önemli olurdu --- diğerleri?

Soru 2: Hataların normal dağılıma uyduğu varsayımını ekleyin. Biliyoruz ki, $\hat{\beta}_1$ MLE ve $g(\cdot)$ tekdüze bir işlevdir, o zaman $g\left(\hat{\beta}_1\right)$ için MLE $g(\beta_1)$ . Tekdüzeliğin yalnızca $\beta_1$ ? Başka bir deyişle, $\hat{\theta} = 1/\hat{\beta}$ MLE? Sürekli haritalama teoremi en azından bize bu parametrenin tutarlı olduğunu söyler.

Soru 3: Hem Delta Metodu hem de bootstrap, $\hat{\theta}$ ?

Soru 4: Bu cevap parametresi için nasıl değişir? $\gamma = \beta_0 / \beta_1$ ?

Bir yana: Sorunu vermek için yeniden düzenlemeyi düşünebiliriz

\begin{aligned} x_{i} & = \frac{β_{0}}{β_{1}} + \frac{1}{β_{1}} y_{i} + \frac{1}{β_{1}} ϵ_{i} \\ = γ + θ y_{i} + \frac{1}{β_{1}} ϵ_{i} \end{aligned}

$\begin{align*} x_i &= \frac{\beta_0}{\beta_1} + \frac{1}{\beta_1} y_i + \frac{1}{\beta_1} \epsilon_i \\ &= \gamma + \theta y_i + \frac{1}{\beta_1} \epsilon_i \end{align*}$ parametreleri doğrudan tahmin etmek. Gauss-Markov varsayımları artık burada anlam ifade etmediği için bu benim için işe yaramıyor; hakkında konuşamayız

E [ϵ ∣ y]

$\text{E}[\epsilon \mid y]$ , Örneğin. Bu yorum doğru mu?

— Charlie
kaynak

"Standart" varsayımlar,

ϵ_{i}

$\epsilon_i$ ya da değil?

— whuber

İyi bir nokta; Bu varsayımı MLE hakkındaki kısma ekledim. Yine de, diğerleri için gerekli olmamalıdır.

— Charlie

Örnekleme dağılımı

β_{1}

$\beta_1$ normal olduğu zaman

θ

$\theta$ normalin tersidir. Bu, anlamı ne olursa olsun, ıraksak (sonsuz) bir ortalamaya sahip bimodal

β_{1}

$\beta_1$ Delta yöntemi bu nedenle korkunç olacak, olağan asimptotik MLE yaklaşımları zayıf olacak ve hatta bootstrap şüpheli olabilir.

— whuber

@whuber, Bunu genişletebilir misin? Sezgim, normalin karşılığının nasıl bimodal olması gerektiğini görmüyor; tahminim, tüm kitle normalin ortalamasının karşılıklı olacağı olurdu (burada,

1 / {\hat{β}}_{1}

$1/\hat{\beta}_1$ ). 0 yakınındaki kütle yüzünden sonsuz ortalama olasılık konusunda endişeliydim. Bootstrap ve asimptotik sonuçlar tahmin edilen anların varlığını gerektiriyor, bu yüzden bu soruya dayanıyor.

— Charlie

Karşılıklı normalin PDF'si

\exp (- (1 / x - μ)^{2} / (2 σ^{2})) / (\sqrt{2 π} x^{2} σ) d x

$\exp(-(1/x-\mu)^2/(2\sigma^2))/(\sqrt{2\pi}x^2\sigma)dx$ . 0'da tüm türevler 0'a eşittir; logaritmasının kritik noktalarını bulmak, pozitif ve negatif bir modu tanımlar (

σ

$\sigma$ ve

μ / σ

$\mu/\sigma$ ); integrali

| x |

$|x|$ ayrılmaz gibi ayrılır

| x | / x^{2} = 1 / | x |

$|x|/x^2=1/|x|$ . Sonsuz ilk momentlerle ilgili problem , 0'da pozitif olasılık yoğunluğuna sahip olan ve tüm normalleri içeren herhangi bir rastgele değişkenin karşılıklılığına bağlıdır .

— whuber

Q1. If $\hat\beta_1$ MLE'si $\beta_1$ , sonra $\hat\theta$ MLE'si $\theta$ ve $\beta_1 \neq 0$ bu tahmin edicinin iyi tanımlanması için yeterli bir koşuldur.

S2. $\hat\theta = 1/\hat\beta$ MLE'si $\theta$ MLE'nin değişmez özelliği ile. Buna ek olarak, monotonluğuna ihtiyacınız yok $g$ tersini almanız gerekmiyorsa. Sadece ihtiyaç var $g$ her noktada iyi tanımlanmış olmak. Bunu Nitis Mukhopadhyay'nin "Olasılık ve İstatistiksel Çıkarım" Teorem 7.2.1 s. 350'sinde kontrol edebilirsiniz.

Q3. Evet, her iki yöntemi de kullanabilirsiniz, ayrıca profilin olasılığını da kontrol ederim $\theta$ .

S4. Burada, ilgilenilen parametreler açısından modeli yeniden ölçebilirsiniz $(\theta,\gamma)$ . Örneğin, MLE $\gamma$ dır-dir $\hat\gamma=\hat\beta_0/\hat\beta_1$ ve bu parametrenin profil olasılığını veya önyükleme dağılımını her zamanki gibi hesaplayabilirsiniz.

Sonunda bahsettiğiniz yaklaşım yanlış, aslında literatürde kontrol edebileceğiniz bir "kalibrasyon modeli" düşünüyorsunuz. İhtiyacınız olan tek şey, ilgili parametreler açısından yeniden ölçüm yapmaktır.

Umarım bu yardımcı olur.

Saygılarımla.

— XMX
kaynak

Yanıt için teşekkürler. Alıntı yaptığınız kitaba sahip değilim, ancak genellikle bu özellikler tahmin edilen anların varlığını gerektirir. Bir normalin karşılığının gerekli anlara sahip olduğundan emin değilim. Sorumda bu noktayı daha açık hale getirmeliydim.

— Charlie