Doğrusal regresyon, koşullu beklentiler ve beklenen değerler

Pekala, birkaç şeye biraz puslu, herhangi bir yardım çok takdir edilecektir. Anladığım kadarıyla, doğrusal regresyon modelinin koşullu bir beklenti ile tahmin edildiği

E (Y | X) = b + X b + e

$E(Y|X)=b+Xb+e$

Biz de farz mı ve bilinmeyen olasılık dağılımıyla rasgele değişkenlerdir? sadece artıkların ve tahmini beta katsayılarının rasgele değişkenler olduğu anlayışımdı. öyleyse, örnek olarak, obezite ve yaş ise, koşullu beklentiyi anlamına alırsak , birey örnekte ise obez olmanın beklenen değeri ne olur? yalnızca bu gözlemler için y'nin ortalama (aritmetik ortalama) almak ? ancak beklenen değer, bunu meydana gelme olasılığı ile çarpmamız gerektiğini gerektirmiyor mu? ama bu anlamda olasılığını nasıl bulabiliriz $X$ $Y$ $Y =$ $X =$ $E(Y|X=35)$ $35$ $X=35$ $X$ gibi bir değeri temsil ederse oluşan yüksek değerli değişken?
döviz kuru gibi bir şeyi temsil ediyorsa , bu rasgele olarak sınıflandırılır mı? Olasılıkları bilmeden bunun beklenen değerini nasıl bulabilirdiniz? ya da beklenen değer sınırdaki ortalamaya eşit olur. $X$
Bağımlı değişkenlerin kendilerinin rastgele değişken olduğunu varsaymazsak, olasılığı göz ardı etmediğimizden, ne olduklarını varsayıyoruz? sabit değerler falan mı? ancak bu durumda, rastgele olmayan bir değişkeni nasıl başlatabiliriz? bağımsız değişkenlerin dağılımı hakkında ne varsayıyoruz?

Bir şey anlam ifade etmiyorsa veya kimseye açık değilse özür dilerim.

regression

— William Carulli
kaynak

Regresyon katsayısı , rastgele bir değişken değil (en azından sıkça kullanılan bir dünyada) bilinmeyen bir sabittir.

β

$\beta$

— Richard Hardy

koşullu beklentilerle ne demek istiyorsun? E (Y | X) basitçe X verilen Y anlamına gelir, yani Y'nin X'deki beklenen değeri. Diyelim ki, y = 5 + x, o zaman E (Y | X = 5) 10'dur. koşullu beklenti

— Zamir Akimbekov

@RichardHardy, B'nin betaların örnekleme dağılımının ortalaması olduğu için normal dağılımla karakterize rastgele bir değişken olduğu anlayışımdı. nüfus modelinden mi bahsediyorsun?

— William Carulli

Evet, nüfus modeli.

— Richard Hardy

@WilliamCarulli Richard bir popülasyon parametresi ile tahmini bir parametre arasındaki farka atıfta bulunuyor . Tahmini parametre gerçekten rastgele bir değişkendir, ancak (bilinmeyen) gerçek nüfus parametresi sabit bir değerdir.

— Matthew Drury

Yanıtlar:

Doğrusal regresyon altında yatan olasılık modelinde, X ve Y olan rastgele değişkenler.

öyleyse, örnek olarak, Y = obezite ve X = yaş ise, koşullu beklentiyi E (Y | X = 35) anlamına alırsak, birey örnekte 35 ise obez olmanın beklenen değeri ne olur? X = 35 olduğu gözlemler için y'nin ortalamasını (aritmetik ortalama) almanız yeterlidir.

Doğru. Genel olarak, X'in her bir belirli değerinde yeterli veriye sahip olmanızı bekleyemezsiniz veya X sürekli bir değer aralığı alabilirse bunu yapmak imkansız olabilir. Ancak kavramsal olarak, bu doğrudur.

ancak beklenen değer, bunu meydana gelme olasılığı ile çarpmamız gerektiğini gerektirmiyor mu?

Koşulsuz beklenti ile koşullu beklenti arasındaki farktır . Aralarındaki ilişki $E[Y]$ $E[Y \mid X = x]$

E [Y] = \sum_{x} E [Y ∣ X = x] P r [X = x]

$E[Y] = \sum_x E[Y \mid X = x] Pr[X = x]$

toplam beklentinin kanunu.

ama bu anlamda X-değeri değişkeninin yaş gibi bir şeyi temsil etmesi olasılığını nasıl bulabiliriz?

Genellikle lineer regresyonda değilsiniz. belirlemeye çalıştığımızdan , ı bilmemiz gerekmez . $E[Y \mid X]$ $Pr[X = x]$

Bağımsız değişkenlerin kendilerinin rastgele değişken olduğunu varsaymazsak, olasılığı göz ardı etmediğimizden, ne olduklarını varsayıyoruz? sabit değerler falan mı?

Biz do Y rastgele değişken olduğunu varsayalım. Doğrusal regresyonu düşünmenin bir yolu, için bir olasılık modeli olarak $Y$

Y ~ X β + N- (0, σ)

$Y \sim X \beta + N(0, \sigma)$

Bu, X'in değerini öğrendikten sonra, Y'deki rastgele varyasyonun toplamıyla sınırlı olduğunu söyler . $N(0, \sigma)$

— Matthew Drury
kaynak

Yorumunuz için çok teşekkür ederim, bana çok yardımcı oldu. şerefe.

— William Carulli

@WilliamCarulli Rica ederim! Herhangi bir takip sorusu sormaktan çekinmeyin, cevaplamak için elimden geleni yapacağım. Tüm sorunlarınızı gerçekten çözdüysem de kabul edebilirsiniz.

— Matthew Drury

Bu güzel bir gönderi. Bununla birlikte,

(a) 'nın sabitlenebileceğini veya (b) rastgele bir değişken olabileceğini kabul etmeyen herhangi bir cevabın (özellikle bağımsızlık varsayımlarıyla), soruda ifade edilen endişeleri gerçekten ele almadığını düşünüyorum.

X

$X$

— whuber

@MatthewDrury, Sadece açıklığa kavuşturmak için, eğer bağımlı değişkenim döviz kurunu söylüyorsa ve bağımlılığım yurtiçi faiz oranı ise, o zaman

— William Carulli

@ MatthewDrury @ MatthewDrury, Sadece açıklığa kavuşturmak için, bağımlı değişkenim döviz kurunu söylüyorsa ve bağımlılığım iç faiz oranı ise, E (E (döviz kuru | faiz oranı)) = E (döviz kuru) = örnek ortalama döviz kuru? Beni kafa karıştırıcı olan şey, beklentilerin olasılıklara dayalı olarak hesaplandığını varsaydığımı tahmin ediyorum, matris cebiri ile çözüldüğünde doğrusal regresyonu koşullu bir beklenti olarak gösterme nedenini genel beklentiden çok daha farklı görünüyor.

— William Carulli

Bu sorunun bir sürü yanıtı olacak, ancak bazı ilginç noktalar yaptığınızdan beri hala bir tane eklemek istiyorum. Basitlik için sadece basit doğrusal modeli düşünürüm.

   It is my understanding that the linear regression model
   is predicted via a conditional expectation E(Y|X)=b+Xb+e

E (Y | X) = β_{0} + β_{1} X,

$\mathbb E(Y\,|\,X) = \beta_0 +\beta_1X,$

Y

$Y$

X

$X$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

Y = β_{0} + β_{1} X + ε,

$Y = \beta_0+\beta_1X+\epsilon,$

ϵ

$\epsilon$

E (ϵ) = 0

$\mathbb E(\epsilon) = 0$

Do we assume that both X and Y are Random variables with some unknown 
probability distribution? ... If we don't assume the independent variables 
are themselves random

$X$ $Y$

$\{X_1,...,X_n\}$ $X$

$\beta_0$ $\beta_1$ $X$ $X$

if we take the conditional expectation E(Y|X=35) ... would we just take 
the average(arithmetic mean) of y for those observations where X=35?

$\hat\varphi(x)$ $\mathbb E(Y|X = x)$ $\hat \beta_0$ $\hat \beta_1$

\hat{φ} (x) = {\hat{β}}_{0} + {\hat{β}}_{1} x

$\hat\varphi(x) = \hat\beta_0+\hat\beta_1x$
Koşullu ortalama en az kare tahmin edicinin, modeliniz farklı ağırlıkları tek bir faktörün seviyeleri olarak ele alırsa, tanımladığınız ifadeye eşit bir ifadeye sahiptir. Bu modeller aynı zamanda (basit değil) doğrusal modelin özel bir örneği olan tek yönlü ANOVA olarak da bilinir.

— Mur1lo
kaynak

X

$X$

{\hat{β}}_{0}

$\hat\beta_0$

{\hat{β}}_{1}

$\hat\beta_1$

X

$X$

@whuber "İlk olarak, model" doğrusal "olarak adlandırılır çünkü parametrelerde doğrusaldır" Ben "doğrusal model" de "doğrusal" anlamını değil denklemin anlamını açıklıyordum. "β̂ 0 ve β̂ 1 tahminleri X ile ilgili varsayımdan bağımsız olarak rastgele değişkenlerdir", ancak bu rastgele değişkenlerin dağılımı X'e nasıl davrandığınıza bağlı olarak değişir.

— Mur1lo

@whuber Son noktalarınıza tamamen katılıyorum. Cevabımı düzenleyeceğim, böylece işaret ettiğiniz tüm konularda daha net. Geri dönüşünüz için teşekkür ederiz.

— Mur1lo