Laplace hataları ile doğrusal regresyon

Doğrusal bir regresyon modeli göz önünde bulundurun:

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ burada

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ , yani ,

0

$0$ ortalama ve

b

$b$ ölçek parametresi ile Laplace dağılımı , birbirinden bağımsızdır.

parametresinin maksimum olasılık tahminini düşünün

β

$\boldsymbol \beta$ :

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ buradan

{\hat{β}}_{M L} = {\arg min}_{β \in {R,}^{m}} Σ_{ben = 1}^{n} | x_{ben} \cdot β - y_{ben} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Bu modelde kalıntılarının dağılımı nasıl bulunabilir $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ ?

regression laplace-distribution

— nmerci
kaynak

Artıkların bir dağılımını bulmakla ne demek istiyorsun?

— jlimahaverford

Kalıntılar rastgele bir vektörde gruplandırılabildiğinden, dağılımını bilmek istiyorum. En azından ilk iki dakika.

— nmerci

Anladım, teşekkürler! Benzetmeyi ve çizmeyi düşündünüz mü?

— jlimahaverford

Evet, artıklar için bir güven bölgesi inşa etmek istiyorum. Örneğin, Gauss hataları için bölge bir elipsoiddir.

— nmerci

Kalıntıların (aslında hatalar olarak adlandırılır) çift üstel dağılımla (Laplace dağılımı) rastgele dağıtıldığı varsayılır. Bu x ve y veri noktalarını takıyorsanız, sayısal olarak yapın. Bu noktalar için önce yukarıda yayınladığınız formülü kullanarak bir bütün olarak beta-hat_ML değerini hesaplarsınız. Bu, noktalar boyunca bir çizgi belirleyecektir. Ardından, her bir noktanın y değerini, o x değerindeki satırın y değerinden çıkarın. Bu, o nokta için artıktır. Tüm noktaların kalıntıları, artıkların dağılımını verecek bir histogram oluşturmak için kullanılabilir.

Yang (2014) tarafından yazılmış iyi bir matematiksel makale var .

--Lee

— Lee G
kaynak

Bağlantı çalışmıyor.

— Michael R.Chernick