İkinci dereceden bir formun asimptotik normallik

Let çekilen rasgele vektör . Bir örnek düşünün . Tanımlama ve . Let ve . $\mathbf{x}$ $P$ $\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P$ $\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i$ $\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top$ $\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]$ $C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}]$

Merkezi limit teoremine göre,

\sqrt{n} ({\bar{x}}_{n} - μ) \overset{d}{\to} N (0, C),

$\sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C),$

burada $C$ tam dereceli bir kovaryans matrisidir.

Soru : Bunu nasıl kanıtlayabilirim (veya çürütebilirim)

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} ben)^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N- (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

bazı $v>0$ için ve bazı $\gamma_n \ge 0$ için $\lim_{n\to \infty} \gamma_n =0$ ? Bu basit görünüyor. Ama bunu nasıl göstereceğimizi tam olarak anlayamadım. Bu bir ödev sorusu değil.

Anladığım kadarıyla delta yöntemi kolayca sonuçlanmamıza izin verecek

\sqrt{n} ({\bar{x}}_{n}^{⊤} C^{- 1} {\bar{x}}_{n} - μ^{⊤} C^{- 1} μ) \overset{d}{\to} N- (0, v^{2}),

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top C^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2),$

veya

\sqrt{n} ({\bar{x}}_{n}^{⊤} (\hat{C} + γ_{n} ben)^{- 1} {\bar{x}}_{n} - μ^{⊤} (\hat{C} + γ_{n} ben)^{- 1} μ) \overset{d}{\to} N- (0, v^{2}) .

$\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top (\hat{C} + \gamma_n I)^{-1} \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(0, v^2).$

Bunlar istediğimden biraz farklı. İki terimde kovaryans matrislerine dikkat edin. Burada çok önemsiz bir şeyi özlediğimi hissediyorum. Alternatif olarak, işleri daha basit hale , yani yoksayabilir , ayarlayabilir ve nin ters çevrilebilir olduğunu varsayabiliriz . Teşekkürler. $\gamma_n$ $\gamma_n =0$ $\hat{C}$

— wij
kaynak

0'a nasıl ilgili bir şeyler bilmemiz gerekiyor. Bu bir sabitler dizisi mi? Ben ilk Slutsky's bir sonucu olduğunu düşünüyorum zorunda olduğunu düşünüyorum. Sonra 'ı . yöntemiyle bulunabilen sınırlayıcı bir dağılıma sahiptir . Son olarak 0'da olasılığa gittiğini göstermeye . Her ne kadar bu emin olup olmadığından emin değilim ...

γ_{n}

$\gamma_n$

{\bar{x}}_{n}^{T} γ_{n} I {\bar{x}}_{n} \to_{p} 0

$\bar{x}_n^T \gamma_n I \bar{x}_n \rightarrow_p 0$

\hat{C}

$\hat{C}$

C + bias (\hat{C})

$C + \text{bias}(\hat{C})$

{\bar{x}}_{n}^{T} C {\bar{x}}_{n}

$\bar{x}_n^T C \bar{x}_n$

δ

$\delta$

{\bar{x}}_{n}^{T} bias (\hat{C}) {\bar{x}}_{n}

$\bar{x}_n^T \text{bias}(\hat{C}) \bar{x}_n$

— AdamO

γ_{n}

$\gamma_n$ bir sabitler dizisidir (rastgele değil). Sekans, yakınsama çalışmasını sağlayan herhangi bir şeye ayarlanabilir (böyle bir sekans varsa). Bence doğrudur. Neden buna ilk ihtiyacımız olduğunu takip etmedim. Ama düşünün ve gerisini daha fazla düşüneyim. :)

{\bar{x}}_{n}^{⊤} I {\bar{x}}_{n} \overset{p}{\to} 0

$\bar{x}_n^\top I \bar{x}_n \stackrel{p}{\to} 0$

— wij

Bahsetmiyorum: yöntemini doğrudan uygulamaktan ve tereddüt etmekten çekiniyorsunuz. Bunu dikkatlice yazabileceğinizi düşünüyorum. Bu tür kanıtlar için yararlı teoremler Slutsky's, Mann-Wald Sürekli Haritalama Teoremi ve Cramer-Wold teoremidir.

δ

$\delta$

— AdamO

Belirttiğiniz sonuçların yararlı olabileceğini kabul ediyorum. Nasıl olsa hala göremiyorum. Aslında asimptotik dağılımın normal bir dağılım olmayabileceğini düşünmeye başladım.

— wij

Görünüşe göre bu daha karmaşık görünüyor. ArXiv kağıdı burada yüksek boyutlarda neler açıklanır. Sabit boyutlu bir analog bulamıyorum, ancak Bölüm 3'te sonlu boyutlu bir argüman var.

— Greenparker

Delta yöntemini kullanırken bazı zorluklar vardır. Elle türetmek daha uygundur.

Çok sayıda Yasa gereği, . Bu nedenle . Slutsky teoremini uygulayın, Sürekli eşleme teoremi ile Bu nedenle Slutsky teoremine göre, Yukarıdaki iki eşitlik getirisini birleştirmek $\hat{C}\xrightarrow{P} C$ $\hat{C} +\gamma_n I\xrightarrow{P} C$

\sqrt{n} (\hat{C} + γ_{n} I)^{- 1 / 2} (\bar{X} - μ) \overset{d}{\to} N (0, C^{- 1}) .

$\sqrt{n}(\hat{C} +\gamma_n I)^{-1/2}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,C^{-1}).$

n (\bar{X} - μ)^{T} (\hat{C} + γ_{n} ben)^{- 1} (\bar{X} - μ) \overset{d}{\to} Σ_{ben = 1}^{p} λ_{ben}^{- 1} (C) χ_{1}^{2} .

${n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\sum_{i=1}^p \lambda_i^{-1}(C)\chi^2_1.$

\sqrt{n} (\bar{X} - μ)^{T} (\hat{C} + γ_{n} ben)^{- 1} (\bar{X} - μ) \overset{P}{\to} 0.

$\sqrt{n}(\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{P}0.$

\sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) \overset{d}{\to} N (0, μ^{T} C^{- 2} μ) .

$\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\xrightarrow{d}\mathcal{N} (0,\mu^T C^{-2}\mu).$

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} I)^{- 1} \bar{X} - μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ) \\ = & \sqrt{n} ((\bar{X} - μ)^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) - 2 μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ)) \\ = & - 2 \sqrt{n} μ^{T} (\hat{C} + γ_{n} I)^{- 1} (\bar{X} - μ) + o_{P} (1) \\ \overset{d}{\to} & N (0, 4 μ^{T} C^{- 2} μ) . \end{aligned}

$\begin{align} &\sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T (\hat{C} +\gamma_n I)^{-1}\mu\big) \\ = &\sqrt{n}\Big((\bar{X}-\mu)^T (\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)-2\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)\Big) \\ =&-2\sqrt{n}\mu^T(\hat{C} +\gamma_n I)^{-1}(\bar{X}-\mu)+o_P(1) \\ \xrightarrow{d}&\mathcal{N} (0,4\mu^T C^{-2}\mu). \end{align}$ Kalan görev Ne yazık ki, bu terim NOT NOT yakınsar . Davranış karmaşıklaşır ve üçüncü ve dördüncü anlara bağlıdır.

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} I)^{- 1} μ - μ^{T} (C)^{- 1} μ) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big).$

0

$0$

Basit olmak gerekirse, aşağıda normal dağıtılmış olduğunu ve olduğunu varsayıyoruz . Bu standart bir sonucu olduğunu burada diyagonal elemanları ile bir simetrik rasgele matristir ve kapalı diyagonal elemanlar . Böylece, Matris taylor açılımı ile , elimizde $X_i$ $\gamma_n=o(n^{-1/2})$

\sqrt{n} (\hat{C} - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

W

$W$

N (0, 2)

$\mathcal{N}(0,2)$

N (0, 1)

$\mathcal{N}(0,1)$

\sqrt{n} (\hat{C} + γ_{n} ben - C) \overset{d}{\to} C^{1 / 2} W C^{1 / 2},

$\sqrt{n}(\hat{C}+\gamma_n I-C)\xrightarrow{d}C^{1/2} W C^{1/2},$

(I + A)^{- 1} \sim I - A + A^{2}

$(I+A)^{-1}\sim I-A+A^2$

\begin{aligned} \sqrt{n} ((\hat{C} + γ_{n} ben)^{- 1} - C^{- 1}) = \sqrt{n} C^{- 1 / 2} ((C^{- 1 / 2} (\hat{C} + γ_{n} ben) C^{- 1 / 2})^{- 1} - ben) C^{- 1 / 2} \\ = & \sqrt{n} C^{- 1} (\hat{C} + γ_{n} ben - C) C^{- 1} + Ö_{P} (n^{- 1 / 2}) \overset{d}{\to} C^{- 1 / 2} W C^{- 1 / 2} . \end{aligned}

$\begin{align} &\sqrt{n}\Big((\hat{C} +\gamma_n I)^{-1}- C^{-1}\Big)= \sqrt{n}C^{-1/2}\Big(\big(C^{-1/2}(\hat{C} +\gamma_n I)C^{-1/2}\big)^{-1}-I\Big)C^{-1/2}\\ =&\sqrt{n}C^{-1}\Big(\hat{C} +\gamma_n I-C\Big)C^{-1}+O_P(n^{-1/2}) \xrightarrow{d}C^{-1/2} W C^{-1/2}. \end{align}$ Böylece,

\sqrt{n} (μ^{T} (\hat{C} + γ_{n} ben)^{- 1} μ - μ^{T} (C)^{- 1} μ) \overset{d}{\to} μ^{T} C^{- 1 / 2} W C^{- 1 / 2} μ ~ N- (0, (μ^{T} C^{- 1} μ)^{2}) .

$\sqrt{n} \Big( \mu^T (\hat{C} +\gamma_n I)^{-1}\mu-\mu^T (C)^{-1}\mu \Big)\xrightarrow{d}\mu^T C^{-1/2} W C^{-1/2}\mu \sim N(0,(\mu^T C^{-1}\mu)^2).$

Böylece,

\begin{aligned} \sqrt{n} ({\bar{X}}^{T} (\hat{C} + γ_{n} ben)^{- 1} \bar{X} - μ^{T} C^{- 1} μ) \overset{d}{\to} N- (0, 4 μ^{T} C^{- 2} μ + (μ^{T} C^{- 1} μ)^{2}) . \end{aligned}

$\begin{align} \sqrt{n}\big(\bar{X}^T (\hat{C} +\gamma_n I)^{-1}\bar{X}-\mu^T C^{-1}\mu\big) \xrightarrow{d}\mathcal{N} (0,4\mu^T C^{-2}\mu+(\mu^T C^{-1}\mu)^2). \end{align}$

— kfeng123
kaynak

Cevabınız için teşekkürler. Tam olarak 0'a yaklaşmayan ve her şeyi zorlaştıran terimdir. Ne yazık ki normal olarak dağıtıldığını . Ama yine de cevabı takdir ediyorum. Üçüncü ve dördüncü anlara (belki de referanslarla) nasıl bağlı olduğu hakkında yorum yapabilirseniz, bu yardımcı olacaktır. Ayrıca şu anda açıklayamıyorum. Ama den daha yavaş çürümesi hissediyorum . Nedeni daha dikkatli düşünmeliyim.

X_{i}

$X_i$

g a m m a_{n}

$gamma_n$

o (n^{- 1 / 2})

$o(n^{-1/2})$

— wij

Benim durumumda (gerekirse) kompakt bir sette yaşadığını . Bu an koşullarına yardımcı olabilir.

X_{i}

$X_i$

— wij