En çok gaid Gauss'luların en güçlü sonucu nedir? Uygulamada en çok kullanılan?

Verilen IID, rastgele değişkenler dikkate$X_1, \ldots, X_n, \ldots \sim \mathscr{N}(0,1)$

$$Z_n := \max_{1 \le i \le n} X_i\,.$$

Soru: Bu rastgele değişkenlerle ilgili en "önemli" sonuç nedir?

"Önem" i açıklığa kavuşturmak için mantıklı bir sonuç olarak en çok hangi sonuç elde edilir? Sonuçlardan hangisi pratikte en sık kullanılır?

Daha spesifik olarak, (teorik) istatistikçiler arasında $Z_n$ en azından asimptotik olarak “temelde” $\sqrt{2 \log n}$ aynı olduğu folklor bilgisi gibi görünmektedir . ( Bu ilgili soruya bakın .)

Bununla birlikte, bu türle ilgili birçok sonuç vardır ve çoğu eşdeğer değildir ya da birbirini ima etmez gibi görünmektedir. Örneğin , $^*$ ,

$$\frac{Z_n}{\sqrt{2 \log n}} \overset{a.s.}{\to} 1 \,, \tag{1}$$

başka bir şey de olasılık ve dağılımda karşılık gelen sonuçları ima etmezse.

Bununla birlikte, görünüşte alakalı sonuçlar anlamına gelmez ( bu diğer soruya bakın ), örneğin

$$\lim_{n \to \infty} \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} =1 \,, \tag{2}$$

(bu 49. sayfasındaki 2.17 alıştırması ) veya başka bir folklor sonucudur :$\dagger$

$$\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1) \,. \tag{3}$$

Asimptotik olmayan, her ( bir kanıt için buraya bakın ),$n$

$$\sqrt{c \log n} \le \mathbb{E}Z_n \le \sqrt{2 \log n} \tag{4}$$

bazı küçükler için . Benzer sonuçlar için de gösterilebilir, çünkü çok sağa eğik.$c$$|Z_n|$$Z_n$

Bu son sonucun kanıtı, diğer sonuçların kanıtlarından çok daha basittir. Umudum, ilk asimtotik sonucun diğer asimtotik sonuçların hepsini ima edeceğiydi, böylece tüm zamanımı ve enerjimi bu sonucu anlamaya odaklayarak kendime güvenebilirim. Ama yine de, görünüşe göre bu doğru değil , bu yüzden şimdi bana odaklanmam gereken belirsiz.

$^*$ Bkz. 1987'de basılan Galambos'un ikinci baskısı olan Asimtotik Aşırı Düzen İstatistikleri Teorisi , sayfa 265-267 . Muhtemelen ilk baskıda bir yerde belirtilmiştir.

$\dagger$ Boucheron, Lugosi, Massart, Konsantrasyon Eşitsizlikleri: Asimptotik Olmayan Bir Bağımsızlık Teorisi . Bir yana: Bu kitap aslında Galambos'u söz konusu sonuçtan bahsediyor, ancak Galambos'un herhangi bir yerinde bahsedildiğini bulamıyorum - sadece bahsettiğim ilk sonuç.

Herhangi bir olasılık uygulamasında, en temel nesne dağılımdır, momentler ve sınırlayıcı özellikler bundan türetilebilir. Bu nedenle, tanımladığınız anlamda en "önemli" sonuç, (eşdeğer olarak karşılık gelen yoğunluk işlevi) tam dağıtım işlevidir . Pratikte, bu dağılım sonucu belki de daha önce listelediğiniz daha temel asimtotik özelliklerden daha az aydınlatıcıdır. Mantıksal olarak bu asimptotik sonuçları ima etse de, bence bu sonuçların değerini değiştirdikçe aşırı değerin değişen doğasını anlamada daha aydınlatıcı olması muhtemeldir .$F_{Z_n}(z) = \Phi^n(z)$$n$

En fazla IID standart normal rasgele değişken olması durumunda uç değer özelliklerini iyi bir şekilde anladığınız açıktır. Bu özelliklerin tümü mantıklı olarak için dağıtım işlevinden türetilebilir , bu nedenle bu en temel nesne budur. Birçok durumda olduğu gibi, en temel nesne mutlaka en aydınlatıcı değildir ve bu nedenle muhtemelen tüm sonuçları bilmek ve sorunun farklı yönlerini aydınlattıklarını bilmek zorunda olduğunuzu göreceksiniz.$Z_n$

WIP: Devam eden çalışma

Aşağıdaki s. 370 Cramer's 1946 Matematiksel İstatistik Metodlarını tanımlamak

$$\Xi_n = n(1 - \Phi(Z_n)) \,.$$ Buraya $\Phi$ standart normal dağılımın kümülatif dağılım fonksiyonudur, $\mathscr{N}(0,1)$. Tanımının bir sonucu olarak,$0\le \Xi_n \le n$ neredeyse eminim.

Belirli bir gerçekleşmeyi düşünün $\omega \in \Omega$bizim örnek alan. O zaman bu anlamda$Z_n$ her ikisi de $n$ ve $\omega$, ve $\Xi_n$ bir işlevi $Z_n, n$, ve $\omega$. Sabit bir$\omega$, düşünebiliriz $Z_n$ belirleyici bir işlevi $n$, ve $\Xi_n$ belirleyici bir işlevi $Z_n$ ve $n$böylece sorunu basitleştirir. Neredeyse tamamen herkes için geçerli olan sonuçları göstermeyi hedefliyoruz$\omega \in \Omega$sonuçlarımızı belirleyici olmayan bir analizden belirleyici olmayan ortama aktarmamıza olanak tanıyor.

Aşağıdaki s. Cramer'in 1946 Matematiksel İstatistik Yöntemleri'nin 374'ü ( şimdilik geri dönmeyi ve daha sonra bir kanıt sunmayı hedefliyorum) varsayalım ki$\omega \in \Omega$) aşağıdaki asimptotik genişleme muhafazaları (parçalara göre entegrasyon ve $\Phi$):

$$\frac{\sqrt{2\pi}}{n}\Xi_n = \frac{1}{Z_n}e^{-\frac{Z_n^2}{2}}\left( 1 + O \left( \frac{1}{Z_n^2} \right) \right) \quad ~~ as ~~ Z_n \to \infty \,. \tag{~}$$

Açıkçası buna sahibiz $Z_{n+1} \ge Z_n$ herhangi $n$, ve $Z_n$ neredeyse kesinlikle artan bir fonksiyonudur. $n$ gibi $n\to \infty$bu nedenle, (hemen hemen hepsi) sabit $\omega$:

$$Z_n \to \infty \quad \iff \quad n \to \infty \,.$$

Dolayısıyla, $\sim$asimptotik denkliği belirtir ):

$$\frac{\sqrt{2\pi}}{n} \Xi_n \sim \frac{1}{Z_n} e^{-\frac{1}{Z_n^2}} \quad ~~ as ~~ Z_n \to \infty \quad n \to \infty \,.$$

Aşağıdaki adımlarda nasıl ilerlediğimiz esas olarak baskın denge yöntemine bağlıdır ve manipülasyonlarımız aşağıdaki lemma tarafından resmen gerekçelendirilecektir:

Lemma: Varsayın$f(n) \sim g(n)$ gibi $n \to \infty$, ve $f(n) \to \infty$ (Böylece $g(n) \to \infty$). Sonra herhangi bir işlev verildi$h$logaritmaların ve güç yasalarının (esasen herhangi bir " polilog " fonksiyonu) bileşimleri, ilaveleri ve çarpımları ile oluşturulan,$n \to \infty$:

$$h(f(n)) \sim h(g(n)) \,.$$ Başka bir deyişle, bu "polilog" fonksiyonlar asimtotik eşdeğeri korur .

Bu lemmanın gerçeği Teorem 2.1'in bir sonucudur . burada yazıldığı gibi . Ayrıca, aşağıdakilerin çoğunlukla burada bulunan benzer bir sorunun cevabının genişletilmiş (daha fazla ayrıntı) bir versiyonu olduğunu unutmayın .

Her iki tarafın logaritmasını alarak şunu elde ederiz:

$$\log ( \sqrt{2\pi} \Xi_n ) - \log n \sim -\log Z_n - \frac{Z_n^2}{2} \,. \tag{1}$$

Cramer biraz kurnazdır; o sadece "varsayarak$\Xi_n$ "sınırlıdır" diyebiliriz. $\Xi_n$hemen hemen hiç önemsiz görünmüyor. Bunun kanıtı, esasen Galambos'un 265-267. Sında tartışılanların bir parçası olabilir, ancak bu kitabın içeriğini hala anlamak için çalıştığımdan emin değilim.

Her neyse, birinin bunu gösterebileceğini varsayarsak$\log \Xi_n = o(\log n)$, sonra ( $-Z_n^2/2$ terim hakim $-\log Z_n$ terim):

$$- \log n \sim - \frac{Z_n^2}{2} \quad \implies \quad Z_n \sim \sqrt{2 \log n} \,.$$

Bu biraz güzel, çünkü göstermek istediğimiz şeylerin çoğu zaten, yine de aslında sadece kutuyu yolda tekmelemek olduğunu belirtmek gerekir, çünkü şimdi neredeyse kesin olarak sınırlı bazı göstermeliyiz $\Xi_n$. Diğer yandan,$\Xi_n$ herhangi bir maksimum iid sürekli rasgele değişkenleri için aynı dağılıma sahiptir, bu nedenle bu izlenebilir olabilir.

Her neyse, eğer $Z_n \sim \sqrt{2 \log n}$ olarak, açıkça $Z_n \sim \sqrt{2 \log n}(1 + \alpha(n))$ herhangi $\alpha(n)$ hangisi $o(1)$ gibi $n \to \infty$. Yukarıdaki asimtotik denkliği koruyan polilog fonksiyonları ile ilgili lemmamızı kullanarak bu ifadeyi$(1)$ almak:

$$\log(\sqrt{2 \pi} \Xi _n)- \log n \sim -\log (1 + \alpha) - \frac{1}{2}\log 2 - \frac{1}{2}\log \log n - \log n - 2 \alpha \log n - \alpha^2 \log n \,.$$

$$\implies -\log(\Xi_n \sqrt{2 \pi}) \sim \log(1 + \alpha) + \frac{1}{2} \log 2 + \frac{1}{2} \log \log n + 2\alpha \log n + \alpha^2 \log n \,.$$

Burada daha da ileri gitmek zorunda ve farz$\log \Xi_n = o( \log \log n) ~~ as ~~ n \to \infty$neredeyse eminim . Yine, tüm Cramer "$\Xi_n$ Ama herkes herkes hakkında a priori diyebilir $\Xi_n$ bu mu $0 \le Xi_n \le n$ çünkü, kişinin $\Xi_n = O(1)$ neredeyse şüphesiz ki bu Cramer'in iddiasının özünü oluşturuyor.

Ama yine de, birinin buna inandığını varsayarsak, o zaman $\alpha$ dır-dir $\frac{1}{2} \log \log n$. Dan beri$\alpha = o(1)$, bunu takip eder $\alpha^2 = o(\alpha)$ve açıkça $\log ( 1 + \alpha) = o (\alpha) = o(o(\alpha \log n))$, so the dominant term containing $\alpha$ is $2 \alpha \log n$. Therefore, we can rearrange and (dividing everything by $\frac{1}{2}\log\log n$ or $2 \alpha \log n$) find that

$$- \frac{1}{2} \log \log n \sim 2 \alpha \log n \quad \implies \quad \alpha \sim - \frac{\log \log n}{4 \log n} \,.$$

Therefore, substituting this back into the above, we get that:

$$Z_n \sim \sqrt{2 \log n}- \frac{\log\log n}{2 \sqrt{2 \log n}} \,,$$

again, assuming we believe certain things about $\Xi_n$.

We rehash the same technique again; since $Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}}$, then it also follows that

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} (1 + \beta(n)) = \sqrt{2 \log n} \left( 1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) \,,$$

when $\beta(n)=o(1)$. Let's simplify a little before substituting directly back into (1); we get that:

$$\log Z_n \sim \log(\sqrt{2 \log n}) + \underbrace{\log \left(1 - \frac{\log \log n}{8 \log n}(1 + \beta(n)) \right) }_{\log(O(1)) = o(\log n)} \sim \log (\sqrt{2 \log n}) \,.$$

$$\frac{Z_n^2}{2} \sim \log n - \frac{1}{2} \log \log n (1 + \beta) + \underbrace{\frac{(\log \log n)^2}{8 \log n} ( 1 \beta)^2}_{o((1+ \beta) \log \log n)} \sim \log n - \frac{1}{2} (1 + \beta) \log \log n \,.$$

Substituting this back into (1), we find that:

$$\log ( \sqrt{2 \pi} \Xi_n) - \log n \sim - \log(\sqrt{2 \log n}) - \log n + \frac{1}{2}(1 + \beta) \log \log n \quad \implies \quad \beta \sim \frac{\log (4 \pi \Xi_n^2)}{\log \log n} \,.$$

Therefore, we conclude that almost surely

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n}{2 \sqrt{2 \log n}} \left(1 + \frac{\log(4 \pi) + 2 \log( \Xi_n)}{\log \log n} \right)\\ = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{ 2 \sqrt{2 \log n} } - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \,.$$

This corresponds to the final result on p.374 of Cramer's 1946 Mathematical Methods of Statistics except that here the exact order of the error term isn't given. Apparently applying this one more term gives the exact order of the error term, but anyway it doesn't seem necessary to prove the results about the maxima of i.i.d. standard normals in which we are interested.

---

Given the result of the above, namely that almost surely:

$$Z_n \sim \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} \quad \implies \\ Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\log (\Xi_n)}{\sqrt{2 \log n}} + o(1)\,. \tag{$\dagger$}$$

2. Then by linearity of expectation it follows that:

$$\mathbb{E}Z_n = \sqrt{2 \log n} - \frac{\log \log n + \log (4 \pi)}{2 \sqrt{2 \log n}} - \frac{\mathbb{E}[\log (\Xi_n)]}{\sqrt{2 \log n}} + o(1) \quad \implies \\ \frac{\mathbb{E}Z_n}{\sqrt{2 \log n}} = 1 - \frac{\mathbb{E}[\log \Xi_n]}{2 \log n} + o(1) \,.$$

Therefore, we have shown that

$$\lim_{n \to \infty } \frac{\mathbb{E} Z_n}{\sqrt{2 \log n}} = 1 \,,$$

as long as we can also show that

$$\mathbb{E}[\log \Xi_n] = o(\log n) \,.$$

This might not be too difficult to show since again $\Xi_n$ has the same distribution for every continuous random variable. Thus we have the second result from above.

1. Similarly, we also have from the above that almost surely:

$$\frac{Z_n}{\sqrt{2 \log n}} = 1 - \frac{\log(\Xi_n)}{2 \log n} +o(1),.$$

Therefore, if we can show that:

$$\log(\Xi_n) = o(\log n) \text{ almost surely}, \tag{*}$$

then we will have shown the first result from above. Result (*) would also clearly imply a fortiori that $\mathbb{E}[\log (\Xi_n)] = o(\log n)$, thereby also giving us the first result from above.

Also note that in the proof above of ($\dagger$) we needed to assume anyway that $\Xi_n = o(\log n)$ almost surely (or at least something similar), so that if we are able to show ($\dagger$) then we will most likely also have in the process needed to show $\Xi_n = o(\log n)$ almost surely, and therefore if we can prove $(\dagger)$ we will most likely be able to immediately reach all of the following conclusions.

3. However, if we have this result, then I don't understand how one would also have that $\mathbb{E}Z_n = \sqrt{2 \log n} + \Theta(1)$, since $o(1) \not= \Theta(1)$. But at the very least it would seem to be true that

$$\mathbb{E}Z_n = \sqrt{2 \log n} + O(1) \,.$$

---

So then it seems that we can focus on answering the question of how to show that

$$\Xi_n = o(\log n) \text{ almost surely.}$$

We will also need to do the grunt work of providing a proof for (~), but to the best of my knowledge that is just calculus and involves no probability theory, although I have yet to sit down and try it yet.

First let's go through a chain of trivialities in order to rephrase the problem in a way which makes it easier to solve (note that by definition $\Xi_n \ge 0$):

$$\Xi_n = o(\log n) \quad \iff \quad \lim_{n \to \infty} \frac{\Xi_n}{\log n} = 0 \quad \iff \quad \\ \forall \varepsilon > 0, \frac{\Xi_n}{\log n} > \varepsilon \text{ only finitely many times} \quad \iff \\ \forall \varepsilon >0, \quad \Xi_n > \varepsilon \log n \text{ only finitely many times} \,.$$

One also has that:

$$\Xi_n > \varepsilon \log n \quad \iff \quad n(1 - F(Z_n)) > \varepsilon \log n \quad \iff \quad 1 - F(Z_n) > \frac{\varepsilon \log n}{n} \\ \iff \quad F(Z_n) < 1 - \frac{\varepsilon \log n}{n} \quad \iff \quad Z_n \le \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Correspondingly, define for all $n$:

$$u_n^{(\varepsilon)} = \inf \left\{ y: F(y) \ge 1 - \frac{\varepsilon \log n}{n} \right\} \,.$$

Therefore the above steps show us that:

$$\Xi_n = o(\log n) \text{ a.s.} \quad \iff \quad \mathbb{P}(\Xi_n = o(\log n)) = 1 \quad \iff \quad \\ \mathbb{P}(\forall \varepsilon > 0 , \Xi_n > \varepsilon \log n \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon > 0, Z_n \le u_n^{(\varepsilon)} \text{ only finitely many times}) = 1 \\ \iff \mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) =0 \,.$$

Notice that we can write:

$$\{ \forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} = \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \,.$$

The sequences $u_n^{(\varepsilon)}$ become uniformly larger as $\varepsilon$ decreases, so we can conclude that the events

$$\{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \}$$ are decreasing (or at least somehow monotonic) as $\varepsilon$ goes to $0$. Therefore the probability axiom regarding monotonic sequences of events allows us to conclude that:

$$\mathbb{P}(\forall \varepsilon >0, Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = \\ \mathbb{P} \left( \bigcap_{\varepsilon > 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \mathbb{P} \left( \lim_{\varepsilon \downarrow 0} \{ Z_n \le u_n^{(\varepsilon)} \text{ infinitely often} \} \right) = \\ \lim_{\varepsilon \downarrow 0} \mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) \,.$$

Therefore it suffices to show that for all $\varepsilon >0$,

$$\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ infinitely often}) = 0$$

because of course the limit of any constant sequence is the constant.

Here is somewhat of a sledgehammer result:

Theorem 4.3.1., p. 252 of Galambos, The Asymptotic Theory of Extreme Order Statistics, 2nd edition. Let $X_1, X_2, \dots$ be i.i.d. variables with common nondegenerate and continuous distribution function $F(x)$, and let $u_n$ be a nondecreasing sequence such that $n(1 - F(u_n))$ is also nondecreasing. Then, for $u_n < \sup \{ x: F(x) <1 \}$,

$$\mathbb{P}(Z_n \le u_n \text{ infinitely often}) =0 \text{ or }1$$ according as $$\sum_{j=1}^{+\infty}[1 - F(u_j)]\exp(-j[1-F(u_j)]) < +\infty \text{ or }=+\infty \,.$$

The proof is technical and takes around five pages, but ultimately it turns out to be a corollary of one of the Borel-Cantelli lemmas. I may get around to trying to condense the proof to only use the part required for this analysis as well as only the assumptions which hold in the Gaussian case, which may be shorter (but maybe it isn't) and type it up here, but holding your breath is not recommended. Note that in this case $\omega(F)=+\infty$, so that condition is vacuous, and $n(1-F(n))$ is $\varepsilon \log n$ thus clearly non-decreasing.

Anyway the point being that, appealing to this theorem, if we can show that:

$$\sum_{j=1}^{+\infty}[1 - F(u_j^{(\varepsilon)})]\exp(-j[1-F(u_j^{(\varepsilon)})]) = \sum_{j=1}^{+\infty}\left[ \frac{\varepsilon \log j}{j} \right]\exp(-\varepsilon \log j) = \varepsilon \sum_{j=1}^{+\infty} \frac{ \log j}{j^{1 + \varepsilon}} < + \infty \,.$$

Note that since logarithmic growth is slower than any power law growth for any positive power law exponent (logarithms and exponentials are monotonicity preserving, so $\log \log n \le \alpha \log n \iff \log n \le n^{\alpha}$ and the former inequality can always be seen to hold for all $n$ large enough due to the fact that $\log n \le n$ and a change of variables), we have that:

$$\sum_{j=1}^{+\infty} \frac{\log j}{j^{1 + \varepsilon}} \le \sum_{j=1}^{+\infty} \frac{j^{\varepsilon/2}}{j^{1 + \varepsilon}} = \sum_{j=1}^{+\infty} \frac{1}{j^{1 + \varepsilon/2}} < +\infty \,,$$

since the p-series is known to converge for all $p>1$, and $\varepsilon >0$ of course implies $1 + \varepsilon/2 > 1$.

Thus using the above theorem we have shown that for all $\varepsilon >0$, $\mathbb{P}(Z_n \le u_n^{(\varepsilon)} \text{ i.o.}) = 0$, which to recapitulate should mean that $\Xi_n = o(\log n)$ almost surely.

We need to show still that $\log \Xi_n = o(\log \log n)$. This doesn't follow from the above, since, e.g.,

$$\frac{1}{n} \log n = o(\log n) \,, - \log n + \log \log n \not= o(\log n) \,.$$

However, given a sequence $x_n$, if one can show that $x_n = o( (\log n)^{\delta})$ for arbitrary $\delta >0$, then it does follow that $\log(x_n) = o(\log \log n)$. Ideally I would like to be able to show this for $\Xi_n$ using the above lemma (assuming it's even true), but am not able to (as of yet).