Toplar ve Bölmeleri analizi

$m$ $n$ $m \gg n$ $X_i$ $i$ $X_\max$ $X_\min$ $X_{\mathrm{sec-max}}$ $X_i - X_j \sim N(0,2m/n)$ $|X_i - X_j| = \Theta(\sqrt{m/n})$ $i,j$ $X_{\max} - X_{\min} = O(\sqrt{m\log n/n})$ $n/2$ ayrık kutu çifti. Bu (formel olan) bağımsız değişken açar bize beklemek arasındaki boşluk $X_{\max}$ ve $X_{\min}$ olduğunu $\Theta(\sqrt{m\log n/n})$ yüksek bir olasılıkla.

$X_\max$ ve arasındaki boşlukla ilgileniyorum $X_{\mathrm{sec-max}}$ . Yukarıda ana hatlarıyla verilen argüman , yüksek olasılıkla $X_\max - X_{\mathrm{sec-max}} = O(\sqrt{m\log n/n})$ yüksek olasılıkla gösteriyor, ancak $\sqrt{\log n}$ faktörü gereksiz görünüyor . dağılımı hakkında bilinen bir şey var mı $X_\max - X_{\mathrm{sec-max}}$ ?

Daha genel olarak, her topun her kutu için negatif olmayan bir skorla ilişkili olduğunu ve $m$ toplarını attıktan sonra her kutunun toplam puanıyla ilgilendiğimizi varsayalım . Genel senaryo, formun puanlarına karşılık gelir $(0,\ldots,0,1,0,\ldots,0)$ . Puanların olasılık dağılımının kutuların müsaadesi altında değişmez olduğunu varsayalım (olağan senaryoda, bu tüm kutuların denkleştirilebilir olduğu anlamına gelir). Puanların dağılımı göz önüne alındığında, üzerinde iyi bir sınır elde etmek için ilk paragrafın yöntemini kullanabiliriz $X_{\max} - X_{\min}$ . faktörünü içerecektir $\sqrt{\log n}$ bu sınır bağlı bir sendikadan geliyor (normal bir değişkenin kuyruk olasılıkları aracılığıyla). sınırlamasıyla ilgileniyorsak, bu faktör azaltılabilir $X_{\max} - X_{\mathrm{sec-max}}$ mi?

reference-request pr.probability

— Yuval Filmus
kaynak

Her skor [0,1] de mi?

— Neal Young,

Gerçekten önemli değil, her zaman

de olacak şekilde ölçeklendirebilirsiniz

[0, 1]

$[0,1]$ .

— Yuval Filmus

Yanıtlar:

Cevap: $\Theta\left(\sqrt{\frac{m}{n\log n}}\right)$ .

Merkezi Limit Teoreminin çok boyutlu bir versiyonunu uygulayarak, vektörün asimptotik olarak çok değişkenli Gauss dağılımına sahip olduğunu ve Biz bunun altında üstlenecek olan bir Gauss vektörü (ve sadece yaklaşık bir Gauss vektör). Bizim bir Gauss rastgele değişken ilave edelim varyansı ile tüm ( her bağımsızdır ). Bu, izin $(X_1,\dots, X_n)$

V a r [X_{i}] = m (\frac{1}{n} - \frac{1}{n^{2}}),

$\mathrm{Var}[X_i] = m\left(\frac{1}{n} - \frac{1}{n^2}\right),$

C o v (X_{i}, X_{j}) = - m / n^{2} .

$\mathrm{Cov}(X_i, X_j) = -m/n^2.$

X

$X$

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

Z

$Z$

X_{i}

$X_i$

(\begin{matrix} Y_{1} \\ Y_{2} \\ ⋮ \\ Y_{n} \end{matrix}) = (\begin{matrix} X_{1} + Z \\ X_{2} + Z \\ ⋮ \\ X_{n} + Z \end{matrix}) .

$\begin{pmatrix} Y_1\\Y_2\\ \vdots\\Y_n \end{pmatrix} = \begin{pmatrix} X_1+Z\\X_2+Z\\ \vdots\\X_n +Z \end{pmatrix}.$ Gauss vektörü elde ediyoruz . Şimdi her varyansı : ve tümü bağımsızdır:

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

V a r [Y_{i}] = V a r [X_{i}] + \underset{= 0}{\underset{⏟}{2 C o v (X_{i}, Z)}} + V a r [Z] = m / n,

$\mathrm{Var}[Y_i] = \mathrm{Var}[X_i] + \underbrace{2\mathrm{Cov}(X_i,Z)}_{=\, 0}+\mathrm{Var}[Z] = m/n,$

Y_{i}

$Y_i$

C o v (Y_{i}, Y_{j}) = C o v (X_{i}, X_{j}) + \underset{= 0}{\underset{⏟}{C o v (X_{i}, Z) + C o v (X_{j}, Z)}} + C o v (Z, Z) = 0.

$\mathrm{Cov}(Y_i, Y_j) = \mathrm{Cov}(X_i, X_j) + \underbrace{\mathrm{Cov}(X_i,Z) + \mathrm{Cov}(X_j,Z)}_{=\, 0} +\mathrm{Cov}(Z, Z) = 0.$

Not o . Dolayısıyla bizim asıl sorunumuz, bulma problemine eşdeğerdir . İlk önce basitliği analiz edelim, tüm varyansı olduğunda durumu analiz edin . $Y_i - Y_j = X_i - X_j$ $Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}$ $Y_i$ $1$

Sorun. Biz verilmiştir bağımsız Gauss rv ile ortalama ve varyans . beklentisini tahmin edin . $n$ $\gamma_1,\dots, \gamma_n$ $\mu$ $1$ $\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}$

Cevap: . $\Theta\left(\frac{1}{\sqrt{\log n}}\right)$

Resmi olmayan Kanıt İşte bu soruna gayri resmi bir çözüm (resmi hale getirmek zor değil). Cevap ortalamaya bağlı olmadığından, olduğunu varsayıyoruz . Let , burada . Biz (orta derecede büyük ), $\mu = 0$ $\bar\Phi(t) = \Pr[\gamma > t]$ $\gamma\sim{\cal N}(0,1)$ $t$

\bar{Φ} (t) \approx \frac{1}{\sqrt{2 π} t} e^{- \frac{1}{2} t^{2}} .

$\bar\Phi(t)\approx \frac{1}{\sqrt{2\pi}t} e^{-\frac{1}{2}t^2}.$

Bunu not et

$\Phi(\gamma_i)$ de düzgün ve bağımsız bir şekilde dağılmış , $[0,1]$
$\Phi(\gamma_{\mathrm{max}})$ arasında en küçüğüdür , $\Phi(\gamma_i)$
$\Phi(\gamma_{\mathrm{sec-max})}$ , arasında en küçük olanıdır . $\Phi(\gamma_i)$

Bu nedenle yakın ve yakın (konsantrasyon yok ama yapmazsak) Sabitleri önemsemek bu tahminler yeterince iyidir, gerçekte sabitleri önemsersek daha iyi olurlar - ama bu bir gerekçe gerektirir). Formülünü kullanarak , olsun $\Phi(\gamma_{\mathrm{max}})$ $1/n$ $\Phi(\gamma_{\mathrm{max}})$ $2/n$ $\bar\Phi(t)$

2 \approx \bar{Φ} (γ_{s e c - m a x}) / \bar{Φ} (γ_{m a x}) \approx e^{\frac{1}{2} (γ_{m a x}^{2} - γ_{s e c - m a x}^{2})} .

$2\approx \bar\Phi(\gamma_{\mathrm{sec-max}})\left/\bar\Phi(\gamma_{\mathrm{max}})\right. \approx e^{\frac{1}{2}\left(\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2\right)}.$

Böylece olduğu WHP Not bu . Biz sahip $\gamma_{\mathrm{max}}^2 - \gamma_{\mathrm{sec-max}}^2$ $\Theta(1)$ $\gamma_{\mathrm{max}}\approx \gamma_{\mathrm{sec-max}} = \Theta(\sqrt{\log n})$

γ_{m a x} - γ_{s e c - m a x} \approx \frac{Θ (1)}{γ_{m a x} + γ_{s e c - m a x}} \approx \frac{Θ (1)}{\sqrt{\log n}} .

$\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}\approx \frac{\Theta(1)}{\gamma_{\mathrm{max}} + \gamma_{\mathrm{sec-max}}} \approx \frac{\Theta(1)}{\sqrt{\log n}}.$

QED

O almak

\begin{aligned} E [X_{m a x} - X_{s e c - m a x}] & = E [Y_{m a x} - Y_{s e c - m a x}] \\ = \sqrt{V a r [Y_{i}]} \times E [γ_{m a x} - γ_{s e c - m a x}] = Θ (\sqrt{\frac{m}{n \log n}}) . \end{aligned}

$\begin{align} \mathbb{E}[{X_{\mathrm{max}} - X_{\mathrm{sec-max}}}] &= \mathbb{E}[{Y_{\mathrm{max}} - Y_{\mathrm{sec-max}}}] \\ &= \sqrt{\mathrm{Var}[Y_i]} \times\mathbb{E}[{\gamma_{\mathrm{max}} - \gamma_{\mathrm{sec-max}}}] = \Theta\left(\sqrt{\frac{m}{n\log n}}\right). \end{align}$

Aynı argüman keyfi puanlarımız olduğunda da devam eder. Bu göstermektedir
$E [X_{m a x} - X_{s e c - m a x}] = c E [X_{m a x} - X_{m i n}] / \log n .$ $\mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{sec-max}}] = c\, \left. \mathbb{E}[X_{\mathrm{max}}- X_{\mathrm{min}}]\right/\log n.$

— Yury
kaynak

Teşekkürler! Bir dahaki sefere çok değişkenli Gauss yaklaşımını denemeyi hatırlayacağım.

— Yuval Filmus,

Yury, bizi bir Gauss vektör ekleyelim" yazdı varyans ile herkese . Biz Gauss vektörü olsun Şimdi her. varyans sahiptir ve tüm değildir ilişkili ... Not . " Bu kısmı genişletebilir misiniz? Mı ? Eğer bağımlıysa ve bağımsız ise (veya aynı şekilde), nasıl bağımsız olabilir? (Temiz bir numara gibi görünüyor ama ben anlamıyorum.) Teşekkürler.

Z

$Z$

m / n^{2}

$m/n^2$

X_{i}

$X_i$

(Y_{1}, \dots, Y_{n})

$(Y_1, \dots, Y_n)$

Y_{i}

$Y_i$

m / n

$m/n$

Y_{i}

$Y_i$

Y_{i} - Y_{j} = X_{i} - X_{j}

$Y_i - Y_j = X_i - X_j$

Z_{i} = Z_{j}

$Z_i = Z_j$

X_{i}

$X_i$

Z_{i}

$Z_i$

Y_{i}

$Y_i$

— Neal Young

@NealYoung, evet, değişkenler varsa negatif İkili korelasyon ile ve tüm eşdeğişkileri olan eşit , o zaman ekleyebilir tek yeni rastgele değişken herkese böyle toplamlar bağımsızdır. Ayrıca, değişkenlerin pozitif korelasyonu varsa ve yine tüm kovaryanslar eşitse o zaman tüm farklılıkların bağımsız olması için hepsinden tek bir rv çıkarabiliriz; fakat şimdi , bağımsız değildir, fakat den bağımsızdır

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

X_{i}

$X_i$

C o v (X_{i}, X_{j})

$\mathrm{Cov}(X_i,X_j)$

Z

$Z$

Z

$Z$

X_{i}

$X_i$

Z = α (X_{1} + \dots + X_{n})

$Z=\alpha (X_1 + \dots+X_n)$ bazı ölçeklendirme parametreleri için .

α

$\alpha$

— Yury

Ah, anlıyorum. En azından cebirsel olarak, üzerinde durduğu tek şey, Z ve her bir ikili bağımsızlığıdır . çok havalı.

X_{i}

$X_i$

— Suresh Venkat

Bu argüman şimdi bir EC'14 makalesinde (atıf ile) ortaya çıkıyor: dl.acm.org/citation.cfm?id=2602829 .

— Yuval Filmus

$X_{\max}-X_{\textrm{sec-max}}$

o (\sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}}) .

$o\left(\sqrt{\frac{m}{n}\frac{\log^2\log n}{\log n}}\right).$

o (\sqrt{m / n})

$o(\sqrt{m/n})$

$X_1$ $n/2$ $X_2$ $n/2$

$|X_1-X_2|$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2| = X_{\max}-X_{\mathrm{sec-max}}$ $X_{\max}-X_{\mathrm{sec-max}}$ $|X_1-X_2|$

$|X_1-X_2|$ $m/2\pm O(\sqrt m)$ $n/2$ $n/2$ $X_1$ $X_2$ $m' = m/2\pm o(m)$ $n' = n/2$

$m' \gg n\log^3 n$ $X_1$ $X_1$ $X_2$ $X_{\max}$ $X_{\mathrm{max-sec}}$ en fazla bu kadar farklı.

$t$ $\Pr[|X_1-X_2| \ge t] \ge 3/4$ $\Pr[X_{\max}-X_{\textrm{sec-max}} \ge t]$

Pr [| X_{1} - X_{2} | \geq t \land X_{max} - X_{sec-max} = | X_{1} - X_{2} |]

$\Pr\big[|X_1-X_2| \ge t ~\wedge~ X_{\max}-X_{\textrm{sec-max}} = |X_1-X_2|\big]$

1 - (1 / 4) - (1 / 2) = 1 / 4.

$1 - (1/4) - (1/2) = 1/4.$

X_{max} - X_{sec-max}

$X_{\max}-X_{\textrm{sec-max}}$

— Neal Young
kaynak

O (\sqrt{(m / n) \log \log n})

$O(\sqrt{(m/n) \log \log n})$

O (\sqrt{(m / n) \log n})

$O(\sqrt{(m/n) \log n})$

ϵ > 0

$\epsilon>0$

1 - o (1)

$1-o(1)$

\frac{m}{n} + \sqrt{\frac{2 m \log n}{n}} \sqrt{1 - (1 \pm ϵ) \frac{\log \log n}{2 \log n}} .

$\frac{m}{n} +\sqrt{\frac{2m\log n}{n}}\sqrt{1-(1\pm\epsilon) \frac{\log\log n}{2\log n}}.$

\sqrt{1 - δ} = 1 - O (δ)

$\sqrt{1-\delta} = 1 - O(\delta)$

\pm ϵ

$\pm\epsilon$

O (ϵ) \sqrt{\frac{m \log n}{n}} \frac{\log \log n}{\log n} = O (ϵ) \sqrt{\frac{m}{n} \frac{\log^{2} \log n}{\log n}} .

$O(\epsilon) \sqrt{\frac{m\log n}{n}}~\frac{\log\log n}{\log n} ~=~O(\epsilon) \sqrt{\frac{m}{n}~\frac{\log^2\log n}{\log n}}.$

Ah - Sanırım haklısın. Karekökün içine çıkardım ve bu şekilde figürümü elde ettim.

— Yuval Filmus,