Kupon toplayıcı zamanında sıkı bir alt sınır nedir?

20

Klasik bir kupon Collector problemi , iyi zaman olduğu bilinmektedir gerekli bir dizi tamamlamak için rastgele seçilmiş kuponlar tatmin , ve . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Bu üst sınır, kabaca olan Chebyshev eşitsizliğinin verdiği sınırdan daha iyidir . $1/c^2$

Sorum şu: için karşılık gelen Chebyshev'den daha iyi bir alt sınır var mı? (ör. ) gibi bir şey? $T$ $\Pr(T < n \ln n - cn) < e^{-c}$

probability probability-inequalities coupon-collector-problem

— David
kaynak

Açık bir alt sınır

Pr (T < n) = 0

$\Pr(T<n) = 0$ , ama sanırım bunun farkındasınız ...

— onestop

14

Analiz tamamen temel olduğu ve tam olarak istenen sonucu verdiği için bunu ikinci bir cevap olarak veriyorum.

Öneri için $c > 0$ ve $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

İspatın arkasındaki fikir basit:

Tüm kuponların olarak toplandığı süreyi temsil edin $T = \sum_{i=1}^n T_i$ ; burada $T_i$ , $i$ (Şimdiye kadar) benzersiz kuponun toplandığı zamandır . $T_i$ ortalama süreleri ile geometrik rasgele değişkenlerdir $\frac{n}{n-i+1}$ .
Chernoff bağlı bir sürümünü uygulayın ve basitleştirin.

Kanıt

Herhangi bir ve herhangi bir , $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Bu yana ve bağımsızdır, yazabiliriz $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Şimdi geometrik olduğu için, diyelim ki başarı olasılığı ile birlikte , basit bir hesaplama $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

eden sorun için olan , , , vb Bu nedenle, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Diyelim seçim ve bazıları için . Sonra ve , $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Bunu bir araya getirince,

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

istediğiniz gibi.

— kardinal
kaynak

Bu çok güzel ve sadece doktorun emrettiği şey. Teşekkür ederim.

— David

@David, sadece meraklı: Amaçlanan uygulama nedir?

— kardinal

Uzun Hikaye. İlgilendiğim bir algoritmanın çalışma süresini analiz etmek için pişirdiğim bir Markov zincirinin karıştırma süresi için bir alt sınır kanıtlamaya çalışıyorum - bu da c'yi daha düşük sınırlamaya indirgiyor toplayıcı sorunu. BTW, tam olarak bu tür Chernoff tarzı bağlı bulmaya çalışıyordum, ancak bu üründen nasıl kurtulacağını anlayamadım . İyi arama :-).

i

$i$

s = 1 / n

$s = 1/n$

— David

@David, , neredeyse kesinlikle yetersiz olsa da, türetmede elde edilenle aynı terim olan verdiğinden denemek için bariz bir şey gibi görünüyordu . üst sınır.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— kardinal

1

Talep : Yukarıda verdiğim kanıt benim. Sorun beni ilgilendirdiğinden, keyifle çalıştım. Ancak, yenilik hakkında hiçbir iddiada bulunmuyorum. Gerçekten de benzer bir tekniği kullanan benzer bir kanıtın literatürde zaten var olduğunu hayal edemiyorum. Bir referansı bilen biri varsa, lütfen buraya bir yorum olarak gönderin . Ben olacağını çok birinin bilmek ilgi.

— kardinal

9

@Cardinal zaten tam olarak aradığım sınırı veren bir cevap vermiş olsa da, daha güçlü bir sınır verebilecek benzer bir Chernoff tarzı argüman buldum:

Önerme : (bu için daha güçlüdür )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

İspat :

@ Cardinal'in cevabında olduğu gibi, başarı olasılıkları olan bağımsız geometrik rastgele değişken toplamı olduğu gerçeğini kullanabiliriz . Bundan sonra ve . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Şimdi yeni değişkenleri tanımlayın ve . Daha sonra $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Ortalamaları hesaplarken,

E [e^{- s S}] = \underset{ben}{Π} E [e^{- s S_{ben}}] = \underset{ben}{Π} \frac{e^{s / p_{ben}}}{1 + \frac{1}{p_{ben}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \underset{ben}{Σ} p_{ben}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ burada eşitsizlik ve ayrıca için .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Böylece, , yazabiliriz $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n günlük n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

üzerinde küçülme , sonunda $s>0$

Pr (T \leq n günlük n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— David
kaynak

1

(+1) Modulo birkaç küçük yazım hatası, bu güzel. Yaptığınız gibi ortalamanın yakınında bir şeyi genişletmek genellikle daha iyi çalışır. Asimtotik sonuçların ışığında daha yüksek mertebe yakınsamayı gördüğüme şaşırmadım. Şimdi, benzer bir üst sınır gösterirseniz, , ölçüm konsantrasyonu ile ilgili birçok etkisi olan Vershynin terminolojisinde altsal olduğunu kanıtlar .

(T - n \log n) / n

$(T-n\log n)/n$

— kardinal

1

Argüman doğrudan üst sınırda genelleşiyor gibi görünmüyor. Alma için (ve için ), bir hesaplama noktasına aynı aşamaları takip edebilir . Ancak bu noktada yapabileceğim en iyi şey , yine de ve bununla ne yapacağımı bilmiyorum

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \underset{ben}{Σ} \frac{p_{ben}^{2}}{(1 - s / p_{ben})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— David

2

İlginçtir ki, tüm argüman (alt sınır için) sadece kupon toplayıcı problemi için değil , sınırlı varyansa sahip özdeş olmayan, bağımsız geometrik değişkenlerin herhangi bir toplamı için işe yarıyor gibi görünüyor . Spesifik olarak: verilen , burada her , başarı olasılığı olan bağımsız bir ve burada , sonra

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - bir) \leq e^{- \frac{{bir}^{2}}{2 bir}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— David

4

Önemli Not : Bu cevapta ilk verdiğim kanıtı kaldırmaya karar verdim. Daha uzun, daha hesaplıydı, daha büyük çekiçler kullandı ve verdiğim diğer kanıtlara kıyasla daha zayıf bir sonuç gösterdi. Her yerde, daha aşağı bir yaklaşım (benim görüşüme göre). Eğer ediyorsanız gerçekten ilgilenen, sana düzenlemeleri bakabilirsiniz varsayalım.

Aslen alıntıladığım ve bu cevapta hala aşağıda bulunan asimtotik sonuçlar, , tüm için geçerli olan diğer cevapta kanıtlanan sınırdan biraz daha iyi yapabileceğimizi göstermektedir . $n \to \infty$ $n$

Aşağıdaki asimtotik sonuçlar geçerlidir

P (T > n günlük n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

ve

P (T \leq n günlük n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

Sabit ve limitler olarak alınır . İki sonuca ayrılsalar da, her iki durumda da negatif olması kısıtlanmadığından, hemen hemen aynı sonuç olduğunu unutmayın. $c \in \mathbb{R}$ $n \to \infty$ $c$

Bir kanıt için bkz. Örneğin Motwani ve Raghavan, Randomize Algoritmalar , sayfa 60-63.

Ayrıca : David, bu cevabın yorumlarında belirtilen üst sınırı için bir kanıt sağlar.

— kardinal
kaynak

Evet, her sabit için geçerlidir . (Çok basit) bir kanıt, örneğin Levin, Peres ve Wilmer'in Markov Zincirler ve Karıştırma Süreleri, Öneri 2.4 kitabında bulunabilir. Kanıt alt sınırda işe yaramıyor.

n

$n$

— David

1

Aslında, kanıtı burada da : " [kupon] türünün ilk kuponları arasında görünmemesi olayı olsun . İlk önce denemenin kupon olasılığı olduğundan ve denemeler bağımsız olduğundan, yukarıdaki sağ taraf yukarıda , kanıtlıyor (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— David

@David, bu yeterince hoş ve basit. İçerme-hariç tutma formülünü başka bir terimle genişletme ile hızlı bir şekilde oynadım, ancak hızlı bir şekilde bir yere ulaşmadım ve daha fazla bakmak için zamanım olmadı. Olay herhangi bir kupon sonra kalan durumunda eşdeğerdir denemeleri. Bununla bağlantılı bir martingale olmalı. Hoeffding'in (varsayılan) ilişkili martingale üzerindeki eşitsizliğini denediniz mi? Asimptotik sonuç, güçlü ölçüm konsantrasyonunu göstermektedir.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— kardinal

@David, yukarıdaki kanıtınızda bir işaret var, ancak eminim diğer okuyucular için de açık.

— kardinal

@David, lütfen sorunuza gönderilen diğer cevabımı görün. Yöntem, verdiğiniz üst sınırdan farklıdır, ancak burada verdiğim cevabın aksine, kullanılan araçlar neredeyse temeldir.

— kardinal

2

Benjamin Doerr verir : a biraz basit kanıtı ( "Tesadüf Arama Buluşsal Analizi Olasılık Teorisi gelen Araçlar" bölümünde kitabında "Tesadüf Arama Heuristic'lerin Teorisi" içinde, bir online PDF için bağlantıya bakınız)

Teklif kupon toplama sürecinin durma süresi olsun . Sonra . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Bu istenen asimtotikleri (@ cardinal'in ikinci cevabından) veriyor gibi görünüyor, ancak tüm ve için doğru olma avantajı ile . $n$ $\epsilon$

İşte bir kanıt taslağı.

Prova : Kuponun ilk çekilişinde toplanması olayı olsun . Böylece, . Anahtar gerçek şu ki, , , . Sezgisel olarak bu bilerek olarak, oldukça açıktır ilk oyunu bırakanların kupon daha az olası olduğunu yapacak çizer -inci kupon da ilk çekilir çizer. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Bir kişi iddiayı kanıtlayabilir, ancak set her adımda 1 büyütür . Daha sonra için . Eşdeğer olarak, ortalamayı . Doerr bunun için sadece sezgisel bir argüman sunuyor. İspat için bir yol şöyledir. Bir şartına olduğunu gözlemleyebilirsiniz içinde kuponlar sonuçta çıkan kupon dan Yeni kupon çizim olasılığı olduğunu, çizildikten sonra şimdiye kadar şimdi , öncekinin yerine $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Zaman çürüyen geometrik rasgele değişkenlerin toplamı olarak tüm kuponları toplamak için Böylece, o klima görebilirsiniz peşine -coupon daha muhtemel (daha önce kupon toplamak için başarı olasılıklarını arttırır ve böylece yalnızca onu yapar klima yapıyor stokastik egemenlik ile: her geometrik rasgele değişken stokastik egemenlik açısından şartlandırma ile arttırılır ve bu egemenlik daha sonra toplamda uygulanabilir). $j$ $I$

Bu negatif korelasyon göz önüne alındığında, aşağıdaki , verir ile istenen sınır . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
kaynak