Birden çok çarpışmada ters doğum günü sorunu

Uzunluğu bilinmeyen bir uzaylı yılı geçirdiğinizi varsayalım. Söz konusu uzaylıların rastgele bir örneğine sahipseniz ve bazıları doğum günlerini paylaşıyorsa, bu verileri yılın uzunluğunu tahmin etmek için kullanabilir misiniz?

Örneğin, 100'lük bir örnekte, iki üçüz (yani her biri üç uzaylı tarafından paylaşılan iki doğum günü) ve beş çift ve seksen dört tektonunuz olabilir. N'yi tahmin ederken, mutlak minimum 91 ve maksimum sınırsızdır, ancak makul bir beklenen değeri nasıl bulabilirim?

Varsayımlar, "tüm doğum günleri eşit derecede olasıdır" gibi şeyleri içerir.

Burada cevaplanan başka bir sorunun aksine, odada bilinen çarpışmalar var. Yeterince uzun bir yıl, bir uzaylı odası için çarpışma olmayacak güçlü bir ihtimal olacaktır. Ancak çok uzun yıllar herhangi bir çarpışma olasılığını düşük tutacaktır ve kısa yıllar az sayıda çarpışma olasılığını düşük tutacaktır, böylece en muhtemel yıl uzunlukları için (teorik) bir aralık sağlayacaktır.

estimation inference birthday-paradox

— techhead
kaynak

Bu sorunun özel bir sürümüne cevabım kolayca genelleşiyor (çok terimli dağıtımı kullanarak): bkz. Stats.stackexchange.com/questions/252813 .

— whuber

@Techhead Çeşitli şekillerde! Söz konusu parametre kestirimi için açık yaklaşım maksimum olasılık olacaktır.

— Glen_b

Ters doğum günü sorununun

— Stephan Kolassa

@whuber Bu soruyu ve yorumunuzu gördüm, ancak çoğunun bilinen çarpışmalara sahip bir örneğe nasıl uygulanacağını görmedim. Genişletilmiş formu bulmak zor değil, ama logaritmik toplamı nasıl bulacağımı bilmiyorum.

— Techhead

Sürümünüzün, kopya olarak kapatılmaması gerektiğinden yeterince daha karmaşık olduğunu kabul ediyorum.

— whuber

Yanıtlar:

Bir dağılımın beklenti değeri şu şekilde hesaplanır: $E(X) = \sum {p_ix_i}$ . Bu sorun için, $N$ bazı çarpışma kriterleri verildi veya $E(N) = \sum_{n=0}^{\infty}p_n n$ bazı çarpışma kriterleri verildiğinde, $p_n=P(N=n).$

Yukarıda belirtildiği gibi bazı çarpışma kriterleriniz olduğunu varsayalım ve $q_n$ yılın uzunluğu göz önüne alındığında çarpışma kriterlerinin karşılanma olasılığı $n.$ Sonra $q_n$ Çarpışma kriterlerinin karşılanma yollarının sayısını, doğum günlerinin genel olarak düzenlenebilme yollarına bölerek bulunabilir. bir Zamanlar $q_n$ mümkün olan her biri için bulunur $n$ , o zaman eksik olan tek parça çeviri $q_n$ için $p_n.$

Eğer varsayarsak $p_n$ Orantılıdır $q_n$ , sonra $p_n= \alpha q_n.$ Dan beri $\sum_{n=0}^{\infty} p_n=1$ , $\alpha \sum_{n=0}^{\infty} q_n=1$ ve $\alpha=\frac{1}{\sum_{n=0}^{\infty} q_n}.$ Bu nedenle, sadece $q_n$ bu problemi çözmek için.

Örneğiniz için, önce çarpışma ölçütlerinin verilebileceği yol sayısını bulalım $N=n.$ İlk yabancı single herhangi bir günde inebilir, bu yüzden $n$ olasılık. Bir sonraki singleton herhangi bir güne inebilir, ancak ilk uzaylıların doğum günü, bu yüzden $n-1$ olasılık. Bunu ilk 84 singleton için tamamlıyoruz $n(n-1)(n-2)...(n-83)$ bunun olası yolları. Ayrıca 5 çift ve 2 üçüzümüz olduğuna dikkat edin, bu nedenle her grup için "ilk" uzaylı tekil çiftlere de inmemelidir. Bu bir $n(n-1)(n-2)...(n-84-5-2 + 1)$ Bu uzaylılar çarpışmasın yolları (beceriksiz sözdizimi daha sonra daha kolay genelleme içindir).

Daha sonra, belirli bir çift veya üçüz için ikinci uzaylı 91 seçeneğe, bir sonraki 90'a vb. $91(91-1)(91-2)...(91-7+1)$ . Üçüzlerin geri kalan üyeleri çiftlerin doğum günlerine düşmelidir ve bunun olasılığı $7*6$ . Çarpışma kriterlerinin karşılanması için toplam olası yol sayısını elde etmek için bunların hepsini bir araya getiriyoruz:

r_{n} = n (n - 1) . . . (n - 84 - 5 - 2 + 1) (84 + 5 + 2) (84 + 5 + 2 - 1) . . . (84 + 1) (5 + 2) (5 + 1)

$r_n=n(n-1)...(n-84-5-2+1)(84+5+2)(84+5+2-1)...(84+1)(5+2)(5+1)$

Bu noktada, model açıksa, $a$ singletonların, $b$ çiftler ve $c$ üçüz, 84 yerine $a,$ 5 ile $b,$ ve 2 ile $c$ genelleştirilmiş bir formül elde etmek için. Genel olarak doğum günleri için olası yolların sayısının da $n^m$ , burada m problemdeki toplam uzaylı sayısıdır. Bu nedenle, çarpışma kriterlerini karşılama olasılığı, çarpışma kriterlerini karşılamanın yollarının, uzaylıların doğma yollarının sayısına bölünmesi veya $q_n=\frac{r_n}{n^m}$ .

Formülünde ilginç bir şey daha ortaya çıktı $r_n$ . İzin Vermek $y_n=n(n-1)...(n-(a+b+c)+1)=\frac{n!}{(n-(a+b+c))!}$ ve bırak $z_n$ kalan kısmı olmak $r_n$ Böylece $r_n=y_nz_n$ . Bunu not et $z_n$ n'den bağımsızdır, bu yüzden yazabiliriz $z_n=z$ sabit olarak! Dan beri $p_n=q_n/\sum_{i=0}^\infty q_i$ , ve $q_n=\frac{zy_n}{n^m}$ , aslında $z$ paydadaki toplamın dışında. Bu noktada, almak için paydan bölümü ile iptal eder $p_n=\frac{y_n}{n^m}/\sum_{i=0}^\infty (\frac{y_i}{i^m})$ . Basitleştirebiliriz $y_n$ daha fazla izin verirsek $s=a+b+c$ (veya bu, uzaylı grubundaki benzersiz doğum günlerinin sayısı olarak düşünülebilir), böylece:

p_{n} = \frac{\frac{n!}{(n - s)!}}{n^{m}} / \sum_{i = 0}^{\infty} (\frac{\frac{i!}{(i - s)!}}{i^{m}})

$p_n=\frac{\frac{n!}{(n-s)!}}{n^m}/\sum_{i=0}^\infty (\frac{\frac{i!}{(i-s)!}}{i^m})$

Şimdi (oldukça) basit bir formülümüz var. $p_n$ ve bu nedenle (oldukça) basit bir formül $E(N)$ yapılan tek varsayım, $P(N=n)$ Orantılıdır $q_n$ (verilen çarpışma kriterlerini karşılama olasılığı $N=n$ ). Bunun adil bir varsayım olduğunu düşünüyorum ve benden daha akıllı biri, bu varsayımın ilişkili olduğunu kanıtlayabilir. $P(N=n)$ multinom dağılımını takiben. Bu noktada hesaplayabiliriz $E(N)$ gibi sayısal yöntemler kullanarak veya bazı varsayımlarda bulunmak $p_n$ 0'a yaklaşacak $n$ yaklaşımlar $\infty$ .

— Cody Maughan
kaynak

Beklenti değerini, olasılık kitle işlevinden ziyade bir olasılık işlevine göre hesaplamayı öneriyormuşsunuz gibi görünüyor. Bu kasıtlı mıydı?

— Sextus Empiricus

Cody'nin mükemmel cevabı, olasılık fonksiyonunu ifade etmek için güzel bir yol sunuyor. $N$ , olasılıktan bağımsız olan bir kısmı hesaba katarak, yılın gün sayısı (veya bir önceki daireye dayalı posterior dağılım) $N$ .

Bu cevapta daha kısaca yazmak ve aynı zamanda bu olasılık fonksiyonunun maksimumunu hesaplamak için bir yol sağlamak istiyorum (hesaplanması çok daha zor olan beklenen değerden ziyade).

N için olabilirlik fonksiyonu

Bir dizi çizmenin yol sayısı $a+2b+3c$ bir dizi doğum günü $n$ doğum günleri, $a$ tek doğum günü sayısı, $b$ yinelenen doğum günleri ve $c$ üçlü doğum günleri eşittir

\begin{array}{ccl} r_{n} & = & \underset{\begin{array}{ccc} number of ways to \\ pick m unique birthdays \\ out of n days \end{array}}{\underset{⏟}{(\binom{n}{a + b + c})}} \underset{\begin{array}{ccc} number of ways to \\ distribute m birthdays \\ among groups of size a, b and c \end{array}}{\underset{⏟}{\frac{(a + b + c)!}{a! b! c!}}} \underset{\begin{array}{ccc} number of ordered ways to \\ arrange specific \\ single, duplicate, and triplicates \\ among the aliens \end{array}}{\underset{⏟}{\frac{(a + 2 b + 3 c)!}{1!^{a} 2!^{b} 3!^{c}}}} \\ = & \frac{n!}{(n - a - b - c)!} \times \frac{(a + 2 b + 3 c)}{a! b! c! 1!^{a} 2!^{b} 3!^{c}} \end{array}

$\begin{array}{ccl} r_n &=& \underbrace{{n}\choose{a+b+c}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{pick $m$ unique birthdays}& \\ &\text{out of $n$ days}&\end{array}} \underbrace{\frac{(a+b+c)!}{a!b!c!}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{distribute $m$ birthdays}& \\ &\text{among groups of size $a$, $b$ and $c$}&\end{array}} \underbrace{\frac{(a+2b+3c)!}{1!^a2!^b3!^c}}_{\small\begin{array}{ccc}&\text{number of ordered ways to} &\\ &\text{arrange specific }& \\&\text{single, duplicate, and triplicates}& \\ &\text{among the aliens }&\end{array}} \\ &=& \frac{n!}{(n-a-b-c)!} \times \frac{(a+2b+3c)}{a!b!c!1!^a2!^b3!^c} \end{array}$

ve yalnızca sağ taraftaki ilk terim $n$ , diğer terimleri hesaba katarak, bir olasılık işlevi için basit bir ifadeyle bitiririz

\begin{array}{rcl} L (n | a, b, c) & = & n^{- (a + 2 b + 3 c)} \frac{n!}{(n - a - b - c)!} = n^{- m} \frac{n!}{(n - s)!} \\ \propto & P (a, b, c | n) \end{array}

$\begin{array}{rcl} \mathcal{L}(n|a,b,c) &=& n^{-(a+2b+3c)} \frac{n!}{(n-a-b-c)!} = n^{-m} \frac{n!}{(n-s)!}\\ & \propto & P(a,b,c|n) \end{array}$

Cody'nin notasyonunu takip edip $m$ Yabancıların sayısını belirtmek ve $s$ benzersiz doğum günü sayısı.

N için maksimum olabilirlik tahmini

Bu olabilirlik fonksiyonunu, maksimum olabilirlik tahminini elde etmek için kullanabiliriz. $N$ .

Bunu not et

L (n) = L (n - 1) {(\frac{n - 1}{n})}^{m} \frac{n}{n - s}

$\mathcal{L}(n) = \mathcal{L}(n-1) \left(\frac{n-1}{n}\right)^m\frac{n}{n-s}$

ve maksimum değer, $n$ hangisi için

{(\frac{n - 1}{n})}^{m} \frac{n}{n - s} = 1

$\left(\frac{n-1}{n}\right)^m\frac{n}{n-s} = 1$

veya

s = n (1 - {(1 - 1 / n)}^{m})

$s = n \left(1-\left(1-1/n\right)^m \right)$

hangisi için $n$ yaklaşık olarak (yerine koyarak bulabileceğiniz bir Laurent serisi kullanarak) $x = 1/n$ ve Taylor serisini $x$ noktada $x=0$ )

s \approx \sum_{k = 0}^{l} (\binom{m}{k}) (- n)^{- k} + O (n^{- (l + 1)})

$s \approx \sum_{k=0}^l {{m}\choose{k}} (-n)^{-k} + \mathcal{O} \left( n^{-(l+1)} \right)$

Yalnızca ilk sipariş terimini kullanma $s \approx m - \frac{m(m-1)}{2 n}$ olsun:

n_{1} \approx \frac{(\binom{m}{2})}{m - s}

$n_1 \approx \frac{ {{m}\choose{2}}}{m-s}$

İkinci dereceden terimi de kullanmak $s \approx m - \frac{m(m-1)}{2 n} + \frac{m(m-1)(m-2)}{6 n^2}$ olsun:

n_{2} \approx \frac{(\binom{m}{2}) + \sqrt{{(\binom{m}{2})}^{2} - 4 (m - s) (\binom{m}{3})}}{2 (m - s)}

$n_2 \approx \frac{ {{m}\choose{2}} + \sqrt{{{m}\choose{2}}^2- 4 (m-s){{m}\choose{3}} } }{2(m-s)}$

Yani $m=100$ aralarında olan yabancılar $s=91$ Yaklaşımı kullanarak benzersiz doğum günleri $n_1 \approx 550$ ve $n_2 \approx 515.1215$ . Denklemi sayısal olarak çözdüğünüzde, $n=516.82$ hangi biz yuvarlanır $n=516$ MLE almak için.

— Sextus Empiricus
kaynak