Solucan ve Apple Beklenen Değer

Bir elma, pentagonunun köşesinde bulunur ve bir solucan, iki köşe uzakta bulunur . Solucan her gün iki bitişik köşeden birine eşit olasılıkla sürünür. Böylece bir günden sonra solucan , her biri oranında olan veya tepe noktasındadır . İki gün sonra, solucan tekrar olabilir , çünkü önceki pozisyonların hafızası yoktur. köşesine ulaştığında yemek yemeyi bırakır.$A$$ABCDE$$C$$B$$D$$1/2$$C$$A$

(a) Akşam yemeğine kadar geçen günlerin ortalaması nedir?

(b) p, gün sayısının veya daha fazla olması olasılığı olsun . Markov Eşitsizliği hakkında ne diyor ?$100$$p$

(A) için , akşam yemeğine kadar geçen gün sayısı ile tanımlanan rastgele değişken olsun. Böylece P (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Genel dağılım ne olurdu?

(B) için, (a) ' yı biliyorsanız,

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Glen_b'in mükemmel cevabında , basit bir doğrusal denklem sistemi kullanarak beklenen değeri analitik olarak hesaplayabileceğinizi gösterir. Bu analitik yöntemi izleyerek, elmaya beklenen hamle sayısının altı olduğunu belirleyebilirsiniz. Whuber'ın bir başka mükemmel yanıtı, herhangi bir sayıda hareketten sonra işlem için olasılık kütle fonksiyonunun nasıl türetileceğini gösterir ve bu yöntem, beklenen değer için analitik bir çözüm elde etmek için de kullanılabilir. Bu sorun hakkında daha fazla bilgi edinmek isterseniz, dairesel rastgele yürüyüşler hakkında bazı makaleler okumalısınız (bkz. Örneğin Stephens 1963 )

Sorunun alternatif bir görünümünü vermek için, sadece istatistiksel hesaplamayı kullanarak Markov zincirini hesaplamak için kaba kuvvet yöntemini kullanarak nasıl aynı sonucu elde edebileceğinizi göstereceğim. Bu yöntem birçok açıdan analitik incelemeden daha düşüktür, ancak herhangi bir önemli matematiksel kavrayış gerektirmeden problemle başa çıkabilmeniz avantajına sahiptir.

---

Kaba kuvvet hesaplama yöntemi: Markov zinciri geçişlerinizi sırasına göre aşağıdaki geçiş matrisine göre almak:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

İlk durum, solucanın elmanın olduğu emici durumu . Solucan elmadan durumuna gelene kadar hamle sayısı olsun . Sonra tüm için, bu hamle sayısından sonra solucanın olma olasılığı ve dolayısıyla bu durumdan elmaya ulaşmak için beklenen hamle sayısı:$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

Toplamdaki terimler büyük için katlanarak azalır, böylece toplamı sınırlı sayıda terimle kısaltarak beklenen değeri istenen herhangi bir doğruluk seviyesinde hesaplayabiliriz. (Terimlerin üstel bozulması, kaldırılan terimlerin boyutunu istenen seviyenin altında olacak şekilde sınırlayabilmemizi sağlar.) Uygulamada, kalan terimlerin boyutu son derece küçük olana kadar çok sayıda terim almak kolaydır.$n$

---

Bunu R'de programlama: Bunu Raşağıdaki kodu kullanarak bir işlev olarak programlayabilirsiniz . Bu kod, sonlu bir hamle dizisi için geçiş matrisinin bir dizi kuvvetini üretecek şekilde vektörleştirilmiştir. Ayrıca elmanın ulaşılma olasılığının bir grafiğini üretiyoruz, bu da katlanarak azaldığını gösteriyor.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Bu hesaplamadan görebileceğiniz gibi, elmaya ulaşmak için beklenen hamle sayısı altıdır. Bu hesaplama, Markov zinciri için yukarıdaki vektörleştirilmiş kod kullanılarak son derece hızlıydı.

Sadece tüm Markov zinciri rutininden geçmeden (a) kısmına bakmanın basit bir yolunu göstermek istiyorum. Endişelenmeniz gereken iki devlet sınıfı vardır: bir adım uzakta olmak ve iki adım uzakta olmak (C ve D, A'ya ulaşana kadar beklenen adımlar bakımından aynıdır ve B ve E aynıdır). " ", köşesinden vb. Atılan adım sayısını temsil edelim .$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Benzer şekilde beklentisi için bir denklem .$E(S_B)$

İlk (ve için kolaylık yazma içine ikincisini değiştirin için ) ve için bir çözüm olsun hatlarının birkaç.$c$$E(S_C)$$c$

Sorun

Bu Markov zincirinin, solucanın veya boşluk uzakta olup olmadığıyla ayırt edilen üç durumu vardır , solucanın durumundan ulaşmak için kaç adım veren rastgele değişken olsun. Onların olasılık üreten fonksiyonlar bu değişkenlerin olasılıkları kodlamak için uygun bir cebirsel yoldur. Yakınsama gibi analitik konular hakkında endişelenmenize gerek yoktur: bunları tarafından verilen bir sembolle biçimsel kuvvet serileri olarak görün$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Yana önemsiz Biz bulmalıyız$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Analiz ve çözüm

durumdan , solucan, / duruma geri dönme veya ulaşma gibi eşit şansa sahiptir . Bu bir adım atmış muhasebeleştirilmesi ekler tüm güçlere , eşit tarafından PGF çarparak karşı veren$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

Benzer şekilde, devletten solucan durumda kalma eşit şansa sahiptir veya devlet ulaşan nereden$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

Görünümü değişken tanıtarak çalışmalarımız kolaylaştırdı edileceğini ileri sürdü vererek$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

İkinci içine ikame edilerek ve hatırlama verir$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

benzersiz çözümü olan

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

Denklemi temel basitliğini ve yalnızca beklenen değerleri analiz ederek elde edebileceğimiz denkleme resmi benzerliğini vurgulamak için vurguladım aslında, bu bir sayıyı bulmak için gereken aynı miktarda çalışma için, tüm dağılımı elde ederiz .$(*)$$E[X_i]:$

Çıkarımlar ve basitleştirme

Eşdeğer olarak, dönem başı yazıldığında ve güçleri eşleştiğinde$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Bu ünlü Fibonacci sayı dizisinin tekrarlaması

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

( indekslenmiştir ). Çözüm eşleşmesi , bu dizinin iki basamakla kaydırılmasıdır (çünkü veya olasılığı yoktur ve ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

sonuç olarak

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Daha spesifik olarak,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

beklentisi, türevi değerlendirilerek ve ikame edilerek kolayca bulunabilir çünkü ( teriminin güçlerini terime göre farklılaştırmak ) bu formül verir$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

değerleri olasılıkları kez toplamı olarak, hangi tam olarak tanımlama ve kullanarak türev almak, beklenti için basit bir formül üretir.$X_2,$$E[X_2].$$(**)$

---

Bazı kısa yorumlar

Kısmi kesirler olarak genişletilerek , iki geometrik serinin toplamı olarak yazılabilir. Bu hemen olasılıklarının katlanarak azalacağını gösterir. Ayrıca kuyruk olasılıkları için kapalı bir form verir Bunu kullanarak dan biraz daha az olduğunu hızlı bir şekilde hesaplayabiliriz$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Son olarak, bu formüller Altın Oran Bu sayı, düzenli bir beşgenin (birim tarafındaki) bir akor uzunluğudur ve beşgen üzerindeki tamamen kombinatoryal bir Markov zinciri (Öklid geometrisi hakkında hiçbir şey "bilmez") ve düzenli bir beşgenin geometrisi arasında çarpıcı bir bağlantı sağlar. Öklid düzlemi.$\phi = (1 + \sqrt{5})/2.$

Akşam yemeğine kadar geçen ortalama gün sayısı için, ilk gün atılan adımın durumu. Solucan elmayı alana kadar gün sayısı olsun . İlk adım olsun .$X$$F$

Sonra elimizde

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

İlk adım solucan elmayı 2. günde yarı yarıya olasılıkla alır ya da yarı yarıya olasılıkla köşe geri döner ve yeniden başlar. Bunu şöyle yazabiliriz$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

İlk adım simetri ile bu, solucanın tek bir adım atması dışında, köşe olmakla aynıdır.$D,$$C$

$$E[X|F=D]=1+E[X]$$

Hepsini bir araya getirirsek,

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

verimleri için çözme$E[X]$

$$E[X] = 6$$