Neden 8 rastgele bit üretiliyor (0, 255)?

8 rastgele bit (ya da 0 veya 1) üretiyorum ve bunları 8 bitlik bir sayı oluşturmak üzere bir araya getiriyorum. Basit bir Python simülasyonu, ayrık küme üzerinde eşit bir dağılım verir [0, 255].

Bunun neden kafamda anlamlı olduğunu haklı çıkarmaya çalışıyorum. Bunu 8 jeton çevirerek karşılaştırırsam, beklenen değer 4 kafa / 4 kuyruk civarında bir yerde olmaz mıydı? Bu yüzden, benim sonuçlarımın, aralığın ortasındaki bir yükselişi yansıtması gerektiği mantıklı geliyor. Başka bir deyişle, neden 8 sıfır veya 8 olan bir dizi neden 4 ve 4 veya 5 ve 3, vb. Gibi eşit bir olasılıkla eşit gibi görünüyor? Burada ne özlüyorum?

TL; DR: Bitler ve madeni paralar arasındaki keskin kontrast, madeni paralar durumunda , sonuçların sırasını görmezden gelmenizdir . HHHHTTTT, TTTTHHHH ile aynı şekilde işlem görür (her ikisi de 4 baş ve 4 kuyruktan oluşur). Ancak bitlerde sırayı önemsiyorsunuz (çünkü 256 sonuç elde etmek için bit konumlarına "ağırlıklar" vermek zorundasınız), yani 11110000 00001111'den farklıdır.

Daha uzun açıklama: Sorunun çerçevelenmesinde biraz daha resmi olursak, bu kavramlar daha kesin olarak birleştirilebilir. Bir denemenin iki sonucu olan ve "başarı" 0.5 ve "başarısızlık" 0.5 olasılıkları olan iki sonuçlu bir dizi olarak düşünün ve denemeler bağımsızdır. Genel olarak, ben bu arayacağım başarılar, toplam denemeler ve arızaları ve başarı olasılığıdır .n n - k $k$$n$$n-k$$p$

• Madeni para örneğinde, sonuç " kafaları, kuyrukları" sonucu, çalışmaların sırasını dikkate almaz (4 kafa, oluşma sırasına bakılmaksızın 4 kafadır) ve bu, 4 başın 0 veya daha yüksek olduğunu gözlemlemenizi sağlar. 8 kafa. Dört kafa daha yaygındır, çünkü dört kafa yapmanın birçok yolu vardır (TTHHTTHH veya HHTTHHTT, vb.) Diğer bazı numaralardan (8 kafa sadece bir sıraya sahiptir) olduğundan daha fazladır. Binom teoremi, bu farklı konfigürasyonları yapmanın yollarını verir.n - $k$$n-k$

• Aksine, sıralar bitler için önemlidir, çünkü her yer bir "ağırlık" veya "yer değeri" ile ilişkilidir. Binom katsayısının bir özelliği de , yani tüm farklı sıralı dizileri sayarsak, . Bu , binom denemelerinde kafaları yapmanın kaç farklı yolu olduğu fikrini farklı byte dizilerinin sayısına bağlar .$2^n=\sum_{k=0}^n\binom{n}{k}$k $2^8=256$$k$$n$

• Ek olarak, 256 sonucun bağımsızlık özelliği tarafından eşit derecede muhtemel olduğunu gösterebiliriz. Önceki denemeler bir sonraki denemede herhangi bir etkiye sahip değildir, bu nedenle belirli bir siparişin olasılığı genel olarak (çünkü bağımsız olayların müşterek olasılığı olasılıklarının ürünüdür). Denemeler adil olduğundan, , bu ifade indirgenir. . Tüm siparişler aynı olasılığa sahip olduğundan, bu sonuçlar üzerinde tek tip bir dağılıma sahibiz (ki bu ikili kodlama ile de tamsayılar olarak gösterilebilir ). P ( başarı ) = P ( başarısız ) = p = 0.5 P ( herhangi bir sıralama ) = 0.5 8 = $p^k(1-p)^{n-k}$$P(\text{success})=P(\text{fail})=p=0.5$ [0,255$P(\text{any ordering})=0.5^8=\frac{1}{256}$$[0,255]$

• Son olarak, bu tam daireyi tekrar bozuk para atma ve binom dağılımına geri alabiliriz. 0 kafa oluşumunun 4 kafa ile aynı olasılığa sahip olmadığını biliyoruz ve bunun nedeni, 4 kafa oluşumunu sıralamanın farklı yolları olduğu ve bu sıraların sayısının binom teoremi tarafından verildiğidir. Bu yüzden şekilde ağırlıklandırılmalı, özellikle de binom katsayısı ile ağırlıklandırılmalıdır. Yani bu bize binom dağılımının PMF'sini verir, . Bu ifadenin bir PMF olması şaşırtıcı olabilir, özellikle de 1'e tekabül ettiği hemen belli olmadığı için, belki de bunu kontrol etmek zorundayız.P ( k  başarı ) = ($P(\text{4 heads})$∑ n k = 0 ($P(k \text{ successes})=\binom{n}{k}p^k(1-p)^{n-k}$1=1n=(p+1-p)n=∑ n k = 0 ($\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}=1$, ancak bu sadece binom katsayıları sorunudur: .$1=1^n=(p+1-p)^n=\sum_{k=0}^n \binom{n}{k}p^k(1-p)^{n-k}$

neden 8 sıfır veya 8 olan bir sekans 4 ve 4 veya 5 ve 3 gibi bir sekans kadar muhtemel görünüyor

Ortaya çıkan paradoks, çelişkili görünebilecek iki önermeyle özetlenebilir:

1. dizisi (sekiz sıfır), dizisi (dört sıfır, dört tane ) olarak eşit şekilde . (Genel olarak: dizinin tümü , kaç tane sıfır / sıfır olduğuna bakılmaksızın aynı olasılığa sahiptir.)s 2 : 01010101 2 $s_1: 00000000$$s_2: 01010101$$2^8$

2. " : dizinin dört sıfıra sahip olması " olayı, " : dizinin sekiz sıfıra sahip olması " olayından daha muhtemeldir (aslında, kat daha muhtemeldir) . 70 e $e_1$$70$$e_2$

Bu önerilerin her ikisi de doğrudur. Çünkü olayı birçok sekans içeriyor.$e_1$

dizilerinin tümü = aynı olasılığa sahiptir . Sorunun yorumlanmasında eşit sayıda 0 ve 1'e daha yakın olan dizilerin daha muhtemel olduğunu düşünmek yanlıştır. Denemeden yargılamaya bağımsızlık yaptığımız için 1/256'ya ulaştığımız açık olmalıdır . Bu nedenle olasılıkları çoğalttık ve bir denemenin sonucunun bir sonraki üzerinde etkisi yoktur.2 $2^8$$2^8$

3 bit ile ÖRNEK (genellikle bir örnek daha açıklayıcıdır)

0 ile 7 arasındaki doğal sayıları şöyle yazacağım:

• 10 tabanındaki sayı
• Taban 2'deki bir sayı (yani bir bit dizisi)
• Temel 2 temsili ile ima edilen bir dizi bozuk para basılır (1, bir kafa çevirir ve 0, bir yazı çevirir anlamına gelir).

0 ila 7 arasında doğal bir sayı seçmek için eşit olasılık, sağda bulunan jeton çevirme serisinden birini eşit olasılıkla seçmekle eşdeğerdir.

Bu nedenle, 0-7 tamsayıları arasındaki eşit dağılımdan bir sayı seçerseniz, 3 kafa seçme şansınız, 2 kafa seçme şansınız, 1 kafa seçme şansı ve 0 kafa seçme şansı.$\frac{1}{8}$$\frac{3}{8}$$\frac{3}{8}$$\frac{1}{8}$

Sycorax'ın cevabı doğrudur, ancak neden hakkında tam olarak net değilsiniz gibi görünüyor. 8 jeton çevirdiğinizde veya hesaba katarak 8 rastgele bit oluşturduğunuzda, sonucunuz 256 eşit olasılıktan biri olacak. Sizin durumunuzda, bu 256 olası sonucun her biri benzersiz bir tamsayıya eşlenir, böylece sonuç olarak tek biçimli bir dağılım elde edersiniz.

Kaç tane baş veya tura sahip olduğunuzu göz önünde bulundurmak gibi, dikkate almazsanız, sadece 9 olası sonuç vardır (0 Heads / 8 Tails - 8 Heads / 0 Tails) ve artık eşit derecede muhtemel değildir . Bunun nedeni, 256 olası sonuçtan, size 8 Başlık / 0 Kuyruk (HHHHHHHH) veren 1 çevirme kombinasyonu ve 7 Kafa / 1 Kuyruk (8 pozisyonun her birinde Kuyruk sipariş), ancak 8C4 = 4 Kafa ve 4 Kuyruk olması için 70 yol. Bozuk para çevirme durumunda bu 70 kombinasyonun her biri 4 Baş / 4 Kuyruk ile eşleşir, ancak ikili sayı probleminde bu 70 sonucun her biri benzersiz bir tam sayıya eşlenir.

Yeniden ifade edilen problem şudur: Neden 8 rastgele ikili hanenin kombinasyonları, 8 rastgele ikili hanenin permütasyon sayısından farklı bir zamanda, seçilen 8 ila 8 rakam (örneğin 1'ler) olarak alınır. Buradaki bağlamda, 0'ların ve 1'lerin rastgele seçilmesi, her bir basamağın diğerlerinden bağımsız olduğu anlamına gelir, böylece rakamlar birbiriyle ilişkilendirilmez ve ; .$p(0)=p(1)=\frac{1}{2}$

Cevap: İki farklı kodlama vardır; 1) permütasyonların kayıpsız kodlaması ve 2) kombinasyonların kayıplı kodlaması.

Reklam 1) Kayıpsız sayıları kodlamak için, her sekansın benzersiz olmasını , bu sayının bir tamsayı olduğunu görebiliriz , burada kaldı sağa , rasgele 0 ve 1'lerin ikili dizisindeki basamakları. Bu, her rasgele basamak daha sonra konumsal olarak kodlandığından her permütasyonu benzersiz kılar. Ve toplam permütasyon sayısı$\sum_{i=1}^82^{i-1}{X_i}$${X_i}$$i^{th}$$2^8=256$. Daha sonra, rastlantısal olarak bu ikili sayıları, tek bir kayıpsızlık olmadan 0 ila 255 arasındaki 10 sayı tabanına çevirebilir veya bu konuda bir başka kayıpsız kodlama (örneğin kayıpsız sıkıştırılmış veri, Hex, Octal) kullanarak bu sayıyı yeniden yazabilir. Ancak sorunun kendisi ikilidir. Her permütasyon eşit derecede muhtemeldir, çünkü daha sonra her bir benzersiz kodlama sekansının oluşturulabilmesinin sadece bir yolu vardır ve 1 veya 0 görünüşünün o dizinin içinde herhangi bir yerde eşit derecede muhtemel olduğunu varsaydık , öyle ki her permütasyon eşit derecede muhtemeldir.

Reklam 2) Kayıpsız kodlama yalnızca kombinasyonlar dikkate alınarak terk edildiğinde, sonuçların birleştirildiği ve bilgilerin kaybolduğu bir kayıp kodlamamız olur. Daha sonra sayı dizisini görüntülüyoruz, 1 sayısı olarak wlog; da azaltır, , 8 nesnelerin kombinasyonlarının sayısı alınmış o zaman ve bu farklı problem için, tam olarak 4 1'in olasılığı, 8 1'i elde etmekten 70 ( ) kat daha büyüktür, çünkü eşit derecede muhtemel 70 4 1 üretebilen permütasyonlar. C ( 8 , Σ 8 i = 1 x i ) Σ 8 i = 1 x i Cı- ( 8 , 4 $\sum_{i=1}^82^{0}{X_i}$$C(8,\sum_{i=1}^8{X_i})$$\sum_{i=1}^8{X_i}$$C(8,4)$

Not: Şu anda, yukarıdaki cevap, iki kodlamanın açık bir hesaplama karşılaştırmasını içeren tek cevap ve kodlama kavramından bile söz eden tek cevaptır. Bunu düzeltmek biraz zaman aldı, bu yüzden bu cevap tarihsel olarak reddedildi. Herhangi bir olağanüstü şikayet varsa, bir yorum bırakın.

Güncelleme: Son güncellemeden bu yana, kodlama kavramının diğer cevaplarda yakalanmaya başladığını görmekten memnunum. Bunu şu anki sorun için açıkça göstermek için, her kombinasyonda kodlanmış kayıplı permütasyon sayısını ekledim.

Not Her kombinasyon kodlama sırasında kaybedilen bilgi bayt sayısı kombinasyon eksi bir permutasyon sayısına denktir [yani , burada 1 's sayısıdır] Bu sorun için, yani, den ile , kombinezon başına veya genel., n 0 69 256 - 9 = $C(8,n)-1$$n$$0$$69$$256-9=247$

Bağımsızlık ve düzen bağımlılığı fikrini biraz genişletmek istiyorum.

8 jeton sayısının düşmesi beklenen kafa sayısının hesaplanması probleminde, her biri Bernoulli dağılımı olan 8 adet aynı dağılımın değerlerini topluyoruz [; B(1, 0.5) ;](başka bir deyişle,% 50 şans,% 50 şans 1). Toplamın dağılımı [; B(8, 0.5) ;], olasılıkların çoğunun 4 civarında merkezlendiği bilinen kambur şekline sahip olan binom dağılımıdır .

8 rastgele bitten oluşan bir baytın beklenen değerinin hesaplanması probleminde, her bitin bayt için katkısı olan farklı bir değeri vardır, bu yüzden değerleri 8 farklı dağılımdan topladık. Birincisi [; B(1, 0.5) ;], ikincisi, [; 2 B(1, 0.5) ;]üçüncüsü [; 4 B(1, 0.5) ;], yani sekizinci kadar [; 128 B(1, 0.5) ;]. Bu miktarın dağılımı, ilkinden anlaşılabilir bir şekilde oldukça farklıdır.

Eğer bu ikinci dağılımın homojen olduğunu kanıtlamak isteseydiniz, indüktif olarak yapabileceğinizi düşünüyorum - en düşük bitin dağılımı, varsayımla 1 aralığında eşit, bu nedenle en düşük [; n ;]bitlerin dağılımının, bir dizi ile üniforma [; 2^n - 1} ;]sonra ek [; n+1 ;]st bit düşük dağılımını yapar [; n + 1 ;]bir dizi bit üniforma [; 2^{n+1} - 1 ;]tüm olumlu bir kanıt elde,[; n ;]. Ancak sezgisel yol muhtemelen tam tersi. Yüksek bitten başlayıp düşük bite kadar bir anda birer birer değerler seçerseniz, her bir bit olası sonuçların alanını tam olarak ikiye böler ve her bir yarı eşit olasılıkla seçilir. altta, her bir bireysel değer, seçilmek için aynı olasılığa sahip olmalıdır.

Her biti karşılaştıran bir ikili arama yaparsanız, her bir 8 bitlik sayı için 0000 0000 ile 1111 1111 arasında aynı sayıda adıma ihtiyacınız vardır, her ikisi de 8 bit uzunluğundadır. İkili aramadaki her adımda her iki tarafın 50/50 olma şansı vardır, bu nedenle sonuçta, her sayı aynı derinliğe ve aynı olasılıklara sahiptir, herhangi bir gerçek seçim olmaksızın, her sayı aynı ağırlığa sahip olmalıdır. Bu nedenle, her bir bit, bozuk para sayıları ile belirlense bile, dağılım eşit olmalıdır.

Ancak, sayıların rakamları tekdüze değildir ve 8 jeton atarak dağılıma eşit olacaktır.

Sekiz tane sıfır olan sadece bir dizi var. Dört sıfır ve dört tane olan yetmiş dizi var.

Bu nedenle, 0'ın% 0.39 ve 15'in de olasılığı% 0.39, diğerlerinin ise% 0.39 olasılığını da eklerseniz,% 0.39 ve% 23 olasılıkları vardır. % 27,3 elde edersiniz, bu 4 olana sahip olma olasılığıdır. Her bir dört ve dört sonucun olasılığı, bunun çalışması için% 0.39'dan daha yüksek olmak zorunda değildir.

Zar düşünün

Düzensiz dağılımın yaygın bir örneği olan birkaç zar atmayı düşünün. Matematik uğruna, zar geleneksel 1 ila 6 yerine 0 ile 5 arasında bir rakam olduğunu düşünün . {5, 0}, {0, 5}, {4, 1} vb. aynı toplamı , hepsi 5 oluşturur.

Ancak, zar rulosunu taban 6'da 2 basamaklı rasgele bir sayı olarak yorumlayacak olsaydınız, olası her zar kombinasyonu benzersizdir. {5, 0} 50 (ana 6) olacaktır; bu 5 * ( ) + 0 * ( ) = 30 (ana 10) olacaktır. {0, 5}, 5 (baz 6) olacaktır; bu, 5 * ( ) = 5 (baz 10) olacaktır. Gördüğünüz gibi, her zarın iki zarının toplamı için 6 tabanına sayı olarak yorumlanan 1 ila 1 olası zar rulosunun eşleştirilmesi vardır.6 0 6 $6^1$$6^0$$6^0$

Hem @Sycorax hem de @ Blacksteel'in işaret ettiği gibi, bu fark gerçekten de sipariş sorununa bağlı.

Seçtiğiniz her bit birbirinden bağımsızdır. İlk bit için düşünürseniz, bir

• % 50 olasılık olacak 1

ve

• % 50 olasılık 0 olacak.

Bu aynı zamanda ikinci bit, üçüncü bit vb. İçin de geçerlidir, böylece bitin her bir bit birleşimi için bitirdiniz = bu eşsiz 8 bit tamsayının oluşma şansı.$(\frac{1}{2})^8$$\frac{1}{256}$