Sahte tekdüze rasgele sayılar: Gerçek tekdüze verilerden daha eşit dağıtılmış

Tek tip dağılmış gibi görünen rasgele sayılar üretmenin bir yolunu arıyorum - ve her test tek tip olduklarını gösterecek - gerçek tek tip verilerden daha eşit dağılmış olmaları dışında .

"Doğru" düzgün rastgele rastgele rastlamamdaki sorun, zaman zaman kümelenecek olmalarıdır. Bu etki, düşük bir örneklem boyutunda daha güçlüdür. Kabaca şöyle dedi: U [0; 1] 'de iki Düzgün rastgele rasgele çizdiğimde, olasılıklar% 0.1,% 1 ve% 1 aralığında olduklarını gösteriyor.

Bu yüzden tek tip rastgele rastgele daha eşit dağıtılmış rasgele sayılar oluşturmak için iyi bir yol arıyorum .

Örnek olay kullanın: bilgisayar oyunu yapıyorum ve hazineyi rasgele bir haritaya koymak istiyorum (başka bir şeyi umursamıyorum). Hazinenin tek bir yerde olmasını istemiyorum, haritanın her tarafında olmalı. Tekdüze rastgele, eğer 10 nesne yerleştirirsem, şanslar birbirine çok yakın ya da çok 5 olması kadar düşük değildir. Bu, bir oyuncuya diğerine göre avantaj sağlayabilir. Mayın Tarlası'nı düşünün, olasılıklar (düşük de olsa, mayın varsa) gerçekten şanslısınız ve tek bir tıklama ile kazanıyorsunuz.

Sorunum için çok saf bir yaklaşım, verileri bir ızgaraya bölmek. Sayı yeterince büyük (ve faktörlere sahip) olduğu sürece, bu şekilde ekstra tekdüzelik elde edilebilir. Böylece U [0; 1] 'den 12 rasgele değişken çizmek yerine, U [0; 5]' ten 6 ve U [0.5; 1] 'den 6 ya da U [0; 1/3] + 4'ten 6 çizebilirim U [1/3; 2/3] + 4'ten U [2/3; 1].

Bu ekstra düzgünsüzlüğü üniformaya sokmanın daha iyi bir yolu var mı? Muhtemelen sadece toplu rasgele işlemler için işe yarar (tek rasgele bir rasgele çizim yaparken, kesinlikle tüm aralığı dikkate almam gerekir). Özellikle, daha sonra kayıtları tekrar karıştırabilirim (bu yüzden ilk üçte bir ilk 4 değil).

Artımlı olarak yapmaya ne dersiniz? Yani, ilk önce U [0; 1], sonra her yarıdan iki, üçte biri, her dörtte biri mi? Bu araştırılmış ve ne kadar iyi? Bunları birbirleriyle ilişkilendirmemek için x ve y için farklı jeneratörler kullanmaya dikkat etmem gerekebilir (ilk xy her zaman alt yarıda, ikinci sol yarıda ve alt üçüncü, üçüncü üçüncü ve üçüncü üçüncü olur. .. en azından bazı rasgele çöp kutusu permütasyonuna da ihtiyaç var ve uzun vadede, çok bile olacak sanırım.

Bir yan düğüm olarak, bazı dağılımların gerçekte tek biçimli olamayacak kadar eşit dağılmış olup olmadığı iyi bilinen bir test var mı ? Bu yüzden "gerçek üniforma" ve "birisi verilerle uğraştığında ve öğeleri daha eşit bir şekilde dağıtırken" test edildi. Doğru hatırlıyorsam, Hopkins Statistic bunu ölçebilir, ancak test için de kullanılabilir mi? Ayrıca biraz ters KS-Testi: en büyük sapma beklenen bir eşiğin altındaysa, veriler çok düzgün dağıtılır mı?

Evet , rastgele üniformalardan daha eşit olarak dağıtılmış bir sayı dizisi üretmenin birçok yolu vardır . Aslında, bu soruya adanmış bütün bir alan var ; Yarı Monte Carlo'nun (QMC) bel kemiğidir . Aşağıda mutlak temelleri kısa bir tur.

Tekdüzelik ölçme

Bunu yapmanın birçok yolu vardır, ancak en yaygın olanı güçlü, sezgisel, geometrik bir tada sahiptir. Biz üretme ile ilgili olduğunu varsayalım noktaları x 1 , x 2 , ... , x , n de [ 0 , 1 ] d bazı pozitif bir tam sayı için d . tanımlayın burada , içindeki bir dikdörtgendir .$n$$x_1,x_2,\ldots,x_n$$[0,1]^d$$d$R [ a 1 , b 1 ] × ⋯ × [ a d , b d ] [ 0 , 1 ]

$$\newcommand{\I}{\mathbf 1} D_n := \sup_{R \in \mathcal R}\,\left|\frac{1}{n}\sum_{i=1}^n \I_{(x_i \in R)} - \mathrm{vol}(R)\right| \>,$$ $R$$[a_1, b_1] \times \cdots \times [a_d, b_d]$$[0,1]^d$R R R v a l ( R ) = ∏ i ( b i - a i$0 \leq a_i \leq b_i \leq 1$ ve , tüm bu dikdörtgenlerin kümesidir. Modül içindeki ilk terim içindeki noktaların "gözlenen" oranıdır ve ikinci terim , .$\mathcal R$$R$$R$$\mathrm{vol}(R) = \prod_i (b_i - a_i)$

miktarına genellikle nokta kümesinin tutarsızlığı veya aşırı tutarsızlığı denir . Sezgisel olarak, noktaların oranının mükemmel bir tekdüzelik altında beklediğimizden en fazla saptığı “en kötü” dikdörtgeni buluyoruz . ( x i ) $D_n$$(x_i)$$R$

Bu pratikte hantal ve hesaplanması zor. Çoğunlukla, insanlar yıldız tutarsızlığıyla çalışmayı tercih eder , Tek fark, supremum'un alındığı set A'dır. Bu kümesidir bağlantılı (orijinde) dikdörtgenler, yani .A a 1 = a 2 = ⋯ = a d =

$$D_n^\star = \sup_{R \in \mathcal A} \,\left|\frac{1}{n}\sum_{i=1}^n \I_{(x_i \in R)} - \mathrm{vol}(R)\right| \>.$$ $\mathcal A$$a_1 = a_2 = \cdots = a_d = 0$

Lemma : tümü , . Kanıt . Sol el, beri açıktır . Sağdaki sınır takip eder çünkü her , den daha fazla sabitlenmemiş dikdörtgenden sendikalar, kavşaklar ve tamamlayıcılar ile oluşturulabilir (yani, ). n d A ⊂ R R ∈ R 2 d $D_n^\star \leq D_n \leq 2^d D_n^\star$$n$$d$
$\mathcal A \subset \mathcal R$$R \in \mathcal R$$2^d$$\mathcal A$

Dolayısıyla, ve , büyüdükçe küçük olursa , diğerinin de olacağı anlamında eşdeğer olduğunu . İşte her tutarsızlık için aday dikdörtgenleri gösteren bir (çizgi film) resim.D ⋆ n$D_n$$D_n^\star$$n$

"İyi" dizi örnekleri

Doğrulanabilir şekilde düşük yıldız tutarsızlığı olan genellikle şaşırtıcı olmayan bir şekilde düşük tutarsızlık sekansları olarak adlandırılır .$D_n^\star$

van der Corput . Bu belki de en basit örnek. İçin , Corput dizileri der Van tamsayı genişletme ile oluşturulur ondalık noktası etrafında "basamak yansıtan" ikili olarak ve daha sonra. Daha resmi olarak, bu tabanındaki kök ters fonksiyonla yapılır , burada ve bir baz ile basamak olan genişlemesi . Bu fonksiyon diğer birçok sekans için de temel oluşturur. Örneğin, ikili olduğunu ve böylecei b ϕ b ( i ) = ∞ ∑ k = 0 a k b - k - $d=1$$i$$b$

$$\newcommand{\rinv}{\phi} \rinv_b(i) = \sum_{k=0}^\infty a_k b^{-k-1} \>,$$ $i = \sum_{k=0}^\infty a_k b^k$$a_k$$b$$i$$41$$101001$$a_0 = 1$ , , , , ve . Dolayısıyla, van der Corput dizisindeki 41. nokta x_ .$a_1 = 0$$a_2 = 0$$a_3 = 1$$a_4 = 0$$a_5 = 1$$x_{41} = \rinv_2(41) = 0.100101\,\text{(base 2)} = 37/64$

Not en önemsiz bit çünkü arasında gidip ve , puan tek için olan noktası ise, bile olan .$i$$0$$1$$x_i$$i$$[1/2,1)$$x_i$$i$$(0,1/2)$

Halton dizileri . Klasik düşük tutarsızlık dizilerinin en popülerleri arasında, bunlar van der Corput dizisinin birden fazla boyuta uzatılmasıdır. Let olmak en küçük asal inci. Daha sonra, inci noktası arasında boyutlu Halton sekansı olan Düşük bunlar oldukça iyi çalışır, ancak daha yüksek boyutlarda problemler vardır .$p_j$$j$$i$$x_i$$d$

$$x_i = (\rinv_{p_1}(i), \rinv_{p_2}(i),\ldots,\rinv_{p_d}(i)) \>.$$ $d$

Halton sekansları karşılar . Onlar da güzeldir çünkü noktaların yapısının, dizisinin uzunluğunun priori bir seçimine bağlı olmaması nedeniyle genişletilebilirler .$D_n^\star = O(n^{-1} (\log n)^d)$$n$

Hammersley dizileri . Bu, Halton dizisinin çok basit bir modifikasyonudur. Bunun yerine Belki de şaşırtıcı şekilde, avantajı, daha iyi bir yıldız tutarsızlığına sahip olmalarıdır .

$$x_i = (i/n, \rinv_{p_1}(i), \rinv_{p_2}(i),\ldots,\rinv_{p_{d-1}}(i)) \>.$$ $D_n^\star = O(n^{-1}(\log n)^{d-1})$

İki boyutlu Halton ve Hammersley dizilerinin bir örneği.

Faure-permated Halton dizileri . Halton sekansı üretilirken, her bir için basamak genişlemesine özel bir permütasyon seti ( bir fonksiyonu olarak sabitlenir ) uygulanabilir . Bu, daha yüksek boyutlarda ortaya çıkan sorunların giderilmesine (bir dereceye kadar) yardımcı olur. Permütasyonların her biri ve sabit puan olarak tutma özelliğine sahiptir .$i$$a_k$$i$$0$$b-1$

Kafes kurallar . Let olmak tamsayılar. Al burada kesirli kısmını ifade eder . değerlerinin makul seçimi iyi tekdüzelik özellikler sağlar. Kötü seçimler kötü dizilere yol açabilir. Ayrıca genişletilemezler. İşte iki örnek.$\beta_1, \ldots, \beta_{d-1}$

$$x_i = (i/n, \{i \beta_1 / n\}, \ldots, \{i \beta_{d-1}/n\}) \>,$$ $\{y\}$$y$$\beta$

$(t,m,s)$ ağlar . tabanındaki ağlar , içindeki ses seviyesinin her dikdörtgeninin noktaları içerdiği nokta kümeleridir . Bu güçlü bir tek biçimlilik şeklidir. Küçük bu durumda, senin arkadaşın. Halton, Sobol 've Faure dizileri ağlarına örnektir . Bunlar, karışma yoluyla rastgele bir şekilde kendilerini ödünç veriyorlar. Bir ağın rasgele karıştırılması (doğru yapılması) başka bir ağ oluşturur. MinT projesi böyle dizilerin bir koleksiyon tutar.$(t,m,s)$$b$$b^{t-m}$$[0,1]^s$$b^t$$t$$(t,m,s)$$(t,m,s)$$(t,m,s)$

Basit randomizasyon: Cranley-Patterson rotasyonları . Let noktaları dizisi olabilir. Let . Ardından noktaları eşit olarak dağıtılır .$x_i \in [0,1]^d$$U \sim \mathcal U(0,1)$$\hat x_i = \{x_i + U\}$$[0,1]^d$

İşte mavi noktaların orijinal noktalar ve kırmızı noktaların döndürülen noktaların birbirine bağlanan çizgilerle (ve uygunsa sarılarak gösterilmiştir) olduğu bir örnek.

Tamamen tekdüze dağılımlı dizileri . Bu, bazen devreye giren, daha güçlü bir homojenlik kavramıdır. , deki noktaların sırası olsun ve şimdi diziyi elde etmek için boyutunda çakışan bloklar oluşturur . Yani, eğer , aldığımız sonra vb Eğer için her , , ardından tamamen üniform bir şekilde dağılmış olduğu söylenir . Başka bir deyişle, dizi, herhangi bir puan kümesini verir$(u_i)$$[0,1]$$d$$(x_i)$$s = 3$$x_1 = (u_1,u_2,u_3)$$x_2 = (u_2,u_3,u_4)$ $s \geq 1$$D_n^\star(x_1,\ldots,x_n) \to 0$$(u_i)$İstenilen özelliklerine sahip boyut .$D_n^\star$

Örnek olarak, van der Corput dizisi tamamen eşit dağılmamıştır çünkü , noktaları karesinde ve puanlarındadır. , . Bu nedenle kare bir nokta vardır ima için , tüm .$s = 2$$x_{2i}$$(0,1/2) \times [1/2,1)$$x_{2i-1}$$[1/2,1) \times (0,1/2)$$(0,1/2) \times (0,1/2)$$s=2$$D_n^\star \geq 1/4$$n$

Standart referanslar

Niederreiter (1992) monografi ve Dişi ve Wang (1994) metin ayrıntılı keşif gitmek yerlerdir.

Bunu yapmanın bir yolu, tek tip rastgele sayılar üretmek, daha sonra istediğiniz herhangi bir yöntemi kullanarak "yakınlığı" test etmek ve daha sonra başkalarına çok yakın olan rastgele öğeleri silmek ve bunlar için telafi etmek üzere başka bir rastgele üniforma grubu seçmek olacaktır.

Böyle bir dağılım her bir eşitlik testini geçebilir mi? Umarım olmaz! Artık düzgün bir şekilde dağılmıyor, şimdi başka bir dağıtım.

Olasılığın sezgisel olmayan bir yönü, şansın topaklı olmasıdır. Rasgele verilerde, insanların olacağını düşündüğünden daha fazla işlem var. Tversky'nin bu konuda biraz araştırma yaptığını düşünüyorum (çok fazla araştırdı, ama hatırlaması zor).

Bu "sert çekirdekli" bir poisson noktası işlemi olarak bilinir - 1970'lerde Brian Ripley tarafından; yani, rastgele olmasını istersiniz, ancak herhangi bir noktanın birbirine çok yakın olmasını istemezsiniz. "Sert çekirdekli", diğer noktaların girmeyeceği bir tampon bölge olarak düşünülebilir.

Bir şehirdeki bazı otomobillerin konumunu kaydettiğinizi düşünün - ancak noktayı yalnızca otomobilin nominal merkezinde kaydettiğinizden. Sokaklardayken iki nokta çifti birbirine yaklaşamaz, çünkü noktalar üstyapının "sert çekirdeği" tarafından korunur - çok katlı otoparklardaki potansiyel süper konumu görmezden geleceğiz :-)

Bu tür nokta işlemlerini üretme prosedürleri vardır - bunun tek yolu sadece eşit puan üretmek ve sonra birbirine çok yakın olanları kaldırmaktır!

Böyle süreçler üzerinde bazı ayrıntı için örneğin bakınız bu

Önceden toplu üretim ile ilgili olarak, çok sayıda sözderandom değişkeni kümesi üreteceğim ve sonra bunları Kolmogorov-Smirnov testi gibi bir testle test edeceğim. En yüksek p değerine sahip olan seti seçmek isteyeceksiniz (yani, idealdir). Bunun yavaş olacağını unutmayın, ancak büyüdükçe muhtemelen daha az gerekli hale gelir. $p \approx 1$$N$

Artımlı üretime gelince, aslında orta derecede negatif bir otokorelasyonu olan bir dizi arıyorsunuz. Bunu yapmanın en iyi yolunun ne olduğundan emin değilim, çünkü zaman serilerinde çok sınırlı bir deneyime sahibim, ancak bunun için mevcut algoritmalar olduğundan şüpheleniyorum.

"Çok eşit" testiyle ilgili olarak, bir numunenin belirli bir dağılımı takip edip etmediğine dair herhangi bir test (yukarıda belirtilen KS gibi) yapacak, sadece yerine kontrol etmek isteyip istemediğinizi kontrol etmek isteyeceksiniz standart yaklaşım Bu alternatif yaklaşımın bir örneğini burada yazdım: Ki kare her zaman tek taraflı bir test . $p > (1-\alpha)$

Ben senin sorunun bu şekilde resmiyet olacaktır: Sen üzerinde dağılımını istiyorum böyle yoğunluk olduğunu bazı için noktaların itilmesini ölçmek için. f ( x ) ∝ e ( $[0,1]^n$ k<$f(x) \propto e^{\left(\frac1k\sum_{ij}\lvert x_i-x_j \rvert^{k}\right)^{\frac1k}}$$k<0$

Bu tür vektörleri üretmenin kolay bir yolu Gibbs örneklemesi yapmaktır.