İki rasgele birim vektörün skaler ürünlerinin boyutunda dağılımı

Eğer ve iki bağımsız rasgele birim vektörlerdir kendi sayısal ürün (nokta ürün) dağılımı ne (homojen bir birim küre üzerinde dağıtılmaktadır), ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Gibi tahmin hızlı bir şekilde dağılımı büyür (?), Sıfır ortalama ve daha yüksek boyutlarda azalan varyans normal olur ancak için açık bir formül yoktur ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Güncelleştirme

Bazı hızlı simülasyonlar yaptım. İlk olarak, için 10000 çift rasgele birim vektör $D=1000$ üretmek, nokta ürünlerinin dağılımının kusursuz bir Gauss olduğunu (aslında için zaten oldukça Gauss olduğunu) görmek kolaydır $D=100$ , soldaki alt kısma bakınız. İkincisi, 1 ila 10000 arasında değişen her $D$ için (artan adımlarla) 1000 çift oluşturdum ve varyansı hesapladım. Log-log arsa sağda gösterilmiştir ve formülün ile çok iyi bir şekilde yaklaştığı açıktır $1/D$ . Not Bunun için $D=1$ ve $D=2$ Bu formülü bile verir kesin sonuçlar (ama emin sonradan ne değilim).

rastgele birim vektörler arasındaki nokta ürünleri

mathematical-statistics linear-algebra beta-distribution

— amip Reinstate Monica diyor
kaynak

@KarlOskar: teşekkür ederim, bu bağlantı çok alakalı ve aslında sorumu neredeyse iki katına çıkarıyor , ama tam olarak değil. Bu yüzden , nokta ürünlerinin kümülatif bir dağılım fonksiyonu olan için açık bir formül vardır . Biri PDF'yi almak için bir türev alabilir ve daha sonra limitini çalışabilir . Bununla birlikte, formül beta fonksiyonları ve eksik beta fonksiyonları açısından verilmiştir, bu nedenle hesaplamalar kötü olabilir.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— amip diyor Reinstate Monica

@KarlOskar: içindeki birim alandaki düzgün dağılımdan . Bu dağılımdan rastgele bir vektör üretmek için, bir birim değişkeni olan bir Gaussian'dan rastgele bir vektör üretilebilir ve ardından normalleştirilebilir.

R^{D}

$\mathbb{R}^D$

— amip diyor Reinstate Monica

Yanıtlar:

( İyi bilindiği gibi ), birim alanı üzerinde düzgün bir dağılım elde edildiğinden, bir değişken normal dağılım normalleştirilerek elde edilir ve normalleştirilmiş vektörlerin nokta ürünü onların korelasyon katsayısıdır, üçe cevaplar sorular: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ , Beta dağılımına sahiptir. $((D-1)/2,(D-1)/2)$
Varyans eşittir (söz konusu iddia gibi). $t$ $1/D$
Bir standart dağılımı bir oranda normalliği yaklaşımlar $t$ $O\left(\frac{1}{D}\right).$

Yöntem

Tam birim vektörlerin iki nokta arasında dağılım kolayca geometrik elde edilir , bu birinci yönünde ikinci vektörün bileşenlerinden birisidir. İkinci vektör birinciden bağımsız olduğundan ve ünite küresi üzerinde düzgün bir şekilde dağıldığından, birinci yöndeki bileşeni kürenin herhangi bir koordinatıyla aynı şekilde dağıtılır. (İlk vektörün dağılımının önemli olmadığını unutmayın.)

Yoğunluğu Bulmak

Bu koordinatın son olmasına izin vererek, deki yoğunluk , birim küre üzerindeki ile arasındaki bir yükseklikte bulunan yüzey alanıyla orantılıdır . Bu oran yüksekliği bir kayış içinde meydana ve yarıçap esas olarak a, konik kesik koni bir takım inşa yarıçaplı yüksekliği ve eğim . Olasılık ile orantılı olduğu $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

İzin vermek gerektirir bir . Bunu bir önceki öğenin içine yerleştirmek, olasılık elemanına normalleştirici bir sabite kadar verir: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u α (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

O hemen bir bir Beta vardır dağılımı, yoğunluğu da orantılı olduğu için (tanımı gereği) $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} α f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Sınırlama Davranışını Belirleme

Sınırlama davranışı hakkındaki bilgiler temel teknikleri kullanarak bu durumdan kolayca gelir: , orantılılık sabitini elde etmek için entegre edilebilir ; , varyansın ve daraldığını gösteren (örneğin, Chebyshev'in Teoremi tarafından olasılık yakınlaştığını gösteren anlar elde etmek için (örneğin, Beta fonksiyonlarının özelliklerini kullanarak entegre edilebilir ); ve sınırlayıcı dağılım daha sonra küçük değerler için orantılı, standartlaştırılmış dağılımın yoğunluğunun değerleri göz önüne alınarak bulunur . $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} günlük (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} günlük (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

entegrasyon sabitlerini (log) temsil ettiği yerde . Açıkça , bunun normale yaklaşma oranı (log yoğunluğunun eşit olduğu) $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

şekil

Bu çizim nokta ürününün, için birim varyansa göre standardize edilmiş yoğunluklarını ve sınır yoğunluklarını gösterir. değerindeki değerler ile artar (standart normal yoğunluk için maviden kırmızıya, altından sonra yeşil olur). için yoğunluk bu çözünürlükteki normal yoğunluktan ayırt edilemez. $D=4, 6, 10$ $0$ $D$ $D=1000$

— whuber
kaynak

(+1) Çok teşekkürler, @whuber, bu harika bir cevap! "Frustum" kelimesini yazdığınız için teşekkür ederiz. Öyle olur ki, sizinkini yayınlamadan birkaç dakika önce başka bir cevabı kabul ettim ve şimdi bunu kabul etmek istemem; umarım anlarsın. Her ikisini de kabul etmenin mümkün olmaması üzücü! Bu arada, bu cevaptan sapma için ifadesinin çok basit bir kanıtına dikkat edin : biri beta işlevleriyle uğraşmadan doğrudan görebilir! Nokta ürünün Varyans herhangi küre (yazdığın gibi) koordinat ve tüm bir toplamının varyansı eşittir olmalı bunlardan , QED

1 / D

$1/D$

D

$D$

1

$1$

— amip eski haline Monica diyor

Varyanslarla ilgili güzel bir gözlem.

— whuber

@ amoeba, son etkinlik yine burada dikkatimi çekti ve cevabımı kabul ettiğin için minnettar olduğum kadar, bu çok daha dolgun. Değişsen hiç umursamıyorum.

— ekvall

@ Student001: Bu adil ve cömert bir yorumdur. Kabul edilen cevabı değiştirdim. Ayrıca telafi etmek için bir tane Q ve senin de bir tane buldum :)

— amip, diyor

@ mat dağılımı

t

$t$ olduğu bir . Bu, ölçeklendirilen ve aralığından aralığına kaydırılan bir Beta dağıtımı yapar .

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Dağılımı bulalım ve sonra varyans standart sonuçlarla takip edilir. Vektör ürününü göz önünde bulundurun ve bunun kosinüs formuna yazın, yani aslında elimizde sadece ve arasındaki açı olduğunu unutmayın.

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$ burada ve arasındaki açıdır . Son adımda, ve olayları için kullandımŞimdi terimini düşünün . O zamandan bu yana olduğu açıktır küre yüzeyine göre düzgün alınmış ise ne fark etmez

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$

x

$x$

y

$y$ önemlidir. Böylece, beklenti içindeki terim aslında bir fonksiyonu olarak sabittir ve olduğunu varsayabilirizArdından elde ettikancak , içindeki normalize edilmiş bir Gaussian vektörünün ilk koordinatı olduğundan , bu makalenin asimptotik sonucunu çağırarak varyanslı olduğunu .

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Varyansın açık bir sonucu için, nokta ürünün bağımsızlıkla sıfır anlamına geldiği ve yukarıda gösterildiği gibi ilk koordinatı gibi dağıtıldığı gerçeğini kullanın. $x$ . Bu sonuçlara göre, bulmak, değerini bulmaktır . Şimdi, yapım başına olduğuna dikkat edin, böylece burada son eşitlik koordinatlarının aynı şekilde dağıtılmasından kaynaklanır. Her şeyi bir araya koyarak, olduğunu bulduk. $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E Σ_{ben = 1}^{n} x_{ben}^{2} = Σ_{ben = 1}^{n} E x_{ben}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— Ekvall
kaynak

Teşekkür ederim, ama kafam karıştı: “istenen sonuç” tam olarak nedir ve son denklemden nasıl takip edilir? Son olasılık dağılımı

bağlı olmalıdır

D

$D$ .

— amip diyor Reinstate Monica

Aslında sonucun son denkleminizden nasıl geçtiği , bulduğunuz matematikle ilgili tartışılan şeydir . Beta dağıtımları vb. İçerir ve sınırlayıcı davranış (benim için) bariz olmaktan uzaktır. Sanırım olduğunu görmenin daha basit bir yolu olmalı .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— amip diyor Reinstate Monica

Bu, , çünkü üretilen Gaussian vektörü olduğu boyutuna bağlıdır . Cevabı daha sonra bugün veya yarın güncelleyeceğim.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

— ekvall

Vay canına, son bağlantınız sayfa 1'deki üçüncü denklemde ters beta fonksiyonlarını (hesaplamaktan korktuğum) içeren bu ifadenin sınırını sağlar. Dolayısıyla, mantığını tamamlamak için: küre yarıçapı , sonra (asimptotik olarak) olarak dağıtılır . Bu, birim yarıçap varyansının küresi için katının daha küçük, yani olduğu anlamına gelir . Bununla birlikte, hala bir endişem var: 1'den 4'e kadar kontrol ettim ve 1 veya D = 2 için dağılımlar normalden çok uzak olsa bile, tam bir farklılık gösteriyor gibi görünüyor . Bunun arkasında daha derin bir sebep olmalı.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— amip diyor Reinstate Monica

@ amoeba Evet, bunun bir kanıtı ile güncellendi.

— ekvall

Sorunuzun ilk bölümünü yanıtlamak için, . Tanımlama ürün elemanlar ve ve burada gösterildiği gibi sadece ortak dağılımına göre dağıtılacak ve $Z = \langle X,Y \rangle = \sum X_i Y_i$

f_{Z_{ben}} (z_{ben}) = \int_{- \infty}^{\infty} f_{Z_{1}, ..., Z_{D}} (z_{1}, ..., z_{D}) d z_{ben}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$ . sonra ,

f_{Z_{ben}} (z_{ben}) = \int_{- \infty}^{\infty} f_{X_{ben}, Y_{ben}} (x, \frac{z_{ben}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} ... \int_{- \infty}^{\infty} f_{Z_{1}, ..., Z_{D}} (z_{1}, ..., z_{d}) δ (z - Σ z_{ben}) d z_{1} ... d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

İkinci bölüm için, eğer asemptotik davranışları hakkında ilginç bir şey söylemek istersen $\sigma$ istiyorsanız, en azından ve bağımsızlığını üstlenmeniz ve ardından bir CLT uygulamanız gerektiğini düşünüyorum. $X$ $Y$

Örneğin eğer kabul etmeye istekli olsaydı, bu olan IID ile ve sen olabilir olduğunu söyleyin $\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ ve . $\lim_{D\to\infty} \sigma^2(D) = 0$

— tom
kaynak

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$ yanılmıyorsam, bunun daha yüksek boyutlarda geçerli olup olmadığını merak ediyorum ...

— amip Reinstate Monica

z_{i}

$z_i$

X

$X$

Y

$Y$

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$