Bu doğru mu ? (Kesik-norm-çok değişkenli-Gauss üretme)

Eğer , yani $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Çok değişkenli bir durumda kesik normal dağılımın benzer bir versiyonunu istiyorum .

Daha doğrusu, çok değişkenli bir norm kısıtlamalı ( a değerine ) Gaussian st burada$\geq a$$Y$

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Şimdi aşağıdakileri gözlemliyorum:

Eğer ,$x=(x_1,x_2,\ldots,x_n)$$||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Bu nedenle seçerek $x_1,\ldots,x_{n-1}$ Gauss örnekleri olarak, bir kısıtlayabilir $x_n$ bir takım örnek olarak Kesik-normal dağılımı (bir Gauss-kuyruk aşağıdaki $\geq T$ dağılımı) $\mathcal{N}_T(0,\sigma^2)$ , olasılık 1/2 ile rastgele seçilen işareti hariç $1/2$.

Şimdi sorum şu,

I oluşturmak Eğer her vektör örneği $(x_1,\ldots,x_n)$ arasında $(X_1,\ldots,X_n)$ olarak,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

ve

Z 1 ∼ { ± 1 w.p. 1 / 2 } Z 2 ~ , N , T ( 0 , σ 2 ) T ( X 1 , ... , x , n - 1 ) ≜ $x_n = Z_1 *Z_2~$ burada, , , (örn. ile kesilmiş skaler-normal RV$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Will olmak norm sınırlıysa ( ) çok değişkenli Gauss? (yani yukarıda tanımlanan aynı ). Nasıl doğrulamalıyım? Bu şekilde değilse başka bir öneriniz var mı?≥ a $(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

DÜZENLE:

Burada, 2B durumda noktaların "1" üzerindeki değerlere kısaltılmış noktaların dağılım grafiği

Not: Aşağıda bazı harika yanıtlar vardır, ancak bu teklifin neden yanlış olduğunun gerekçesi eksiktir. Aslında, bu sorunun ana noktası budur.

çok değişkenli normal dağılımı küresel olarak simetriktir. Dağıtım sen yarıçap yuvarlar aramaya aşağıda . Bu kriter yalnızca uzunluğuna bağlı olduğundan, kesik dağılım küresel olarak simetrik kalır. Yana küresel açısından bağımsızve bir sahiptir dağılımı , bu nedenle sadece bir kaç basit adımda kesilmiş dağılım değerleri oluşturabilir:ρ = | | X | | 2 a X ρ X / | | X | | $X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$χ ( n )$\rho\,\sigma$$\chi(n)$

1. Oluşturmak .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. kesilmiş bir dağılımının karekökü olarak üretin .χ 2 ( d ) ( a / σ ) $P$$\chi^2(d)$$(a/\sigma)^2$

3. Let.$Y = \sigma P\, X/||X||$

1. adımda , standart bir normal değişkenin bağımsız gerçekleştirme dizisi olarak elde edilir .$X$$d$

Adım 2'de, kolaylıkla quantile fonksiyonu çevrilmesi ile oluşturulur a dağılımı: üniform bir değişken oluşturmak arasında (tahminlerinin) aralığında desteklenen ve ve .F - 1 χ 2 ( d ) U F ( ( a / σ ) 2 ) 1 P = $P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Burada bir histogramıdır bu bağımsız gerçekleşmeleri için içinde aşağıda kesildi boyutları, . Algoritmanın verimliliğini kanıtlamak yaklaşık bir saniye sürdü. σ P σ = 3 n = 11 a = $10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

Kırmızı eğri, ölçeklendirilmiş kesilmiş bir dağılımının yoğunluğudur . Histogramla yakın uyumu, bu tekniğin geçerliliğinin kanıtıdır.σ = $\chi(11)$$\sigma=3$

Kesme için bir bilgi edinebilmek için, durumu göz önüne , içinde boyutları. İşte karşı karşısında bir dağılım ( bağımsız gerçekleşme için). Açıkça yarıçapı en deliği gösteren :σ = 1 n = 2 Y 2 Y 1 10 4$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Son olarak, (1) bileşenlerinin aynı dağılımlara (küresel simetri nedeniyle) ve (2) dışında , bu ortak dağılımın Normal olmaması gerektiğine dikkat edin. Aslında, çok büyür, (tek değişkenli) normal dağılım hızla azalması yüzeyine yakın bir küme normal küresel kesilmiş değişkenli olasılık en neden -sphere (yarıçapı ). Bu nedenle marjinal dağılım aralığında konsantre edilmiş ölçekli simetrik Beta dağılımına yaklaşmalıdır . Bu, önceki dağılım grafiğinde belirgindir; burada a = 0 a n - 1 a ( ( n - 1 ) / 2 , ( n - 1 ) / 2 ) ( - a , a ) a = 3 σ 2 - 1 3 $X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$zaten iki boyutta büyüktür: noktalar yarıçapına sahip bir halkayı ( küre) kirletir .$2-1$$3\sigma$

Burada büyüklükte bir simülasyon marjinal dağılımlarının histogramlardır de ile boyutları , (bu yaklaşan beta dağıtım homojendir):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Soruda açıklanan prosedürün ilk marjinalleri normal olduğundan (yapım yoluyla), bu prosedür doğru olamaz.$n-1$

---

Aşağıdaki Rkod ilk rakamı oluşturdu. üretilmesi için 1-3 arası paralel adımlara yapılandırılmıştır . Bu değiştirme değişkenlerinin, ikinci rakam oluşturmak için modifiye edilmiştir , , ve daha sonra arsa komutu veren sonra oluşturulmuştur.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

Daha yüksek sayısal çözünürlük için nesli kodda değiştirilir: kod aslında üretir ve bunu hesaplamak için kullanır .$U$$1-U$$P$

Sözde bir algoritmaya göre veri simülasyonu, bir histogram ile özetleme ve bir histogramın üst üste getirilmesi ile aynı teknik, soruda açıklanan yöntemi test etmek için kullanılabilir. Yöntemin beklendiği gibi çalışmadığını doğrular.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Bunu herhangi bir puan istemediğinizi varsayarak yazdım || y || > a, olağan tek boyutlu kesmenin analogudur. Ancak, noktaları | y || > = a ve diğerlerini dışarı atın. Yine de, gerçekten | y || > = a.

Çok genel bir teknik olan en basit yol Kabul Kabul Reddi kullanmaktır https://en.wikipedia.org/wiki/Rejection_sampling . Prob (|| X ||> a) oldukça düşük olduğu sürece oldukça hızlı olacaktır, çünkü o zaman çok fazla reddetme olmayacaktır.

Kısıtsız Çok Değişkenli Normalden bir örnek değer x oluşturun (sorununuz Çok Değişkenli Normal'in küresel olduğunu belirtmesine rağmen, teknik olmasa bile uygulanabilir). || x || <= a, kabul et, yani x kullanın, aksi takdirde reddedin ve yeni bir örnek oluşturun. İstediğiniz sayıda kabul edilen örneğe sahip olana kadar bu işlemi tekrarlayın. Bu prosedürün uygulanmasının etkisi, y'nin yoğunluğu c * f_X (y) olacak şekilde üretilmesidir. <= a ve || y || > a, sorunuzun açılış kısmındaki düzeltmem uyarınca. Asla c hesaplamanıza gerek yoktur; aslında numunelerin reddedilme sıklığına göre algoritma tarafından otomatik olarak belirlenir.

Bu güzel bir girişimdir, ancak "normalleştirme sabiti" nedeniyle çalışmaz: eklem yoğunluğunu ayrıştırma

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ için bütünleştirir içinde , Şekil olduğu $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. Diğer bileşenler, verildiğinde koşullu dağılımı kesik normal dağılımdır;$X_n$$X_{-n}$
2. Diğer bileşenlerin marjinal dağılım , olduğu değil , çünkü ekstra terimi bir normal dağılım ;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

Bu özellikten yararlanmanın tek yolu, kesilmiş normal koşullu dağılımları kullanarak bir seferde bir bileşen olan Gibbs örnekleyicisini çalıştırmaktır.

Soru, vektör örnekleri çizmek için - ortak dağılımların temel koşullu ayrışımı - kullanma fikrinden kaynaklanmaktadır.

Let iid bileşenleri ile çok değişkenli Gauss olmak.$X$

Let ve $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

Söz konusu algoritma aşağıdaki (tamamen doğru ancak aldatıcı-yorumlama) koşullu çarpanlara dayalı olarak önerilmiştir:

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

En kısa cevap, ikinci faktörün kesilmiş bir Gauss değil, (daha da önemlisi) bir dağılım bile olmamasıdır.

---

Yukarıdaki çarpanlaştırmanın kendisinin neden bazı temel kusurlara sahip olduğunun ayrıntılı açıklaması. Tek bir cümleyle: belirli bir ortak dağılımın koşullu çarpanlarına ayırma işlemi bazı çok temel özellikleri sağlamalı ve yukarıdaki çarpanlara ayırma bunları karşılamıyor olmalıdır (Aşağıya bakınız).

Genel olarak, eğer hiç çarpanlara daha sonra marjinal olup ve , koşullu dağılımıdır . Bunun anlamı:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. " olarak kabul edilen " faktörü bir dağılım olmalıdır. Ve,$f(x,y)$$f_X(x)$
2. " " olarak kabul edilen ikinci faktör , her seçeneği için bir dağılım olmalıdır$f_{Y|X}(y|x)$$x$

Yukarıdaki örnekte, olarak çalışıyoruz . Bu, mülk-1'in Gauss faktörleri için tutulması ve mülk-2'nin ikinci kısım için iyi tutulması gerektiği anlamına gelir.$Y_n|(Y_1\ldots Y_{n-1})$

Mülkiyet-1'in ilk faktörde iyi olduğu açıktır. Ama sorun özelliği-2. Yukarıdaki son faktör maalesef hemen hemen her değer için hiç bir dağılım değildir (Kesik !!$(Y_1\ldots Y_{n-1})$

---

Böyle bir algoritma önerisi muhtemelen aşağıdaki yanlış anlaşılmanın bir sonucudur: Bir dağılım, doğal olarak bir ortak dağılımdan (yukarıdaki Gaussianlar gibi) faktör oluşturduğunda, koşullu bir çarpanlara yol açar. ---- Olmaz! ---- Diğer (ikinci) faktör de iyi olmalıdır.

---

Not: @whuber'ın daha önce büyük bir cevabı var, bu aslında norm kesilmiş çok değişkenli Gauss üretme problemini çözüyor. Cevabını kabul ediyorum. Bu cevap sadece kendi anlayışımı ve sorunun oluşumunu netleştirmek ve paylaşmak içindir.