Tekdüze bir dağılım parametresini tahmin etmek: uygun değil mi?

N örneğimiz var, $X_i$ , düzgün bir dağılımdan $[0,\theta]$ nerede $\theta$ bilinmeyen. Tahmin $\theta$ verilerden.

Bayes kuralı ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

ve olasılık:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (değiştir: ne zaman $0 \le X_i \le \theta$ hepsi için $i$ , ve başka türlü 0 - teşekkürler whuber)

ama hakkında başka bilgi olmadan $\theta$ , öncekilerle orantılı olmalı $1$ (yani tek tip) veya $\frac{1}{L}$ (Jeffreys önceden mi?) $[0,\infty]$ ama sonra integrallerim birleşmiyor ve nasıl ilerleyeceğimden emin değilim. Herhangi bir fikir?

— Niyet
kaynak

Olasılık yanlış: her seferinde sıfır olacak

θ

$\theta$ en büyükten daha az

X_{i}

$X_i$ .

— whuber

Hangi integralleri aldığınızı gösterebilir misiniz?

Evet, sanırım, daha önce uygunsuz olanla nasıl başa çıkacağımı bilmiyorum. Örneğin, yazmak istiyorum

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Will

Önceden uygunsuz olanlar için,

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$ =

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$ = ve benzer şekilde elde ettiğiniz önceki içinÇünkü hemen hemen kesin, bu kesin integraller yakınsar.

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

Bernardo referans posterioru Pareto'dur - bilgilendirici olmayan önceliklerin kataloğuna bakın .

— Stéphane Laurent

Yanıtlar:

Bu ilginç bir tartışma yarattı, ancak bunun ilgi konusu üzerinde gerçekten fazla bir fark yaratmadığını unutmayın. Şahsen, bir ölçek parametresi olduğu için, dönüşüm grubu argümanının uygun olduğunu ve $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Bu dağılım, sorunun yeniden ölçeklendirilmesinde aynı forma sahiptir (yeniden ölçeklendirme altında da "değişmez" olarak kalır). Öncekinin çekirdeği, , fonksiyonel denklemini çözerek türetilebilir . değerleri soruna bağlıdır ve gerçekten sadece numune boyutu çok küçükse (1 veya 2 gibi) önemlidir. Posterior, kesilmiş bir paretodur: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ N. olduğu sipariş istatistiği veya numunenin maksimum değeri. Biz arka ortalamasını almak Eğer biz grubu ve daha basit anlatımı elde .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Ama şimdi tarafından verilen daha genel bir kullandığımızı varsayalım ( her şeyin doğru olduğundan emin olmak için sınırlarını koruduğumuzu unutmayın - tekil matematik yok ). Posterior daha sonra yukarıdakiyle aynıdır, ancak olması koşuluyla yerine - . Yukarıdaki hesaplamaları tekrarlayarak, basitleştirilmiş posterior ortalama $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Bu nedenle, önceki ( ) üniform , (ortalama için sonsuz koşuluyla , . Bu, buradaki tartışmanın , varyans tahmininde bölen olarak veya kullanılıp kullanılmayacağına biraz benzediğini göstermektedir . $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Bu durumda daha önce düzgün olmayan üniforma kullanılmasına karşı bir argüman, posteriorun olduğunda , ile orantılı olduğu için uygunsuz olmasıdır . Ancak bu sadece veya çok küçük olduğunda önemlidir . $N=1$ $\theta^{-1}$ $N=1$

— probabilityislogic
kaynak

Burada amaç bazı geçerli ve yararlı tahminini elde etmek muhtemelen olduğundan , önceki dağıtım tutarlı olmalıdır Numunenin geldiği nüfus dağılımı şartnameye. Bu hiçbir şekilde numunenin kendisini kullanmadan önce "hesapladığımız" anlamına gelmez-bu, tüm prosedürün geçerliliğini geçersiz kılar. Numunenin geldiği popülasyonun, her biri aralığında değişen tek tip rasgele değişkenlerin bir popülasyonu olduğunu biliyoruz . Bu, sürdürülen bir varsayımdır ve sahip olduğumuz önceki bilgilerin bir parçasıdır (ve örnekle , yani bu rastgele değişkenlerin bir alt kümesinin spesifik bir şekilde gerçekleştirilmesiyle hiçbir ilgisi yoktur ). $\theta$ $[0,\theta]$

Şimdi bu popülasyonun rasgele değişkenlerden oluştuğunu varsayın (örneğimiz rasgele değişkenin gerçekleşmesinden oluşuyor ). varsayım bize $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

Kompaktlık için ifade . Sonra de yazılabilir $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

Yoğunluğu fonksiyonu arasında Düzgün RV kadar IID olduğu $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

destek , ve başka bir yerde sıfır. Daha sonra kullanarak ve değişken değişikliği formülünü uygulayarak için sürdürülen varsayımla tutarlı bir önceki dağıtım elde ederiz : $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

sabit uygun şekilde belirtmezsek bu durum uygunsuz olabilir . Ancak için uygun bir posteriora sahip olmaktır ve ayrıca olası değerlerini kısıtlamak istemiyoruz (sürdürülen varsayımın ima ettiği kısıtlamanın ötesinde). Bu yüzden belirsiz bırakıyoruz . Sonra arkaya $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

bazı normalleştirici sabitler için A

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Posterior

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Önceki dağılımın belirlenmemiş sabiti uygun şekilde iptal edildiğine dikkat edin. $c$

Posterior, belirli numunenin değeri ile ilgili bize verebileceği tüm bilgileri özetler . için belirli bir değer elde etmek istiyorsak posteriorun beklenen değerini kolayca hesaplayabiliriz, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Bu sonuçta herhangi bir sezgi var mı? Eh, sayısı olarak 'in arttıkça, daha büyük olasılıkla aralarında maksimum gerçekleşme yaklaştıkça üst bağlanmış, olacak olmasıdır arka ortalama değer tam olarak ne olduğu - eğer söz hakkından: yansıtır , , ancak . Bu, önceki seçim ile ilgili taktiğimizin eldeki problemle makul ve tutarlı olduğunu, ancak bir anlamda "optimal" olması gerekmediğini göstermektedir. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— Alecos Papadopoulos
kaynak

Önceki verilere dayandırmak kulağa balık gibi geliyor. Bu yaklaşımı nasıl haklı çıkarsınız?

— whuber

Öncekinin "en iyi" olmadığı gerçeğine karşı hiçbir şeyim yok. Nerede böyle bir şey söyledim? Sadece yaklaşımınızı anlamaya çalışıyorum. Bu eşitliği henüz anlamıyorum. Eğer sabiti eşitliği içindedir , Bu ne anlama geliyor, her iki ve rastgele olmayan bir husustur? Bu arada siz yok kullanmak gerçeğini öncesinde çıkarımında, öyle mi? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— Stéphane Laurent

Öncekinizin desteği verilere mi bağlı? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— Stéphane Laurent

Verilere önceden bağlı (bu sadece destek yoluyla olsa bile) yanlış geliyor: örnek üretilmeden önce numunenin maksimum miktarını bilemezsiniz . Ayrıca, iddia ile olan neredeyse emin eşitlik hem ve rasgele (böylece korelasyon ). Ancak bu, posterior dağılımının ( örnek verilen koşullu dağılımıdır ) deki Dirac kütlesi olduğu anlamına gelir . Bu da posterior dağılımı türetmenizle çelişir. ... (karakter kalmadı ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— Stéphane Laurent

Arka dağılımı de Dirac olduğunu araçları is . Bayes teoremi bunun nedeni değildir. varsayarak her şeyi yok edersiniz . Bu ifade eder , bu nedenle verilen koşullu dağılımı Dirac kütlesidir , oysa asıl varsayım bu dağılımın .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— Stéphane Laurent

Düzgün Önceki Dağıtım Teoremi (aralık durumu):

"Eğer ilgili Sizin bilgilerin toplamıdır veri harici tek önerme tarafından yakalanır o zaman Mantıksal olarak dahili olarak tutarlı önceki spesifikasyonunuz $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Bu nedenle, yukarıdaki belirtime gerçekten inanıyorsanız, önceki spesifikasyonunuz Jeffrey öncekine karşılık gelmelidir. "

Tekdüze Önceki Dağıtım Teoreminin bir parçası değildir:

Alternatif olarak, önceki dağılımınızı , arka dağılımın konjugasite ile başka bir tekdüze dağılım olması gerektiğini bilerek, üniforma için konjugat dağılımı olan bir Pareto dağılımı olarak belirtebilirsiniz . Ancak, Pareto dağıtımını kullanıyorsanız, Pareto dağıtımının parametrelerini bir şekilde belirtmeniz gerekir. $f(\theta)$

Önce "sadece mantıksal olarak içsel olarak tutarlı" cevabının tek tip bir dağılım olduğunu söylüyorsunuz ve daha sonra bir alternatif önermeye devam ediyorsunuz. Bu bana mantıksız ve tutarsız geliyor :-).

— whuber

Kabul edemem. Örneğin, aynı zamanda PDF olan için . Ancak "teoremi" ne göre, o aralıkta olan . Kısacası, öneri sorunun nasıl parametreleştirildiğine bağlı olmasa da , "teorem" in sonucu belirsizliğe bağlı olarak parametrelendirmeye bağlıdır.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

BabakP: Bunun teorem olduğunu nasıl söyleyebiliriz ? Bir teorem, matematiksel bir kanıtı olan matematiksel bir iddiadır. Bu "teorem" daha uygun bir şekilde "ilke" olarak adlandırılacaktır, ancak mantıklı değildir, çünkü @whuber tarafından gösterildiği gibi çelişkilidir.

— Stéphane Laurent

Referans BabakP için teşekkürler. "Kanıt kroki" nin sahte olduğunu belirtmek isterim. Draper, aralığı sınırlı sayıda eşit aralıklı değere böler ve "sınıra geçer". Herkes aralığını istediği herhangi bir yoğunluğa yaklaşmak üzere aralıklı değerlere bölebilir ve benzer şekilde sınıra geçebilir ve mükemmel keyfi "yalnızca mantıksal olarak iç tutarlı tutarlı özellikler sağlar". Bu tür şeyler - yani, Bayesli olmayanların mantıksız olduğunu göstermek için kötü matematiği kullanmak - Bayesci analize (haklı olarak) kötü bir isim verir. (cc @ Stéphane.)

— whuber

@ Stéphane Lütfen duyarsızlığımı affedin ( insensibilité ) - Burada ikinci bir dilde iletişim kurma yeteneğinize hayranım ve bilerek belirsiz terimler kullanmıyorum! Sahte , sahte para için bir makineye atıfta bulunan 200 yıllık bir ABD argo teriminden gelen bir sıfattır. Bu durumda sahtecilik teoremleri için bir matematik makinesi :-).

— whuber