“Olasılık, sadece çarpımsal orantılılık sabiti kadar tanımlanır” ne anlama gelir?

19

Yazarların görünüşte yeni başlayanlar için bir giriş olarak Bayes Teoremine yönelik maksimum olasılık tahmini tartışmasından yola çıktığı bir makale okuyorum .

Bir olasılık örneği olarak, bir binom dağılımı ile başlarlar:

p (x | n, θ) = (\binom{n}{x}) θ^{x} (1 - θ)^{n - x}

$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$

ve sonra her iki tarafı da günlüğe kaydet

ℓ (θ | x, n) = x \ln (θ) + (n - x) \ln (1 - θ)

$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$

gerekçesi ile:

"Olasılık sadece çarpımsal bir orantısallık sabiti (veya log-olasılık için bir katkı sabiti) olarak tanımlandığından, binom katsayısını bırakarak ve log-olasılık olasılığını yerine yazarak yeniden ölçeklendirebiliriz"

Matematik mantıklı, ama "olasılık sadece çarpımsal orantılılık sabitine kadar tanımlanmış" ve bunun binom katsayısının düşürülmesine ve $p(x|n,\theta)$ dan $\ell(\theta|x,n)$ .

Benzer terminoloji ( burada ve burada ) diğer sorularda ortaya çıkmıştır , ancak pratikte, neyin tanımlanabileceğini veya bilgiyi çarpımsal bir sabit araca getirebileceğini hala netleştirmemiştir. Bunu layman'ın terimleriyle açıklamak mümkün müdür?

— KMM
kaynak

18

Mesele şu ki, bazen, farklı modeller (aynı veriler için) çarpımsal bir sabitle farklılık gösteren olasılık işlevlerine yol açabilir, ancak bilgi içeriğinin açıkça aynı olması gerekir. Bir örnek:

Bu modeli veri giden, bağımsız Bernoulli deneyleri , (olasılığı) parametresi olan bir Bernoulli dağılımı ile, her . Bu, olasılık fonksiyonuna yol açar Veya verileri dağıtılmış değişkenleriyle özetleyebiliriz binom dağılımı olan ve bilinmeyen parametresinin bir fonksiyonu olarak önceki olabilirlik fonksiyonu ile orantılı olan olabilirlik fonksiyonuna yol açan . İki olasılık işlevi açıkça aynı bilgileri içerir ve aynı çıkarımlara yol açmalıdır! $n$ $X_1, \dots, X_n$ $p$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$

Y = X_{1} + X_{2} + \dots + X_{n}

$Y=X_1+X_2+\dotsm+X_n$

(\binom{n}{y}) p^{y} (1 - p)^{n - y}

$\binom{n}{y} p^y (1-p)^{n-y}$

p

$p$

Ve aslında, tanım gereği, aynı olabilirlik işlevi olarak kabul edilirler.

Başka bir bakış açısı: Bayes teoreminde olasılık fonksiyonları kullanıldığında, bayes analizi için gerektiği gibi, bu tür çarpımsal sabitlerin basitçe iptal olduğunu gözlemleyin! bu yüzden bayes çıkarımıyla açıkça ilgisizdirler. Benzer şekilde, optimal hipotez testlerinde (Neyman-Pearson lemması) kullanıldığı gibi, olasılık oranları hesaplanırken iptal edilir ve maksimum olabilirlik tahmin edicilerinin değeri üzerinde hiçbir etkisi olmaz. Dolayısıyla, sık sık çıkarımların çoğunda bir rol oynayamayacağını görebiliriz.

Yine başka bir bakış açısıyla tartışabiliriz. Yukarıdaki Bernoulli olasılık fonksiyonu (bundan böyle "yoğunluk" terimini kullanacağız) gerçekten sayım ölçüsü, yani her negatif olmayan tamsayı için kütle ile negatif olmayan tamsayıların ölçüsü açısından bir yoğunluktur. Ancak, diğer baskın önlemlere göre bir yoğunluk tanımlayabilirdik. Bu örnekte bu yapay görünecektir (ve yapay), ancak daha büyük alanlarda (fonksiyon uzayları) gerçekten esastır! Bize, açıklama amacıyla, belirli bir geometrik dağılımı, yazılı kullanma izin ile, , , ve yakında. Daha sonra Bernoulli dağılımının göre yoğunluğu $\lambda$ $\lambda(0)=1/2$ $\lambda(1)=1/4$ $\lambda(2)=1/8$ $\lambda$ verilir

f_{λ} (x) = p^{x} (1 - p)^{1 - x} \cdot 2^{x + 1}

$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$

, Bu yeni, baskın olan ölçü ile, olasılık fonksiyonu (yukarıdan gösterimle) olur ekstra faktörü not edin . Bu nedenle, olasılık fonksiyonunun tanımında kullanılan baskın ölçüyü değiştirirken, bilinmeyen parametreye bağlı olmayan ve açıkça ilgisiz olan yeni bir çarpma sabiti ortaya çıkar . Bu, çarpma sabitlerinin nasıl alakasız olduğunu görmenin başka bir yoludur. Bu argüman Radon-Nikodym türevleri kullanılarak genelleştirilebilir (yukarıdaki argüman bir örnektir.)

P (X = x) = f_{λ} (x) \cdot λ (x)

$P(X=x)= f_\lambda(x) \cdot \lambda(x)$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} 2^{x_{i} + 1} = p^{y} (1 - p)^{n - y} 2^{y + n}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$

2^{y + n}

$2^{y+n}$

p

$p$

— kjetil b halvorsen
kaynak

“bilgi içeriği açıkça aynı olmalıdır” Bu sadece olasılık ilkesine inanıyorsanız doğrudur!

— jsk

Evet, belki, ama bunun bayes prensiplerinden nasıl geldiğini gösterdim.

— kjetil b halvorsen

1

@kjetilbhalvorsen Düşünceli cevap için teşekkür ederim! Hala kafam karıştıysa, neden bernoulli dağılımı olasılığının bir binom katsayısı içermediğidir. Cevabınız bunun neden önemli olmadığını netleştiriyor, ancak neden ilk etapta olasılığın dışında kaldığını anlamıyorum.

— jvans

@jvans: Binom katsayısı bilinmeyen parametreye bağlı olmadığından, olasılık fonksiyonunun şeklini etkileyemez

— kjetil b halvorsen

12

Temel olarak PDF'nin göreceli değerinin önemli olduğu anlamına gelir. Örneğin, standart normal (Gauss) PDF: , kitabınız kullanabileceklerini söylüyor , çünkü ölçeği umursamıyorlar, yani . $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ $g(x)=e^{-x^2/2}$ $c=\frac{1}{\sqrt{2\pi}}$

Bunun nedeni, olasılık işlevini en üst düzeye çıkarmaları ve ve aynı maksimuma sahip olmalarıdır. Bu nedenle, maksimum , aynı olacaktır . Yani, ölçeği rahatsız etmiyorlar. $c\cdot g(x)$ $g(x)$ $e^{-x^2/2}$ $f(x)$

— Aksakal
kaynak

6

Ben tırnak anlamını açıklamak olamaz, ama için maksimum olabilirlik tahmini, biz olabilirlik fonksiyonu maksimum bulmak tercih edip önemli değil (bir fonksiyonu olarak kabul veya maksimum sabit bazı biz maksimum değeri ile değil olmasıdır. ve $L(\mathbf x; \theta)$ $\theta$ $aL(\mathbf x; \theta)$ $a$ değeriyle değil, bu maksimumun oluştuğu yerde değeriyleve hem $L(\mathbf x; \theta)$ $\theta_{\text{ML}}$ $L(\mathbf x; \theta)$ $aL(\mathbf x; \theta)$ aynı maksimum değerlerine . Böylece, çarpma sabitleri göz ardı edilebilir. Benzer şekilde, olabilirlik fonksiyonunun herhangi bir monoton fonksiyonu (logaritma gibi düşünmeyi seçebilir , maksimum belirleyebiliriz . Logaritma için çarpım sabiti , katkı maddesi sabiti ve bu da maksimumun yerini bulma sürecinde göz ardı edilebilir: $\theta_{\text{ML}}$ $g(\cdot)$ $L(\mathbf x; \theta)$ ve değerini sonucuna $g(L(\mathbf x;\theta))$ $\theta_{\text{ML}}$ $a$ $\ln(a)$ $\ln(a)+\ln(L(\mathbf x; \theta)$ , aynı nokta . $\ln(L(\mathbf x; \theta)$

En dönersek a posteriori olasılığı (MAP) tahmini, rastgele değişken bir görüntüsü olduğu kabul edilir ile önsel yoğunluk fonksiyonu , veri rastgele değişken bir görüntüsü olduğu kabul edilmektedir , ve büyük olasılıkla fonksiyon değeri olarak kabul edilir , koşullu yoğunluğu $\theta$ $\Theta$ $f_{\Theta}(\theta)$ $\mathbf x$ $\mathbf X$ arasında koşuluyla $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$ $\mathbf X$ $\Theta = \theta$ ; bahsedilen koşullu yoğunluk fonksiyonu değerlendirilmektedir . Sonradan yoğunluğu $\mathbf x$ $\Theta$ olduğu , verilerin ve tahmin edilen parametrenineklem yoğunluğu olarak tanıdığımız . Noktamaksimum bir değere ulaştığı MAP tahminidirparagrafta olduğu gibi, aynı bağımsız değişkenleri kullanarak, ve, biz göz ardı görüyoruzsağ tarafında

\begin{matrix} (1) & f_{Θ ∣ X} (θ ∣ x) = \frac{f_{X ∣ Θ} (x ∣ Θ = θ) f_{Θ} (θ)}{f_{X} (x)} \end{matrix}

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$

f_{X, Θ} (x, θ)

$f_{\mathbf X, \Theta}(\mathbf x, \theta)$

θ_{MAP}

$\theta_{\text{MAP}}$

f_{Θ ∣ X} (θ ∣ x)

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$

θ

$\theta$

[f_{X} (x)]^{- 1}

$[f_{\mathbf X}(\mathbf x)]^{-1}$

hem

hem de

deçarpım sabitlerini göz ardı edebileceğimiz gibi çarpımsal bir sabit olarak. Benzer şekilde log olasılıkları kullanıldığında, ilave sabitleri göz ardı edebiliriz.

(1)

$(1)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$

f_{Θ} (θ)

$f_\Theta(\theta)$

— Dilip Sarwate
kaynak

Bu düşünce silsilesi de Bayes aracılığıyla yapılabilir: Eğer koyarsanız

veya

Bayes içine teoremi olsun gelmez

arka aynıdır yüzden iptal edecektir.

L

$L$

a L

$aL$

a

$a$

— kjetil b halvorsen

5

Layman'ın terimleriyle, genellikle maksimum olasılığı ve ve $f(x)$ $kf(x)$

— Sergio
kaynak

3

f (x)

$f(x)$

f (x) + 2

$f(x)+2$

Lütfen, Alecos Papadopoulos'un cevabında yazdığı gibi, "olasılık ilk önce ortak olasılık yoğunluk fonksiyonudur". Rasgele numuneler için iid varsayımı nedeniyle, bu eklem fonksiyonu basit yoğunluk fonksiyonlarının bir ürünüdür , bu nedenle çarpma faktörleri ortaya çıkar, eklemeler olmaz.

— Sergio

1

Eklem işlevi, yalnızca ve veriler bağımsızsa böyle bir üründür. Ancak MLE bağımlı değişkenlere uzanır, bu nedenle ürün argümanı ikna edici görünmez.

— whuber

1

$\text {argmax}$

Tavana maruz kalma olasılığını en üst düzeye çıkarmak zorunda kalacağınız olağandışı durumlar olabilir - ve sonra değerinin hesaplanmasında sabitleri dahil etmeyi "hatırlamanız" gerekir.

Ayrıca, iç içe olmayan modeller için model seçim testleri gerçekleştiriyor olabilirsiniz, işlemdeki olasılık değerini kullanarak - ve modeller iç içe olmadığından iki olasılığın farklı sabitleri olacaktır.

Bunların dışında cümle

"Olasılık sadece çarpımsal orantılılık sabiti (ya da log olabilirliği için bir katkı sabiti) olarak tanımlanır."

olduğu yanlış olabilirlik, çünkü ilk bir ortak olasılık yoğunluk fonksiyonu sadece "herhangi bir" amaç fonksiyonu maksimize edilmesi değil.

— Alecos Papadopoulos
kaynak

3

θ

$\theta$

θ

$\theta$

3

L (θ ∣ x) = f (x ∣ θ) .

$L(\boldsymbol \theta \mid \boldsymbol x) = f(\boldsymbol x \mid \boldsymbol \theta).$

1

$1$

1

$1$

1

@heropup Ben zaten parametre alanı üzerinde birlik ile entegre olması gerektiğini yazdım ve bu nedenle, "parametrelerin fonksiyonu" olarak bakıldığında hemen bir "yoğunluk fonksiyonu" olarak kabul edilemez.

— Alecos Papadopoulos

1

Evet biliyorum. Demek istediğim, "Olasılık fonksiyonu, parametrelerin bir fonksiyonu olarak görülen bir yoğunluk fonksiyonudur" ifadesinin kendisinin kafa karıştırıcı olmasıdır. "Olabilirlik işlevi, sabit bir örnek için parametrelerin bir işlevidir ve örnek alanı üzerindeki eklem yoğunluğuna eşdeğerdir (veya orantılıdır) gibi bir şey söylemek daha kesin olur."

— heropup

1

L (x ∣ θ) f (θ)

$L(x\mid \theta)f(\theta)$

L

$L$

f (θ)

$f(\theta)$

— Dilip Sarwate