Olabilirlik titizlikle nasıl tanımlanır?

Olasılık, birkaç yolla tanımlanabilir, örneğin:

fonksiyon den haritalar için örneğin, . $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
rastgele işlev $L(\cdot \mid X)$
Olasılığın sadece "gözlenen" olasılık olduğunu düşünebiliriz $L(\cdot \mid x^{\text{obs}})$
Uygulamada olabilirlik hakkında bilgi getiriyor sadece çarpımsal sabite kadar, dolayısıyla biz fonksiyonların bir denklik sınıfına ziyade bir fonksiyonu olarak olasılığını düşünebiliriz $\theta$

Parametrelemesine değişikliğini dikkate alındığında bir başka soru ortaya çıkar: if biz bunlara anlamında olabildikleri tarafından parametrelendirmeyi olan üzerinde olabilirlik ve bu önceki işlev değerlendirilmesi değildir ile ama en . Bu, vurgulanmadığı takdirde yeni başlayanlar için zorluklara neden olabilecek, küfürlü ama yararlı bir gösterimdir. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

Olasılığın en sevdiğiniz titiz tanımı nedir?

Ayrıca nasıl çağırırsınız $L(\theta \mid x)$ ? Ben genellikle "konulu olasılığına gibi bir şey söylemek $\theta$ zaman $x$ görülmektedir".

EDIT: Aşağıdaki bazı yorumlar ışığında, içeriğe öncelik vermem gerektiğinin farkındayım. Bazı baskın ölçütlere göre yoğunlukların parametrik bir ailesi tarafından verilen istatistiksel bir model düşünün $\{f(\cdot \mid \theta), \theta \in \Theta\}$ , her $f(\cdot \mid \theta)$ gözlem alanı üzerinde tanımlanmış ${\cal X}$ . Dolayısıyla, tanımlarız $L(\theta \mid x)=f(x \mid \theta)$ ve soru “ $L$ nedir?” (soru, olasılığın genel bir tanımı ile ilgili değildir)

— Stéphane Laurent
kaynak

(1) tüm , sabitinin bile tanımlandığına inanıyorum . (2) ve gibi parametrelerin yalnızca bir dağılımlar manifoldu için koordinatlar olduğunu düşünüyorsanız, parametreleştirmenin değiştirilmesinin kendine özgü bir matematiksel anlamı yoktur; bu sadece bir açıklama değişikliği. (3) Yerli İngilizce konuşanlar daha doğal "olabilirlik derdi ait "konulu."" Yerine (4) " gözlemlendiğinde" cümlesi felsefi zorluklara sahiptir, çünkü çoğu asla gözlenmeyecektir. Neden sadece " verilen olasılığı" demiyorsunuz

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

x

$x$ "?

— whuber

@ whuber: (1) için sabitin iyi tanımlanmış olduğunu sanmıyorum. ET Jaynes'in yazdığı kitabına bakınız: "normalleşme keyfi olduğu için bir olasılık bir olasılık değildir."

— Neil G

İki tür normalleşmenin kafasını karıştırıyor gibi görünüyorsun, Neil: Jaynes, değil, üzerinden entegrasyon yoluyla normalleşmeye değiniyordu .

θ

$\theta$

x

$x$

— whuber

@whuber: Bir ölçekleme faktörünün Cramer-Rao sınırı için önemli olacağını düşünmüyorum, çünkü değişimi log olasılığına sabit bir miktar ekliyor, bu durumda kısmi türev alındığında kayboluyor.

k

$k$

— Neil G

Neil ile aynı fikirdeyim, sabitin rol oynadığı hiçbir uygulama göremiyorum

— Stéphane Laurent

Yanıtlar:

Üçüncü öğeniz, titiz tanım olarak en sık kullandığım bölüm.

Diğerleri de ilginç (+1). Özellikle ilki, örneklem büyüklüğünün (henüz) tanımlanmamış olması zorluğu ile "from" kümesini tanımlamak daha zordur.

Bana göre, olasılığın temel sezgisi, modelin + parametrelerinin bir fonksiyonudur, rastgele değişkenlerin bir fonksiyonu değil (aynı zamanda öğretim amaçlı önemli bir nokta). Böylece üçüncü tanıma sadık kalacağım.

İşaretlemenin kötüye kullanımının kaynağı, "iyi" olasılık kümesinden, genellikle iyi tanımlanmış işlevler için geçerli olmayan örtük olmasıdır. Burada, en katı yaklaşım, dönüşümden sonra olasılığın başka bir modelle ilgili olduğunun farkına varmaktır. Birincisine eşittir, ancak yine de başka bir model. Bu nedenle, olasılık gösterimi hangi modele karşılık geldiğini göstermelidir (alt simge veya diğer). Elbette asla yapmam ama öğretmek için yapabilirim.

Son olarak, önceki cevaplarım ile tutarlı olmak için, son formülünüzde " " olasılığını söylüyorum . $\theta$

— gui11aume
kaynak

Teşekkürler. Ve çoklayıcı bir sabite kadar eşitlikle ilgili tavsiyeniz nedir?

— Stéphane Laurent

Şahsen ben tanımında sabit kod yerine, gerektiğinde çağırmayı tercih ederim. Ve model seçimi / karşılaştırması için bu 'çoğul-süreklilik-sabiti' eşitliğinin geçerli olmadığını düşünün.

— gui11aume

Tamam. ilgili olarak, iki olasılık gözlemi için

ve ihtimalleri hakkında tartıştığınızı hayal edebilirsiniz . Böyle bir durumda, "olasılığı söyleyebilirim gözlenen" veya "olasılığı gözlem için veya başka bir şey"?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— Stéphane Laurent

Eğer varsa ile modelinizi yeniden parametrize

sen aslında fonksiyonlar bir kompozisyon olarak olasılığını hesaplamak

Nerede

. Bu durumda,

gider

için

olabilirlik (set "dan" olarak bahsedilen) tanım kümesi artık aynı, yani. İlk işlevi

çağırabilirsiniz

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$ ve ikinci

çünkü aynı fonksiyonlar değildir.

L_{2} (. |)

$L_2(.|)$

— gui11aume

Üçüncü tanım nasıl titizdir? Ve örneklem büyüklüğünün tanımlanmadığı problem nedir? Diyoruz yana

doğal olarak numune alanı için ortaya karşılık gelen sigma cebir getiriyor,

biz likelihoods için paralel bir tanım olamaz neden?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— Neil G

Sanırım buna farklı bir şey diyeceğim. Olabilirlik parametre değeri verilir gözlenen x yoğunluk ihtimali olan bir fonksiyonu olarak ifade edilmiştir verilen için . Orantılılık sabiti hakkındaki görüşü paylaşmıyorum. Sanırım bu sadece devreye giriyor çünkü herhangi bir monotonik işlevi en üst düzeye çıkarmak için aynı çözümü veriyor . Böylece veya gibi diğer monotonik işlevler için maksimize edebilirsiniz. $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$ yaygın olarak yapılır.

— Michael R. Chernick
kaynak

Sadece maksimize etme değil: orantılılık, olasılık oranı kavramı ve Bayesian istatistikleri için Bayes formülünde de ortaya çıkıyor

— Stéphane Laurent

Birinin cevabımı reddedebileceğini düşündüm. Ancak, olasılığı bu şekilde tanımlamak için makul bir şey olarak adlandırılan kesin bir olasılık olarak tanımlamanın oldukça makul olduğunu düşünüyorum. @ StéphaneLaurent, öncelikler hakkındaki yorumunuza göre, eğer fonksiyonun bütünleştirilebilir olması halinde yoğunluğa göre normalleştirilebilir. Posterior öncekinin olasılığı ile orantılıdır. Posterior bir integralle bölünerek normalleştirilmesi gerektiğinden, dağılımın önceliğini de belirtebiliriz. Bu, yalnızca uygunsuz önceliklere uygulanacak şekilde genişletilmiş bir anlamdadır.

— Michael R. Chernick

Birinin bu cevabı neden düşürdüğünden emin değilim . OP'nin ikinci ve sorularına birinciden daha fazla yanıt vermeye çalışıyorsunuz. Belki de bu diğer okuyuculara tamamen açık değildi. Şerefe. :)

— kardinal

@Michael Bu cevabı da reddetme gereği duymuyorum. Bilgi içermeyen önceliklerle ilgili (bu başka bir tartışma ve) Bu konuda yeni bir tartışma açmayı düşünüyorum. Yakında yapmayacağım, çünkü İngilizcede kolay değilim ve bu benim için "felsefe" yazmam matematikten daha zor.

— Stéphane Laurent

@Stephane: İsterseniz, lütfen diğer sorunuza doğrudan Fransızca yazmayı düşünün. Bu sitede, emin olmadığınız pasajların tercümesine yardımcı olacak birkaç anadili Fransızca sahibiz. Bu bir moderatör ve aynı zamanda İngilizce dilindeki en iyi istatistik dergilerinden birinin editörünü de içeriyor. Ben soru için sabırsızlanıyorum.

— kardinal

İşte titiz bir matematiksel tanımda bir deneme:

Let bir yoğunluk kabul rasgele vektör bazı ölçüler açısından üzerine , burada için , ilgili yoğunlukları ailesidir göre . Daha sonra, herhangi biz olabilirlik fonksiyonunu tanımlamak $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ , ; açıklık amacıyla, her biri için Elimizdeki . Bir düşünebiliriz belirli bir potansiyel olarak ve "gerçek" bir değer olduğu . $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ $\theta_0$ $\theta$

Bu tanımla ilgili birkaç gözlem:

Bu tanım, için ayrık, sürekli ve diğer türden dağıtım aileleriyle başa çıkabilecek kadar sağlamdır . $X$
Olasılık olasılığını olasılık dağılımları / ölçüleri yerine yoğunluk fonksiyonları düzeyinde tanımlıyoruz. Bunun nedeni, yoğunlukların benzersiz olmadığı ve bunun, bir kişinin denklik sınıflarına geçebileceği ve hala güvenli olabileceği bir durum olmadığı ortaya çıkıyor: sürekli yoğunlukta farklı yoğunluk seçenekleri, farklı MLE'lere yol açıyor. Bununla birlikte, çoğu durumda teorik olarak arzu edilen doğal bir yoğunluk ailesi seçimi vardır.
Biz onlara bir dağılım atamak zorunda beri tasarım gereği, içine ile çalışan ve rasgele değişkenleri içeriyor çünkü bu tanım gibi, biz de titizlikle "doğru ama bilinmeyen" değeri kavramı içinde yerleşik , burada gösterilen . Benim için bir öğrenci olarak, olasılığı hakkında titiz olmanın zorluğu bir "gerçek" gerçek dünya kavramları uzlaştırmak için nasıl hep "gözlenen" ve matematik ile; Bu genellikle, bu kavramların resmi olmadığını iddia eden eğitmenler tarafından yardımcı olmamakla birlikte, bir şeyleri ispatlarken bunları geri almak ve resmi olarak kullanmak! Bu yüzden onlarla resmen bu tanımda ilgileniyoruz. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDIT: Elbette, rastgele öğeleri , ve olarak kabul etmekte özgürsünüz ve bu tanım altında dikkatli olduğunuz sürece titizlikle gerçek bir probleminiz yok. (ya da bu titizliğin seviyesi sizin için önemli değilse bile). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— adam
kaynak

@ Xi'an Let

ilgili üniform

. İki yoğunluğu

düşünün . Her ikisi de

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

için geçerlidir yoğunluklarıdır

, fakat altında

MLE vardır ve eşit olan

, oysa altında

elimizdeki

, böylece eğer belirlediğiniz

sen bir olasılıkla ile bitirmek

ve aslında MLE çünkü yok

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

için

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$

θ

$\theta$

— adam

@guy: teşekkürler, bu ilginç karşı örnek hakkında bilmiyordum.

— Xi'an

@guy Bunu söyleyen

herhangi biri için elde edilmez

. Aşağıda göstermektedir Ancak, bu sup bir noktada elde edilir:

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

burada

. Tüm

için

olduğunu farz ediyorum. 1. görmek için basit

ise,

L_{1} (θ; x) = Π_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} Π_{j = 1}^{n} ben (0 < x_{j} < θ) = θ^{- n} ben (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

; 2.

, eğer

. Devam ediyor ...

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— Alexandre Patriota

@guy: devam ... Yani,

tüm

. Maksimum bir değerimiz yok ama supremum var ve

ve argüman

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

\underset{θ \in (0, \infty)}{yudum} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

Belki, olağan asimptotikler burada uygulanmaz ve bazı diğer ücretler kullanılmalıdır. Ancak,

üstünlüğüvar ya da çok temel bazı kavramları özlüyorum.

M = \arg \underset{θ \in (0, \infty)}{yudum} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— Alexandre Patriota

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$