Yanlış Tanımlama Altında İstatistiksel Çıkarım

İstatistiksel çıkarımın klasik muamelesi, doğru bir şekilde belirlenmiş bir istatistikselin kullanıldığı varsayımına dayanır. Yani, gözlenen verileri oluşturan , : nin bir parçasıdır. Ancak, çoğu durumda bunun gerçekten doğru olduğunu kabul edemeyiz. Doğru belirlenmiş varsayımı bıraktığımızda istatistiksel çıkarım prosedürlerinde ne olacağını merak ediyorum.y M P ∗ (Y)∈ M ={ P θ (Y):θ∈Θ$\mathbb{P}^*(Y)$$y$$\mathcal{M}$

White 1982 tarafından , yanlış tahmin kapsamındaki ML tahminleri üzerine bazı çalışmalar buldum. Burada, maksimum olasılık tahmin edicisinin ile istatistiksel model içindeki tüm dağılımlardan KL sapmasını en aza indiren \ mathbb {P} ^ * . P

Güven belirleyici tahmincilere ne olur? Güven seti tahmincilerini tekrar özetleyelim. Let $\delta:\Omega_Y \rightarrow 2^\Theta$ olduğu bir dizi tahmin edicisi, $\Omega_Y$ örnek alan ve bir $2^\Theta$ parametre alanı üzerinden güç grubu $\Theta$ . Bilmek istediğimiz, \ delta tarafından üretilen setlerin $\delta$gerçek dağıtımı $\mathbb{P}^*$ , yani

Ancak, elbette gerçek dağıtımı bilmiyoruz $\mathbb{P}^*$ . Doğru belirtilen varsayım bize \ mathcal {M} içinde \ mathbb {P} ^ * \ olduğunu belirtir $\mathbb{P}^* \in \mathcal{M}$. Bununla birlikte, modelin hangi dağılımı olduğunu hala bilmiyoruz. Ancak,

Doğru olarak belirtilen varsayımı düşürürsek, aslında ilgilendiğimiz terim için daha düşük bir sınır değildir . Gerçekten de, modelin yanlış tanımlandığını varsayarsak, bu en gerçekçi durumlar için tartışmalı bir durumdur, 0'dır, çünkü gerçek dağılım , istatistiksel modelinde bulunmaz .A $B$$A$$A$$P^*$$\mathcal{M}$

Diğer bir bakış açısına düşün olabilir modeli misspecified zaman ile ilgilidir. Bu daha spesifik bir soru. Mu modeli misspecified eğer hala bir anlama sahiptir. Değilse, neden parametrik istatistiklerle uğraşıyoruz?B$B$$B$

Sanırım White 1982 bu konularda bazı sonuçlar içeriyor. Ne yazık ki, matematiksel arka plan eksikliğim, orada yazılanları anlamamı engelliyor.

Let Rasgele değişkenlerin bir dizinin bir gerçekleşme olduğu varsayılmaktadır gözlemlenmiş olması ortak olasılık yoğunluk fonksiyonu ile sigma-sonlu ölçü ile ilgili olarak tarif . yoğunluğuna Veri Üretme Süreci (DGP) yoğunluğu denir.$y_1, \ldots, y_n$$Y_1, \ldots, Y_n$$p_e$$\nu$$p_e$

Araştırmacının olasılık modelinde bir parametre vektörü tarafından endekslenen olasılık yoğunluk fonksiyonlarının bir koleksiyonudur . içindeki her yoğunluğun ortak bir sigma-sonlu ölçüye göre tanımlanmış olduğunu varsayalım (örneğin, her yoğunluk aynı örnek uzay ile bir olasılık kütle fonksiyonu olabilir ).${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$$\theta$${\cal M}$$\nu$$S$

Verileri gerçekten oluşturan yoğunluğunu kavramsal olarak verilerin olasılık modelinden farklı tutmak önemlidir . Klasik istatistiksel tedavilerde bu kavramların dikkatlice ayrılması ya ihmal edilir, yapılmaz ya da en başından itibaren olasılık modelinin doğru bir şekilde belirtildiği varsayılır.$p_e$

ile ilgili olarak doğru bir şekilde tanımlanmış modeli -neredeyse her yerde nin olduğu bir model olarak tanımlanır . Tüm göre misspecified olduğu olasılık modeli doğru belirtilmezse durumda, bu karşılık gelir.${\cal M}$$p_e$$p_e \in {\cal M}$ $\nu$${\cal M}$$p_e$

Olasılık modeli doğru belirtilirse, o zaman var olan bir parametre alanı şekilde -neredeyse her. Böyle bir parametre vektörüne "gerçek parametre vektörü" denir. Olasılık modeli yanlış tanımlanmışsa, gerçek parametre vektörü mevcut değildir.$\theta^*$$\Theta$$p_e(y) = p(y ; \theta^*)$ $\nu$

White'ın model yanlış tanımlama çerçevesi içinde amaç, değerini en aza indiren parametresini bulmaktır. miktar kompakt parametre alanı üzerinden . Benzersiz bir sıkı küresel minimizer, varsayılmaktadır , beklenen değerin üzerinde iç kısmında yer almaktadır . Olasılık modelinin doğru bir şekilde belirtildiği şanslı durumda, "gerçek parametre değeri" olarak yorumlanabilir.$\hat{\theta}_n$$\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$$\Theta$$\theta^*$$\hat{\ell}_n$ ℓ n$\Theta$$\Theta$$\theta^*$

Olasılık modelinin doğru bir şekilde belirtildiği özel durumda, tanıdık maksimum olabilirlik tahminidir. Olasılık modelinin doğru bir şekilde belirtildiğine dair mutlak bir bilgimiz yoksa, yarı maksimum olasılık tahmini denir ve hedef değerini tahmin etmektir . Şanslı olursak ve olasılık modeli doğru bir şekilde belirtilirse, yarı maksimum olabilirlik tahmini, bilinen maksimum olabilirlik tahminine özel bir durum olarak azalır ve gerçek parametre değeri olur.$\hat{\theta}_n$ θ n$\hat{\theta}_n$$\theta^*$$\theta^*$

Beyaz'ın (1982) çerçevesi içindeki tutarlılık , nın mutlaka gerçek parametre vektörü olmasını gerektirmeden ye yakınsamaya karşılık gelir . White çerçevesinde, by tarafından üretilen setlerin TRUE dağılımını P * içerme olasılığını asla tahmin edemeyiz. Bunun yerine, by tarafından üretilen setlerin yoğunluğu tarafından belirtilen dağılımı içermesi olasılığının olasılığı olan P ** olasılık dağılımını her zaman tahmin ederiz .$\theta^*$$\theta^*$$p(y ; \theta^*)$

Son olarak, model yanlış tanımlaması hakkında birkaç yorum. Yanlış tanımlanmış bir modelin son derece yararlı ve çok öngörücü olduğu örnekler bulmak kolaydır. Örneğin, varyansı son derece küçük olmakla birlikte ortamdaki gerçek artık hata Gauss olmayan bir Gauss rezidüel hata terimi olan doğrusal olmayan (hatta lineer) bir regresyon modelini düşünün.

Doğru şekilde belirlenmiş bir modelin yararlı olmadığı ve öngörücü olmadığı örnekler bulmak da kolaydır. Örneğin, yarın kapanış fiyatının bugünkü kapanış fiyatının ve son derece büyük bir varyansa sahip bazı Gauss gürültüsünün ağırlıklı bir toplamı olduğunu tahmin eden hisse senedi fiyatlarını tahmin etmek için rastgele bir yürüyüş modeli düşünün.

Model yanlış tanımlama çerçevesinin amacı model geçerliliğini sağlamak değil, güvenilirliği sağlamaktır. Yani, parametre tahminlerinizle, güven aralıklarınızla, hipotez testlerinizle ve benzerlerinizle ilişkili örnekleme hatasının, küçük veya büyük miktarda model yanlış tanımlamasına rağmen doğru şekilde tahmin edildiğinden emin olun. Yarı-maksimum olabilirlik tahmin merkezli asimptotik normal bir kovaryans matrisi tahmin negatif log olasılık fonksiyonunun birinci ve ikinci türevleri hem bağlıdır ki. Şanslı olduğunuz ve modelin doğru olduğu özel durumda, tüm formüller, amacın "gerçek" parametre değerlerini tahmin etmek olduğu bilinen klasik istatistiksel çerçeveye indirgenir.$\theta^*$

İlk olarak, bunun gerçekten büyüleyici bir soru olduğunu söyleyeyim; onu göndermek için Julian'a kudos. Gördüğüm kadarıyla, sen bu tür bir analiz karşılaştıkları temel sorun herhangi bir alt dizisini herhangi çıkarım olmasıdır modelinde olasılık önlemlerinin kısıtlı sınıfının üzerinde bir çıkarım olduğunu Sorduğunuz başlamak nedenle zaman modelin altında gerçek modeli çıkarma olasılıkları, bu, başlangıçta yanlış belirtinin olup olmadığı konusunda önemsiz bir soruya dönüşür. Beyaz, uygun bir mesafe metriği kullanarak modelin gerçek olasılık ölçüsüne ne kadar yaklaştığını inceleyerek bunun üstesinden gelir. Bu onu için en yakın proxy olan olasılık ölçüsüne götürür$\Theta$$\mathcal{M}$$\mathbb{P}_{\theta_1}$$\mathbb{P}^*$içinde . bakma yöntemi , güven kümeleriyle ilgili sorunuzla ilgili ilginç miktarlar vermek üzere genişletilebilir.$\mathcal{M}$$\mathbb{P}_{\theta_1}$

Buna gelmeden önce, ve değerlerinin analizinizde matematiksel olarak iyi tanımlandığını (yani, var olduklarını) ve yine de bir anlamı olduğunu belirtmek gerekir; sadece çok faydalı bir anlam olmak zorunda değildir. Analizinizdeki değeri iyi tanımlanmıştır; çıkarılan olasılık kümesi kümesinin gerçek olasılık ölçüsünü içermesi gerçek olasılıktır. Doğru olduğu ima , bu miktar mlama durumunda önemsiz olduğu anlamına gelir. Beyaz'ın liderliğini takiben, miktara bakmak belki de daha ilginçtir:$A$$B$$A$$\mathbb{P}^* \notin \mathcal{M}$$A = 0$

Burada iç oluşumunu modelindeki en yakın proxy'si ile değiştirdik , böylece . Şimdi, gerçek olasılık ölçüsünün, çıkarılan olasılık kümesi kümesinin, modeldeki gerçek olasılık ölçüsü için en yakın vekili içerdiğini soruyoruz. Modelin yanlış tanımlanması artık bu miktarı önemsiz hale getirmiyor, çünkü yapım aşamasında .M P ∗ ∉ M P θ 1 ∈$\mathbb{P}^*$$\mathcal{M}$$\mathbb{P}^* \notin \mathcal{M}$$\mathbb{P}_{\theta_1} \in \mathcal{M}$

White, MLE'nin tutarlı bir tahmincisi olduğunu göstererek yanlış ifadeyi analiz eder . Bu değerlidir çünkü yanlış bir tanımlama olsa bile, hala modeldeki gerçek olasılık ölçüsüne en yakın proxy'yi doğru bir şekilde tahmin ettiğinizi söyler. Güven kümeleriyle ilgili doğal bir takip sorusu, belirli bir çıkarım yönteminin delta'nın miktarına herhangi bir alt sınır veya olarak sınırla sonuçlanan herhangi bir yakınsama δ A ∗ n→$\mathbb{P}_{\theta_1}$$\delta$$A^*$$n \rightarrow \infty$. (Pozitif) bir alt sınır veya (pozitif) yakınsama sonucu oluşturabilirseniz, bu, yanlış tanımlama olsa bile, en yakın proxy'yi bazı olasılık düzeyleriyle doğru bir şekilde tahmin ettiğinizi garanti etmede size bir değer verir. White tarafından yapılan analiz türünü izleyerek bu sorunları araştırmanızı tavsiye ederim.