Neden farklı topolojilerde farklı tahmin edicilerin yakınsama davranışlarını tartışmalıyız?

Farklı fonksiyonel uzayda tahminlerin yakınsamasından bahseden Cebirsel Geometri ve İstatistiksel Öğrenme Teorisi kitabının ilk bölümünde Bayes kestiriminin Schwartz dağılım topolojisine karşılık geldiğinden bahsederken, maksimum olabilirlik kestirimi sup-norm topolojisine karşılık gelir. (sayfa 7'de):

Örneğin, sup-norm, -normu, Hilbert uzayının zayıf topolojisi , Schwartz dağılım topolojisi vb. yakınsamasının fonksiyon alanının topolojisine güçlü bir şekilde bağlıdır . Bayes tahmini, Schwartz dağılım topolojisine karşılık gelirken, maksimum olabilirlik veya posteriori yöntem sup-normlara karşılık gelir. Bu fark, tekil modellerde öğrenme sonuçlarını güçlü bir şekilde etkiler. $L^p$ $L^2$ $K_n(w)\to K(w)$

burada ve sırasıyla gerçek model ve bir parametrik model ( parametresi ile) arasındaki ampirik KL sapması (gözlemler üzerinde özetleme) ve gerçek KL veri dağılımıyla integral ). $K_n(w)$ $K(w)$ $w$

Herkes bir açıklama yapabilir ya da bana kitapta hangi yerin gerekçesinin olduğunu ima edebilir mi? Teşekkür ederim.

Güncelleme : telif hakkı içeriği kaldırılır.

bayesian maximum-likelihood statistical-learning

— ziyuang
kaynak

nelerdir ve ?

K

$K$

K_{n}

$K_n$

— Taylor

@Taylor Gerekli bazı bilgileri ekledim.

— ziyuang

Sorunuzu daha sonra cevaplayacağım, watanabe'nin kitabını nispeten iyi biliyorum. Yine de bir kitabı alıntılama şeklinizden kesinlikle hoşlanmıyorum. Bölümleri doğrudan buraya koyarsanız, potansiyel telif hakkı sorununa neden olabilir. Sayfa numaralarını kullanmak ve uygun kaynakça ile alıntılar yazmak daha iyi bir seçim olacaktır.

— Henry.L

@ Henry.L Teşekkürler ve telif hakkı içeriği kaldırılmıştır.

— ziyuang

@Henry: Telif hakkıyla korunan eserlerin çoğaltılmasında temkinli ve vicdanlı olmanın değeri olduğuna inanıyorum, bence, bu durumda, ziyuang'ın endişelenecek hiçbir şeyi yok. OP'nin bilimsel eleştiriler için küçük alıntılar kullanması (ABD) “adil kullanım” doktrini içinde çok kareye düşmektedir. Gerçekten de, tam bir çoğaltmaya sahip olmak bazen özellikle değerli olabilir, çünkü içeriğin yeniden düzenlenmesi ile ortaya çıkabilecek belirsizlikleri ortadan kaldırır. (Bütün bunlar söyledi, IANAL.)

— kardinal

Watanabe'nin tartışmasını anlamak için, "tekillik" ile ne kastettiğini anlamak önemlidir. (Katı) tekillik, teorisindeki tekil metrik geometrik kavramıyla çakışır.

s.10 [Watanabe]: "Bir istatistiksel model , tanımlanabilir ve pozitif belirli bir metriğe sahipse düzenli olduğu söylenir. İstatistiksel bir model düzenli değilse, o zaman kesinlikle tekil olarak adlandırılır." $p(x\mid w)$

Pratikte, tekillik genellikle, model tarafından tanımlanan model tarafından tanımlanan manifoldda dejenere edilmiş Fisher bilgi metriği, "makine öğrenimi" çalışmalarındaki düşük sıralı veya seyrek vakalar gibi durumlarda ortaya çıkar.

Watanabe'nin ampirik KL ıraksamasının teorik değerine yakınsaması hakkında söyledikleri şu şekilde anlaşılabilir. Iraksama kavramının bir kaynağı sağlam istatistiklerden gelir. MLE'yi kontrast işlevi olan özel bir durum olarak içeren M-tahmin edicileri genellikle zayıf topoloji kullanılarak tartışılır. MLE'nin sağlamlık davranışını incelemek istediğimiz için yakınsama davranışını (Polonya alanı üzerinde tanımlanan tüm olası önlemlerin manifoldu üzerinde zayıf topoloji kullanarak tartışmak mantıklıdır . [Huber] 'daki klasik bir teorem, iyi ayrılmış ayrılık fonksiyonu . $\rho(\theta,\delta(X))=-\log p(X\mid \theta)$ $M(\cal{X})$ $\cal{X}$ $D(\theta_0,\theta)=E_{\theta_{0}}\rho(\theta,\delta)$

inf_{| θ - θ_{0} | \geq ϵ} (| D (θ_{0}, θ) - D (θ_{0}, θ_{0}) |) > 0

$\inf_{|\theta-\theta_0|\geq\epsilon}(|D(\theta_0,\theta)-D(\theta_0,\theta_0)| )>0$ ve sapma kontrast fonksiyonunun iyi deneysel yaklaşım, düzenli ile birlikte, bir anlamda tutarlılık elde edilebilir olacak yakınsayacağı olasılığı . Doob'un Bayes kestiricisinin zayıf tutarlılığındaki sonucuyla [Doob] karşılaştırırsak, bu sonuç çok daha kesin koşullar gerektirir.

sup_{θ} | \frac{1}{n} \sum_{i} ρ (θ, δ (X_{i})) - D (θ_{0}, θ) | \to 0, n \to \infty

$\sup_{\theta}\left|\frac{1}{n}\sum_{i}\rho(\theta,\delta(X_i))- D(\theta_0,\theta)\right|\rightarrow 0,n\rightarrow\infty$

\hat{θ_{n}} := {a r g m i n}_{θ} ρ (θ, δ (X_{n}))

$\hat{\theta_n}:=\mathrm{arg\,min}_{\theta}\rho(\theta,\delta(X_n))$

θ_{0}

$\theta_0$

P_{θ_{0}}

$P_{\theta_0}$

İşte burada Bayesci tahminciler ve MLE ayrışıyor. Bayes kestiricilerinin tutarlılığını tartışmak için hala zayıf topoloji kullanırsak, bu anlamsızdır, çünkü Bayes kestiricileri her zaman (olasılıkla) Doob ile tutarlı olacaktır. Bu nedenle daha uygun bir topoloji, zayıf türevlere izin veren Schwarz dağılım topolojisidir ve von Mises teorisi devreye girmiştir. Barron, bu konuda tutarlılık elde etmek için Schwartz teoremini nasıl kullanabileceğimiz hakkında çok güzel bir teknik rapora sahipti.

Başka bir bakış açısıyla, Bayesci tahminciler dağılımlardır ve topolojileri farklı bir şey olmalıdır. Öyleyse nin bu tür topolojide ne tür bir rolü var ? Cevap, Bayes kestiricisinin güçlü bir şekilde tutarlı olmasını sağlayan öncüllerin KL desteğini tanımlamasıdır. $D$

"Tekil öğrenme sonucu" etkilenir, çünkü gördüğümüz gibi, Doob'un tutarlılık teoremi Bayesian tahmincilerinin zayıf topolojide zayıf tek tutarlılıkta (tekil modelde bile) olmasını sağlarken MLE aynı topolojideki belirli gereksinimleri karşılamalıdır.

Sadece bir kelime, [Watanabe] yeni başlayanlar için değil. Çoğu istatistikçiden daha fazla matematiksel olgunluk gerektiren gerçek analitik setler üzerinde bazı derin etkileri vardır, bu nedenle uygun rehberlik olmadan okumak muhtemelen iyi bir fikir değildir.

$\blacksquare$ Referanslarımız

Watanabe, Sumio. Cebirsel geometri ve istatistiksel öğrenme teorisi. Vol. 25. Cambridge University Press, 2009.

[Huber] Huber, Peter J. "Maksimum olabilirlik davranışı standart olmayan koşullar altında tahmin ediliyor." Beşinci Berkeley sempozyumunun matematiksel istatistik ve olasılık bildirileri. Vol. 1. Hayır. 1. 1967.

[Doob] Doob, Joseph L. "Şehitler teorisinin uygulanması." Le calcul des probabilites ve ses uygulamaları (1949): 23-27.

— Henry.L
kaynak

Cevabın bazı kısımları için biraz sezgi vermeye çalışıyorum, eğer yanılıyorsam beni düzeltin. Bayes kestiricisi, bir nokta kestiricisi (Olasılıksal dağılım yerine MAP) olarak görürsek tutarlıdır. Önceden düzenlileştirme olarak hareket ettiğinden, tutarlılığı için sezgisel olarak MLE'den daha az koşul gerektirir. Öte yandan, Schwartz dağıtım topolojisi Bayes tahmincisini bir dağılım olarak gördüğümüzde daha uygundur, ayrıca MLE ve Bayes tahmincisinin tutarlılığı arasında daha yakın bir ilişki kurmaya yardımcı olur, böylece birinin ayrıştığı ve diğer yakınsaklıkların gerçekleşmeyeceği .

— ziyuang

Üzgünüm ama açıklamanızın doğru olduğunu düşünmüyorum. Önceki bir düzenleyici olarak hareket eder, ancak bu, yakınsama oranını mutlaka kontrol etmez. Aslında düz öncelikler yakınsamayı yavaşlatıyor. Bunlar sadece iki farklı topolojidir.

— Henry.L