Modelim yanlışken neden Bayesian olmalıyım?

68

Düzenlemeler: Basit bir örnek ekledim: ortalamasının . Ayrıca, güvenilebilir aralıklarla güven aralıklarını eşleştirmeyen güven aralıklarının neden kötü olduğunu da biraz açıkladım. $X_i$

Ben, oldukça dindar bir Bayesian, bir çeşit inanç krizinin ortasındayım.

Benim sorunum şu. Bazı IID verilerini analiz etmek istediğimi varsayın . Benim yapacağım şey: $X_i$

önce, koşullu bir model önerin:
$p (X | θ)$ $p(X|\theta)$
Ardından : bir öncelik seçin. $\theta$
$p (θ)$ $p(\theta)$
Son olarak, Bayes kuralını uygulayın, posterioru hesaplayın: (veya eğer hesaplanamazsa buna biraz yaklaşın) ve hakkında sahip olduğum tüm soruları yanıtlayın $p(\theta | X_1 \dots X_n )$ $\theta$

Bu mantıklı bir yaklaşım: eğer verilerinin gerçek modeli gerçekten "içeride" ise (bazı değere karşılık gelir ), o zaman metodumun kabul edilebilir olduğunu söylemek için istatistiksel karar teorisini çağırabilirim (bkz. Robert’in Ayrıntılar için "Bayesian seçimi"; "Bütün istatistikler" de ilgili bölümde açık bir açıklama sunar). $X_i$ $\theta_0$

Ancak, herkesin bildiği gibi, modelimin doğru olduğunu kabul etmek oldukça kibirli: doğa neden düşündüğüm modeller kutusunun içine düzgün bir şekilde düşmeli? Veri gerçek modeli varsaymak çok daha gerçekçi olduğunu farklıdır tüm değerler için . Bu genellikle "yanlış tanımlanmış" bir model olarak adlandırılır. $p_{true}(X)$ $p(X|\theta)$ $\theta$

Benim sorunum, bu daha gerçekçi, yanlış tanımlanmış bir durumda, sadece Maksimum Olabilirlik Tahmincisi'ni (MLE) hesaplamak yerine, Bayesian (yani: posterior dağılımını hesaplamak) konusunda iyi bir tartışmam yok:

{\hat{θ}}_{M L} = \arg max_{θ} [p (X_{1} \dots X_{n} | θ)]

$\hat \theta_{ML} = \arg \max_\theta [ p(X_1 \dots X_n |\theta) ]$

Nitekim, Kleijn, vd Vaart (2012) 'ye göre , hatalı belirtilen durumda, posterior dağılım:

olarak yakınsayan bir merkezlenmiş bir Dirac dağılımına $n\rightarrow \infty$ $\hat \theta_{ML}$
posterior eşleşmesinin güvenilir aralıklarının için güven aralıklarının güvenilir olmasını sağlamak için doğru varyansa sahip değildir (iki değer aynı olmazsa) . (Unutma ki, güven aralıkları açık bir şekilde Bayesyanların aşırı derecede umursadığı bir şey olmasa da, bu niteliksel olarak posterior dağılımın özünde yanlış olduğu anlamına gelir; $\theta$

Bu nedenle, ek bir özellik olmadan hesaplamalı bir prim (genel olarak Bayesian çıkarımı, MLE'den daha pahalıdır) ödüyoruz.

Böylece, nihayet sorum şu: model yanlış tanımlandığında daha basit MLE alternatifi üzerinde Bayesian çıkarımını kullanmak için teorik veya ampirik olan herhangi bir tartışma var mı?

(Sorularımın genellikle belirsiz olduğunu bildiğimden, lütfen bir şey anlamadığınızda bana bildirin: tekrar yazmaya çalışacağım)

Düzenleme: basit bir örnek ele alalım: bir Gauss modelinde ortalamasını ( daha da basitleştirmek için bilinen varyans ile). Biz Gauss önce düşünün: Biz göstermek , önceki ortalama öncesinde ters Varyans. Let ampirik acımasız olma . Son olarak, not: . $X_i$ $\sigma$ $\mu_0$ $\beta_0$ $\bar X$ $X_i$ $\mu = (\beta_0 \mu_0 + \frac{n}{\sigma^2} \bar X) / (\beta_0 + \frac{n}{\sigma^2} )$

Posterior dağılımı:

p (θ | X_{1} \dots X_{n}) \propto \exp (- (β_{0} + \frac{n}{σ^{2}}) (θ - μ)^{2} / 2)

$p(\theta |X_1 \dots X_n)\; \propto\; \exp\!\Big( - (\beta_0 + \frac{n}{\sigma^2} ) (\theta - \mu)^2 / 2\Big)$

Doğru olarak belirtilen durumda ( gerçekten Gauss dağılımına sahipse), bu posterior aşağıdaki iyi özelliklere sahiptir. $X_i$

Eğer paylaşılan ortalamalarının önceki dağılımdan seçildiği hiyerarşik bir modelden üretilirse, posterior güvenilir aralıkları tam kapsamaya sahiptir. Verilere bağlı olarak, herhangi bir aralıkta olma olasılığı, posteriorun bu aralığa atfetme olasılığına eşittir $X_i$ $\theta$
Öncelik doğru olmasa bile, güvenilir aralıklar limitinde doğru kapsamaya sahiptir, bunun içindeki posterior üzerindeki önceki etkinin ortadan kalkması $n\rightarrow \infty$
posterior ayrıca iyi sıklık özelliklerine sahiptir: posteriordan oluşturulan herhangi bir Bayesian tahmin edicisinin kabul edilebilirliği garanti edilir, posterior ortalamanın, ortalama, güvenilir aralıklar, asimptotik olarak, güven aralıklarının etkin bir tahmincisidir (Cramer-Rao anlamında).

Belirtilen durumda, bu özelliklerin çoğu teori tarafından garanti edilmez. Fikirleri düzeltmek için, gerçek modelinin bunun yerine Öğrenci dağılımları olduğunu varsayalım . Güvence altına alabileceğimiz tek özellik (Kleijn ve diğerleri), posterior dağılımın gerçek ortalamasına limitinde yoğunlaştığıdır . Genel olarak, tüm kapsama özellikleri ortadan kalkacaktı. Daha da kötüsü, genel olarak, bu sınırlamada, kapsam özelliklerinin temelde yanlış olduğunu garanti edebiliriz: posterior dağılım, uzayın çeşitli bölgelerine yanlış olasılık getirmektedir. $X_i$ $X_i$ $n \rightarrow \infty$

— Guillaume Dehaene
kaynak

2

Eh, Bayesian yaklaşımları düzenli. Bu, fazla giydirmeye karşı yardım etmek için bir şeydir - modelinizin yanlış tanımlanıp tanımlanmadığı. Tabii ki, bu sadece Bayezyen düzenlenmiş klasik yaklaşımlara (kement, sırt regresyon, elastik net vb.) Karşı çıkarım argümanlar hakkında ilgili sorulara yol açar .

— S. Kolassa - Monica'yı

3

Bu iş ve akrabaları ilginizi çekebilir .

— Dougal

7

Modeliniz yanlış olabilirlik işlevi açısından yanlış tanımlandığında, hem MLE hem de Bayesian tahminleri yanlış olur ...

— Tim

5

@Tim: MLE ve Bayesian çıkarımı, belirtilmemiş durumda anlamsız değil: her ikisi de koşullu modeller içindeki verilerin en iyi hesabını veren parametre değerini kurtarmaya çalışıyorlar . Daha doğrusu, , nın argmin'idir; burada KL, Kullback Leibler ayrıntısıdır. Hafif varsayımlar altında, hem MLE hem de Bayesian çıkarımı , yeterli miktarda veri sağlandığında bu doğru şekilde tanımlamaktadır

{\tilde{θ}}_{0}

$\tilde \theta_0$

{\tilde{θ}}_{0}

$\tilde \theta_0$

K L [p (X), p (X | θ)]

$KL[p(X), p(X|\theta)]$

{\tilde{θ}}_{0}

$\tilde \theta_0$

— Guillaume Dehaene

3

@ amoeba Sert çekirdekli Bayesian görünüm ve comandante gibi davranıyorum hayal Che

— Aksakal

31

Verilerim konu hakkında bilinen her şey olmadığı zaman Bayesian yaklaşımını düşünüyorum ve bu dışsal bilgiyi tahminime dahil etmek istiyor.

Örneğin, müşterim portföylerindeki kredi temerrütlerini tahmin etmek istiyor. Birkaç yıllık üç aylık geçmişe ait verileri içeren 100 kredileri var. Birkaç suçluluk vakası vardı (geç ödeme) ve sadece birkaç temerrüdü. Bu veri setindeki hayatta kalma modelini tahmin etmeye çalışırsam, tahmin etmek için çok az veri ve tahmin için çok fazla belirsizlik olacaktır.

Öte yandan, portföy yöneticileri deneyimli kişilerdir, bazıları borçlularla ilişkileri yönetmek için on yıllarını harcamış olabilir. Varsayılan oranların nasıl olması gerektiği hakkında fikirleri vardır. Bu yüzden, makul öncelikler bulabilecekler. Dikkat edin, matematik özellikleri güzel olan ve zihinsel olarak bana çekici gelen öncelikler değil . Onlarla sohbet edeceğim ve onların deneyimlerini ve bilgilerini öncekiler şeklinde çıkaracağım.

Şimdi Bayesian çerçevesi bana dışsal bilgilerle verilerle önceki gibi evlenmem ve bana göre hem saf niteliksel yargıdan hem de saf veriye dayalı tahminden daha üstün olan postereri elde etmemizi sağlayacak bir mekanik sağlayacak. Bu bir felsefe değil ve ben bir Bayesian değilim. Sadece Bayesian araçlarını, sürekli olarak uzman bilgisini veriye dayalı tahminlere dahil etmek için kullanıyorum.

— Aksakal
kaynak

3

Çok güzel bir nokta. Bayesian çıkarsama, sunduğunuz gibi kesin bir işi çözmek için bir çerçeve sunar. Teşekkür ederim.

— Guillaume Dehaene

5

Bu, Bayesian modelleme için genel bir argümandır, ancak yanlış tanımlanmış modelin özel durumuyla nasıl ilişkilidir? Bağlantı göremiyorum

— Richard Hardy,

4

Şey, benim sorumla ilgisi var: yanlış tanımlanmış bir durumda bile, bayesci çıkarım, niteleyici bilgiyi, önceki yöntemlerle, normalleştiricilerle çalışmak zorunda olacak olan MLE yöntemlerinden daha iyi ele alır (yani daha ilkeli bir şekilde). Bu, bayesian çıkarımın neden MLE'den biraz daha iyi olduğuna dair ampirik bir tartışma şeklidir.

— Guillaume Dehaene

2

@Aksakal, modellerin yanlış belirlenip belirlenmediği konusunun dışında. Endişelendiğim şey, soruyu cevaplamamanız. (OP buna katılmıyorsa, o zaman soruyu formüle etmekte kötü bir iş çıkardığını düşünüyorum.) Ama yakın zamanda bir düzenleme yapıldığını görüyorum, bu yüzden belki de soru şimdi değişti.

— Richard Hardy

4

@RichardHardy, cevabım OP’in şartlı modeliniz yanlış belirlenmişse, daha önce örneklem büyüklüğüyle artacağı ve posterinin yanlış modele itileceği düşüncesine dayanan inanç krizinin kalbine girdiğini düşünüyorum. . Bu durumda neden Bayesian ile başlamak için rahatsız ediyor, neden sadece düz MLE'ye değil, diye soruyor. Benim örneğim kesinlikle felsefi değil, pratiktir: sık sık sadece sonlu değil, küçük örneklerle ilgileniyorsunuz. Bu nedenle, verileriniz eksojen bilgiyi temsil eden bir öncekinden çok uzağa posteri sürüklemeyecektir.

— Aksakal

25

Bir cevabı olmayan çok ilginç bir soru (ama bu daha az ilginç yapmaz!)

Tüm modellerin yanlış olduğu konusunda bu düşünce hakkında birkaç düşünce (ve blog girişlerime bağlanan birçok bağlantı!) :

Varsayım modeli gerçekten neredeyse her zaman değişmez ve sınırsızca yanlış olsa da, en iyisini yapabiliyorsa, bu modele göre verimli veya tutarlı bir şekilde hareket etmek mantıklı geliyor. Elde edilen çıkarım, mevcut veri üretme modeline "en yakın" olan resmi modelin (varsa) bir değerlendirmesini üretir;
Model olmadan yapabilecek Bayesian yaklaşımları var, en son örnek Bissiri ve arkadaşlarının makaleleri . ( yorumlarımla birlikte ) ve Watson ve Holmes ( Judith Rousseau ile tartıştığım );
Bağlantılı bir şekilde, M-açık çıkarımı ile ilgili Bayesçi istatistiklerin bütün bir dalı vardır ;
Ve benim daha çok sevdiğim bir başka yön ise, orijinal olasılığın gücü olarak ifade edilen aşağı dereceli bir versiyonla olasılığın yerini alma modelinin yanlış tanımlanmasını dikkate alan Peter Grünwald'ın SafeBayes yaklaşımı .
Gelman ve Hennig tarafından yazılan en son Okuma Belgesi, bu konuyu, karmaşık bir şekilde de olsa ele alıyor (ve bloguma bazı yorumlar ekledim ). Sorunuzla ilgili girdilerden bir tartışma için materyal toplayabileceğinizi varsayıyorum.
Bir bakıma, Bayesanlar bu konuda istatistikçiler ve modelleyiciler arasında en az endişelenmeli, çünkü örnekleme modeli önceki varsayımlardan biri olarak alınacak ve sonuç tüm bu önceki varsayımlara göre şartlı ya da göreceli olacaktır.

— Xi'an
kaynak

2

Bu konuda fikrini almak çok güzel. İlk noktanız sezgisel bir anlam ifade ediyor: model çok yanlış değilse, çıkarımımızın sonucu iyi olmalı. Ancak, hiç kimse böyle bir sonuç kanıtlayamadı mı (veya soruyu ampirik olarak araştırdı)? Son noktan (yanlış anlayabildiğim gibi) beni şaşırtıyor: örnekleme modeli kritik bir seçim. Aynı zamanda seçim de yapmamız, örnekleme modelinin seçimindeki hataların tüm modeli bozamayacağı anlamına gelmez. Referanslar ve harika blog için teşekkürler.

— Guillaume Dehaene

1. nokta için, neden Bayesian modelinin ortalaması değil? Neden sadece 'en iyi' modelini kullanıyorsunuz?

— innisfree

@innisfree: hepsi sonuçla ne yapmayı planladığına bağlı, en iyi modele karşı model ortalamaları konusunda hiçbir dine sahip değilim.

— Xi'an

1

Yalnızca “en iyi” modelin seçilmesine karşı ortalama model belirsizliğinin karar teorik bir yönü olduğunu öne sürüyorsunuz. Elbette her zaman avantajlıdır, yani model belirsizlikler dahil tüm belirsizlikleri tutarlı bir şekilde birleştirmek için daha iyi kararlar alınmasına yardımcı olur.

— innisfree

2

Parametrik olmayanlara ana itirazım pratiktir: daha basit alternatiflere kıyasla birkaç büyüklük sırası tarafından hesaplamalı olarak daha pahalıdır. Ayrıca, parametrik olmayanlarla da sorun yaşamadık, çünkü iki önceki dağıtımın ortak bir desteğe sahip olması neredeyse imkansız mı? Bu, önceliğin ağır bir etkiye sahip olacağı ve bayezyen istatistikçilerin farklı önceliklerden başladığında hemfikir olmalarının neredeyse imkansız olacağı anlamına gelir.

— Guillaume Dehaene

12

Düzenlemeler: OP tarafından talep edildiği gibi, bu kağıda referans olarak eklendi .

Burada saf bir deneysel Bayesian olarak cevap veriyorum .

İlk olarak, posterior dağılım, basit bir MLE ile yapamayacağınız hesaplamalar yapmanızı sağlar. En basit durum, günümüzün posteriorunun yarının önceliği olduğu . Bayesci çıkarım, doğal olarak sıralı güncellemelere veya genel olarak çevrimiçi veya çok sayıda bilgi kaynağının gecikmeli kombinasyonuna izin verir (bir öncek bu tür bir kombinasyonun sadece bir ders kitabı örneğidir). Önemsiz bir kayıp işlevi olan Bayesian Karar Teorisi başka bir örnektir. Aksi takdirde ne yapacağımı bilemem.

İkincisi, bu cevaba göre belirsizliğin ölçülmesinin genellikle belirsizliğin olmamasından daha iyi olduğu mantrasının etkili bir ampirik bir soru olduğunu, çünkü teoremlerin (sizin de bahsettiğim ve bildiğim kadarıyla) hiçbir garanti sağlamadığını iddia edeceğim.

Bilimsel çabanın oyuncak modeli olarak optimizasyon

Sorunun karmaşıklığını tamamen yakaladığını hissettiğim bir alan çok pratik, saçma sapan, kara kutu işlevinin optimizasyonu . Sırayla noktasında sorgulayabileceğimizi ve muhtemelen gürültülü bir gözlem alabileceğimizi varsayıyoruz , . Amacımız , en az sayıda fonksiyon değerlendirmesi ile mümkün olduğunca . $f: \mathcal{X} \subset \mathbb{R}^D \rightarrow \mathbb{R}$ $x \in \mathcal{X}$ $y = f(x) + \varepsilon$ $\varepsilon \sim \mathcal{N}(0,\sigma^2)$ $x^* = \arg\min_x f(x)$

Bekleyebileceğiniz gibi, ilerlemenin özellikle etkili bir yolu, herhangi bir sorgusunda bulunursam ne olacağını öngören bir model oluşturmak ve daha sonra ne yapacağına karar vermek için bu bilgiyi kullanmaktır (ya yerel veya küresel olarak). Türevsiz global optimizasyon yöntemlerinin gözden geçirilmesi için bkz. Rios ve Sahinidis (2013) . Model yeterince karmaşık olduğunda, buna meta model veya vekil işlev veya yanıt yüzeyi yaklaşımı denir . En önemlisi, model (örneğin, radyal temelli bir ağ işlevinin gözlemlerimize uyması) için bir nokta tahmini olabilir, ya da Bayesyen olabiliriz ve bir şekilde üzerinde tam bir poster dağılımı elde edebiliriz $x^\prime \in \mathcal{X}$ $f$ $f$ (örneğin, bir Gauss süreci ile).

Bayes optimizasyonu , bazı prensipsel sezgilerle (global) optimum araştırmasını yönlendirmek için üzerinden posterior'u (özellikle eklem koşullu posterior ortalama ve herhangi bir noktada varyans) kullanır. Klasik seçim maksimize etmektir beklenen iyileşme mevcut en iyi noktaya bitti, ama hatta meraklısı yöntemleri asgari konumun üzerine beklenen entropi minimize gibi vardır (ayrıca bkz burada ). $f$

Buradaki ampirik sonuç, kısmen yanlış tanımlanmış olsa bile, bir posterior'a erişimin genel olarak diğer yöntemlerden daha iyi sonuçlar vermesidir. (Bayes optimizasyonunun rastgele aramaya göre daha iyi olmadığı, yüksek boyutlarda olduğu gibi uyarılar ve durumlar vardır.) Bu yazıda , BO kullanımının uygun olup olmadığını kontrol ederek yeni bir BO yöntemine karşı diğer optimizasyon algoritmalarına yönelik ampirik bir değerlendirme yapıyoruz. Uygulamada, umut verici sonuçlarla.

İstediğinizden beri - bunun diğer Bayesian olmayan yöntemlerden çok daha yüksek bir hesaplama maliyeti var ve neden Bayesian olmamız gerektiğini merak ediyordunuz. Buradaki varsayım doğruysa değerlendiren dahil maliyeti olmasıdır (örneğin, gerçek bir senaryoda, karmaşık mühendislik veya makine öğrenme deneyi) böylece Bayes olmak Bayes analizi için hesaplamalı maliyeti çok daha büyüktür öder . $f$

Bu örnekten ne öğrenebiliriz?

İlk olarak, neden Bayesian optimizasyonu çalışıyor? Ben modeli yanlış, ama olmadığını tahmin olduğunu yanlış ve her zamanki gibi yanlışlığı modeliniz için ne olduğuna bağlı. Örneğin, tam şekli, herhangi bir monotonik dönüşümü optimize edebileceğimiz için optimizasyonla ilgili değildir. Sanırım doğa böyle değişimlerle dolu. Bu nedenle, yaptığımız arama en uygun olmayabilir (yani, iyi bilgileri çöpe atıyoruz), ancak yine de belirsizlik bilgisi olmayanlardan daha iyidir. $f$

İkincisi, örneğimizde Bayesçi olmanın faydasının içeriğe , örneğin mevcut (hesaplamalı) kaynakların nispi maliyeti ve miktarına bağlı olmasının mümkün olduğunu vurgulamaktadır . (Elbette, eğer sert bir Bayesian iseniz, her hesaplamanın bir önceki ve / veya yaklaşık değerlerin altındaki Bayesian çıkarımı olduğuna inanıyorsunuz .)

Son olarak, asıl soru şu - neden her şeyden önce o kadar da kötü değil kullandığımız modeller , posterler hala faydalı ve istatistiksel çöp değil mi? No Free Lunch No teoremini alırsak, çok fazla şey söyleyememeliyiz, ama neyse ki tamamen rasgele (ya da tersine seçilmiş ) işlevler dünyasında yaşamıyoruz .

Daha genel olarak, "felsefi" etiketini koyduğunuzdan beri ... Sanırım indüksiyon problemi alanına veya matematiğin istatistiksel bilimlerdeki makul olmayan etkinliğine (özellikle matematiksel sezgimiz ve modellerini belirleme yeteneğimize) giriyoruz. bu pratikte işe yarar) - Tamamen priori bir açıdan bakıldığında, tahminlerimizin iyi olması ya da herhangi bir güvencesi olması için hiçbir neden yoktur (ve elbette, işlerin ters gittiği matematiksel karşı örnekler oluşturabilirsiniz), ancak pratikte iyi çalışmak için dışarı.

— lacerbi
kaynak

2

Müthiş cevap. Katkınız için çok teşekkür ederim. Bayesian sürümünün iddia ettiğiniz gibi ampirik olarak daha iyi olduğunu vurgulayan normal optimizasyon teknikleri ile Bayesian optimizasyonuna ilişkin herhangi bir inceleme / adil karşılaştırma var mı? (Sizi sözünüze almam konusunda oldukça iyiyim, ancak bir referans yararlı olacaktır)

— Guillaume Dehaene

1

Teşekkürler! Olasılıksal sayısalların silah çağrısı için birkaç teorik ve ampirik argüman içerdiğini düşünüyorum . BO yöntemlerini standart yöntemlerle gerçekten karşılaştıran bir kıyas ölçütünün farkında değilim, ancak [ tetikleyici uyarı: utanmaz fiş ] Şu anda hesaplamalı sinirbilim alanındaki bu çizgiler üzerinde bir şey üzerinde çalışıyorum; Bazı sonuçların arXiv'e dahil edilmesini umuyorum, önümüzdeki birkaç hafta içinde.

— lacerbi

Nitekim, en azından şekil 2 açık bir kıyaslamaya sahiptir. Lütfen, bir kez ortaya çıktıktan sonra ana sorunuza çalışmanızı ekleyebilir misiniz? Değerli bir katkı olacağını düşünüyorum.

— Guillaume Dehaene

Evet - bu onların oldukça havalı bir fikir olan uyarlamalı Bayesian karesi için kullandıkları yöntemdir (pratikte etkinliği, GP yaklaşımının çalışıp çalışmadığına bağlıdır; bu genellikle probleminizin mantıklı bir parametresine sahip olduğunuzu söylemeye eşdeğerdir). İşim uygun olduğunda cevabın bağlantısını ekleyeceğim, teşekkürler.

— lacerbi

1

@IMA: Üzgünüm,% 100'ün senin fikrini aldığımı sanmıyorum. Bilimsel çabanın oyuncak modeli olarak kara kutu optimizasyonunu yapıyordum . "Bilim" in birçok adımını ve problemini bu daha basit (ama yine de inanılmaz derecede karmaşık) alanla eşleştirebileceğinizi düşünüyorum. Argümanım için "Gauss gürültüsü" varsayımına gerek yok, sadece basitlik içindi. Gerçek dünya optimizasyon problemleri (örneğin, mühendislikte) Gauss olmayan gürültüyle bozulabilir ve bu da ele alınması gereken bir şeydir. Ve Gaussian süreçleri Gauss gözlem gözlem gürültüsüne ihtiyaç duymaz (çıkarımı kolaylaştırmasına rağmen).

— lacerbi

10

Bunu bugün sadece görüyorum ama yine de bir uzman olduğum ve en azından iki cevabın (nr 3 ve 20 (Xi'an işime atıfta bulunduğun için teşekkürler)) çalışmamdan bahsettiği için çiplenmem gerektiğini düşünüyorum. SafeBayes - özellikle G. ve van Ommen, "Tanımlanmamış Doğrusal Modeller için Bayesian Çıkarımının Tutarsızlığı ve Onarım Önerisi" (2014). Ayrıca 2 yorum yapmak için bir şeyler eklemek istiyorum:

2 diyor ki: (Bayes'in yanlış tanımlama altındaki bir avantajı ...) “Eh, Bayesian yaklaşıyor. Bu, aşırı giyinmeye karşı yardım etmek için bir şey - modelinizin yanlış tanımlanıp tanımlanmadığı. Tabii ki, bu sadece ilgili soruya yol açıyor Bayesci'nin düzenli klasik yaklaşımlara (kement vb.) karşı çıkarımı için tartışmalar "

Bu doğru, ancak Bayesçi yaklaşımların yeterince düzenli olamayacağını eklemek çok önemlidir. Model yanlışsa. Van Ommen ile çalışmanın ana noktası budur - orada standart Bayes'in yanlış ama çok kullanışlı modellerle bazı regresyon bağlamında çok fazla abartıldığını görüyoruz. MLE kadar kötü değil, fakat faydalı olması için hala çok fazla. Bayes'e benzer metotlar kullandıkları fakat çok daha küçük bir 'öğrenme oranı' olan teorik makine öğreniminde (sık ve oyun teorik) bir dizi iş vardır - öncekileri daha fazla ve verileri daha az önemli hale getirir, böylece daha da düzenli hale getirir. Bu yöntemler, en kötü durumlarda (yanlış tanımlama ve daha da kötüsü, olumsuz veriler) iyi çalışacak şekilde tasarlanmıştır - SafeBayes yaklaşımı, verilerden 'optimum öğrenme oranını' öğrenmek için tasarlanmıştır - ve bu optimal öğrenme oranı, yani en uygun miktar Düzenlemenin

Buna bağlı olarak, Bayes'in KL sapmasında “gerçeğe” en yakın dağılımda arka konsantre olacağına dair bir halk teoremi var (yukarıda birkaç kişi tarafından bahsedilmiştir). Ancak bu sadece çok katı koşullar altında tutulur - ÇOK iyi tanımlanmış durumda yakınsama için gereken koşullardan daha katı. Eğer standart düşük boyutlu parametrik modeller ile uğraşıyorsanız ve veriler bazı modellere göre (modelde değil) tanımlanırsa, posterior gerçekten modelin KL diverjansındaki gerçeğe en yakın olan nokta etrafında yoğunlaşacaktır. Şimdi eğer büyük parametrik olmayan modellerle uğraşıyorsanız ve model doğruysa, o zaman (esasen) posteriorunuz yeterli veri verilen gerçek dağılımın etrafında yoğunlaşacaktır, Önceden gerçek KL'nin etrafındaki küçük KL toplarına yeterli kütle koyduğunuz sürece. BuModel doğruysa parametrik olmayan durumda yakınsama için gerekli olan zayıf koşul.

Ancak, modeliniz parametrik olmayan, ancak hatalıysa, o zaman arkadaki en yakın KL noktası etrafında yoğunlaşmayabilir, önceki hedefiniz oraya 1 (!) 'E yakın bir kütle koyarsa bile - arka tarafınız her zaman farklı dağılımlara odaklanarak karışık olabilir zaman ilerledikçe ama asla en iyisini bulamazsınız. Makalelerimde bunun birkaç örneği var. Yanlış tanımlama altında yakınsama gösteren makaleler (örneğin Kleijn ve van der Vaart) birçok ek koşul gerektirir, örneğin model dışbükey olmalı veya önceki bazı (karmaşık) özelliklere uymalıdır. Sıkı şartlarla kastettiğim budur.

Uygulamada genellikle parametrik fakat çok yüksek boyutlu modeller ile uğraşıyoruz (Bayesian sırt regresyonunu düşünün vs.). Öyleyse model yanlışsa, sonuçta posteriniz modeldeki en iyi KL dağılımına odaklanacak, ancak parametrik olmayan tutarsızlığın küçük bir versiyonu hala geçerli: yakınsamadan önce daha fazla veri alabilir - tekrar Van Ommen örnekler verir.

SafeBayes yaklaşımı, standart koyları, parametrik olmayan modellerde (esasen) iyi tanımlanmış durumda olduğu gibi aynı koşullar altında (yani modeldeki KL-optimal dağılımına yakın yeterli kütle öncesi) yakınsaklığı garanti edecek şekilde değiştirir (G. ve Mehta, 2014). ).

Öyleyse, Bayes'in yanlış tanımlama altında gerekçelendirilip gösterilmediği sorusu var. IMHO (ve yukarıdaki birkaç kişi tarafından da belirtildiği gibi), Bayes'in standart gerekçeleri (kabul edilebilirlik, Savage, De Finetti, Cox vb.) Burada geçerli değildir (çünkü modelinizin yanlış olduğunu fark ederseniz, olasılıklarınız gerçek inançlarınızı yansıtmaz) !). Bununla birlikte, birçok Bayes yöntemi aynı zamanda 'minimum açıklama uzunluğu (MDL) yöntemleri' olarak da yorumlanabilir - MDL, 'veriden öğrenmeyi' ile 'verileri mümkün olduğunca sıkıştırmaya çalışmak' ile eşitleyen bir bilgi-teorik yöntemdir. (Bazı) Bayes yöntemlerinin bu veri sıkıştırma yorumu yanlış tanımlanması altında geçerlidir. Yani hala bazı varyanlış tanımlamanın altında yatan yorumun altında - yine de van Ommen (ve orijinal yazıda belirtilen güven aralığı / güvenilir küme problemi) ile ilgili yazımın gösterdiği gibi sorunlar var.

Ve sonra orijinal yazıyla ilgili son bir yorum: Bayes'in 'kabul edilebilirliği' gerekçesinden bahsettiniz (Wald'ın 1940'ların / 50'lerin tam sınıfına geri dönerek). Bunun gerçekten de Bayes'in gerekçesi olup olmadığı gerçekten birisinin 'Bayesian çıkarımı' (araştırmacıdan araştırmacıya farklılık gösteren ...) kesin tanımına bağlıdır. Bunun nedeni, bu kabul edilebilirlik sonuçlarının, problemin örneklem büyüklüğü ve ilgilenilen kayıp fonksiyonu gibi hususlara bağlı olan bir öncekini kullanma olasılığına izin vermesidir. Verilerin değişiklikleri işlemesi gerekir veya ilgilenilen kayıp fonksiyonu aniden değişirse. Örneğin, kesinlikle dışbükey kayıp fonksiyonlarıyla, minimax tahmin edicileri de kabul edilebilir - genellikle Bayesian olarak düşünülmese de! Bunun nedeni, her sabit örneklem büyüklüğü için, belirli bir önceliğe sahip Bayes'e eşdeğer olmalarıdır, ancak öncekiler her örnek büyüklüğü için farklıdır.

Umarım bu yararlıdır!

— Peter Grünwald
kaynak

2

CrossValidated'e hoş geldiniz ve bu soruya cevap verdiğiniz için teşekkür ederiz. Küçük bir not - gördüğünüz sıraya göre sıralanan cevaplara güvenemezsiniz; farklı insanlar farklı sıralamalarda sıralama yapabilir (en yüksek sıradaki cevabın en üstünde farklı sıralama kriterleri vardır) ve bu kriterlerden ikisi zaman içinde değişebilir. Bu, eğer onları “nr 3 ve 20” olarak adlandırırsanız, insanlar hangi cevapları kastettiklerini bilemezler. [Ben de on cevap bulabilirim.]

— Glen_b

1

Cevabınız için teşekkürler Peter. Belirtilen vakadaki Bayesian çıkarımının çok güçlü varsayımlar gerektirdiği konusundaki yorumunuz hakkında kafam karışık. Hangi varsayımlara açıkça değiniyorsunuz? Postererin en iyi parametre değerinde bir dirac dağılımına yakınsaması gereken durumdan mı bahsediyorsunuz? Yoksa asimptotik normallik sağlayan olasılıkla ilgili daha teknik şartlardan mı bahsediyorsunuz?

— Guillaume Dehaene

Tamam, Glen B (moderatör) sayesinde - Bundan sonra bunu aklımda tutacağım.

— Peter Grünwald

Guillaume -

— Yorumunuzu

7

Her zamanki önyargılı varyans değişmesi var. M-kapalı durumda [1,2] varsayan Bayesci çıkarım, daha küçük bir varyansa [3] sahiptir, ancak modelin yanlış tanımlanması durumunda önyargı daha hızlı büyür [4]. Ayrıca, daha yüksek bir varyansa [3] sahip olan M-açık durumda [1,2] varsayılarak Bayesian çıkarım yapmak mümkündür, ancak modelin yanlış tanımlanması durumunda önyargı daha küçüktür [4]. Bayesian M-kapalı ve M-açık davalar arasındaki sapma sapma sapmalarındaki tartışmalar, aşağıdaki referanslarda yer alan bazı referanslarda da ortaya çıkıyor, ancak açıkça daha fazlasına ihtiyaç var.

[1] Bernardo ve Smith (1994). Bayes Teorisi. John Wiley \ & Sons.

[2] Vehtari ve Ojanen (2012). Model değerlendirme, seçme ve karşılaştırma için Bayes tahmin yöntemlerinin araştırılması. İstatistik Araştırmaları, 6: 142-228. http://dx.doi.org/10.1214/12-SS102

[3] Juho Piironen ve Aki Vehtari (2017). Model seçiminde Bayesian prediktif yöntemlerin karşılaştırılması. İstatistik ve Bilişim, 27 (3): 711-735. http://dx.doi.org/10.1007/s11222-016-9649-y .

[4] Yao, Vehtari, Simpson ve Andrew Gelman (2017). Ortalama Bayes tahmin dağılımları için istiflemeyi kullanma. arXiv ön baskı arXiv: 1704.02030 arxiv.org/abs/1704.02030

— Aki Vehtari
kaynak

7

Burada yanlış tanımlanmış modellerde Bayesian çıkarımını haklı çıkarmanın birkaç yolu var.

Sandviç formülünü kullanarak (MLE ile yaptığınız gibi), arka ortalamaya bir güven aralığı oluşturabilirsiniz. Dolayısıyla, güvenilir kümelerin kapsamı olmasa da, eğer ilgileniyorsanız nokta tahmincilerinde geçerli güven aralıkları oluşturabilirsiniz.
Güvenilir kümelerin kapsama alanına girmesini sağlamak için posterior dağılımı yeniden ölçeklendirebilirsiniz;

Müller, Ulrich K. "Belirtilen modellerde Bayesian çıkarım riski ve sandviç kovaryansı matrisi." Econometrica 81,5 (2013): 1805-1849.

Bayes kuralı için asimptotik olmayan bir gerekçe var: teknik koşulların ihmal edilmesi, önceki şartlar ise ve log olabilirliği ise , posterior minimize eden dağılımdır üzerinde tüm dağıtımlar . İlk terim beklenen bir yardımcı program gibidir: Yüksek olasılıklı parametrelere kütle koymak istiyorsunuz. İkinci terim düzenlileşiyor: Küçük bir KL'nin öncekine sapmasını istiyorsun. Bu formül açıkça posterior'un neyi optimize ettiğini söylüyor. İnsanların log olasılığını başka bir faydalı işlevle değiştirdiği yarı ihtimal bağlamında çok kullanılır. $p(\theta)$ $\ell_n(\theta)$ $-\int \ell_n(\theta) d\nu(\theta) + \int \log\!\Big(\frac{\nu(\theta)}{p(\theta)}\Big)d\nu(\theta)$ $\nu(\theta)$

— piyero
kaynak

Muller gazetesi için teşekkür ederim: Sanırım sahip olduğum birçok soruyu yanıtlıyor.

— Guillaume Dehaene

6

Veri gerçek modeli varsayalım farklıdır tüm değerleri için $p_{true}(X)$ $p(X|\theta)$ $\theta$

Bu varsayımın Bayes yorumlanması ek rasgele değişken olmasıdır ve bir değer kendi aralığı şekilde . Önceden bilgin ve . Daha sonra , uygun olasılık dağılımı değildir. $\phi$ $\phi_0$ $\phi_0$ $\int p(X|\theta,\phi=\phi_0) \mathrm{d}\theta =0$ $p(\phi=\phi_0)\propto 1$ $p(\phi\neq\phi_0)=0$ $p(\theta|X,\phi=\phi_0)=0$

Bu durum, mantıkta , yani bir çelişkiden hiçbir şey benzer bir çıkarım kuralına karşılık gelir . Sonuç Bayes olasılık teorisi sizin ön bilgi veri ile tutarlı olmadığını söyler olduğu bir yoldur. Birisi bu sonucu elde edemediğinde, posteriorun türetilmesiyle sonuçlanırsa, bu, formülasyonun ilgili tüm önceki bilgileri kodlamadığı anlamına gelir. Bu durumun değerlendirilmesine gelince, Jaynes'e devrediyorum (2003, s.41): $A, \neg A \vdash \emptyset$ $p(\theta|X,\phi=\phi_0)=0$

... eğer bir dizi önermeyi araştırabilir ve eğer varsa bunlardaki bir çelişkiyi tespit edebilen güçlü bir analitik araçtır. İlke, çelişkili mekanlara bağlı olasılıkların mevcut olmamasıdır (hipotez alanı boş kümeye indirgenmiştir). Bu nedenle robotumuzu çalıştırın; yani bir dizi önermeye bağlı olarak olasılıklarını hesaplamak için bir bilgisayar programı yazınız. İncelemede belirgin bir çelişki olmasa da, gizli bir çelişki varsa $p(B|E)$ $E= (E_1,E_2,\dots,E_n)$ $E$ , bilgisayar programı çökecek. Bunu, ampirik olarak '' keşfettik ve bazı düşüncelerden sonra bunun bir dehşet yaratma sebebi olmadığını, bunun yerine bizi bir problemin formülasyonunun bozulabileceği öngörülemeyen özel durumlara karşı uyaran değerli bir tanı aracı olduğunu gördük.

Başka bir deyişle, eğer sorun formülasyonunuz yanlışsa - modeliniz yanlışsa, bayes istatistikleri bu durumun ne olduğunu öğrenmenize yardımcı olabilir ve modelin sorunun ne yönü olduğunu bulmanıza yardımcı olabilir.

Uygulamada, hangi bilginin konuyla ilgili olduğu ve türevlendirmeye dahil edilip edilmemesi gerektiği tamamen net olmayabilir. Daha sonra yanlış bir problem formülasyonunu bulmak ve tanımlamak için çeşitli model kontrol teknikleri (Gelman ve diğerleri, 2013'te Bölüm 6 ve 7, genel bir bakış sağlar) kullanılır.

Gelman, A., Carlin, JB, Stern, HS, Dunson, DB, Vehtari, A., ve Rubin, DB (2013). Bayesian veri analizi, Üçüncü baskı. Chapman ve Salon / CRC.

Jaynes, ET (2003). Olasılık teorisi: Bilimin mantığı. Cambridge üniversitesi basını.

— matus
kaynak

1

Cevabınız noktayı eksik ve daha basit bir durum düşünüyor. Modelimizin verilerle tutarsız olduğu kadar yanlış bir durum olduğunu düşünmüyorum. Modelimizin yanlış olduğu bir duruma bakıyorum, ancak felaket değil. Örneğin, ortalamasını . Gerçek model Laplace olsa bile, çıkarım için Gaussian modelini kullanabilirsiniz . Bu basit örnekte, model yanlıştır ancak açıkladığınız gibi "patlamaz".

X_{i}

$X_i$

X_{i}

$X_i$

— Guillaume Dehaene

1

@GuillaumeDehaene Sorunuz, model tanımlanmadığında bayes kullanmak için bazı argümanlar olup olmadığıydı. Açıkçası, felaketen yanlış tanımlanmış bir model yanlış tanımlanmış. Ek olarak, modelinizin feci bir şekilde tanımlanmamış mı yoksa sadece yanlış tanımlanmış mı olduğunu apriori olarak bilemezsiniz. Aslında bayes size bunu kesin olarak söyleyebilir, ki bu da onu faydalı kılıyor ve cevabım bunu gösteriyor.

— matus

Yapısal olarak yanlış değilse, kapsama alanı değerinden çok farklı olmaz . Bunu kontrol etmek için bu normal modelin simülasyonunu Laplacian verileriyle yazabilirsiniz. Kavramsal faydalar her zaman mevcut olacaktır. Bir düşünün: posterinizi pencereden dışarı atmaya karar verirseniz, sadece MLE'yi değil, bir miktar güven aralığını da hesaplarsınız. Ancak, belirli bir deney için hesaplanan CI'nin yorumlanmasının cilttiğini biliyoruz. Bu yüzden rahatla ve bayes birasının tadını çıkar. Modelin hatalı olduğunu anlıyorsanız, daha iyi bir tane oluşturmak için bu bilgiyi kullanın.

1 - α

$1-\alpha$

— Zen,

@GuillaumeDehaene Evet, cevabım tam değil. Memnuniyetle değil felaket durumları açıklığa kavuşturmak için uzatın ama Sen aklında ne var belirtmek gerekir: Bunu demek nerede küçük bir sayıdır, küçük mü? Veya var olduğu söylüyorsunuz öyle ki henüz veya başka bir şey? Zen ile hem genel olarak arka tarafın, bu daha az şiddetli vakalarda çok fazla etkilenmeyeceğini hem de sınırda bir vaka oluşturabilirse de aynı fikirdeyim.

\int p (X, θ | ϕ = ϕ_{0}) d θ = k

$\int p(X,\theta|\phi=\phi_0) \mathrm{d}\theta =k$

k

$k$

p (X | ϕ = ϕ_{0})

$p(X|\phi=\phi_0)$

θ = θ_{0}

$\theta=\theta_0$

p (θ = θ_{0} | ϕ = ϕ_{0}) = 0

$p(\theta=\theta_0|\phi=\phi_0)=0$

p (X, θ = θ_{k} | ϕ = ϕ_{0}) > 0

$p(X,\theta=\theta_k|\phi=\phi_0)>0$

— matus

5

MLE, belirttiğiniz ve doğru olduğunu varsaydığınız bir modeldeki bir parametre için hala bir tahmin edicidir. Frekansçı bir OLS'deki regresyon katsayıları, MLE ile ve buna eklemek istediğiniz tüm özelliklerin (yansız, belirli bir asimptotik varyans) hala çok spesifik lineer modelinizin doğru olduğunu varsaydığını tahmin edebilir.

Bunu bir adım daha ileri götüreceğim ve bir tahminciye anlam ve özellikler eklemek istediğiniz her zaman bir model üstlenmeniz gerektiğini söyleyeceğim. Basit bir örnekleme alsanız bile, verilerin değişebilir olduğunu ve çoğu zaman IID olduğunu varsayıyorsunuz.

Şimdi, Bayesian tahmin edicileri bir MLE'nin sahip olamayacağı pek çok istenen özelliğe sahiptir. Örneğin, bir posteriorun birçok durumda istenmesini sağlayan kısmi havuzlama, düzenlileştirme ve yorumlanabilirlik.

— TrynnaDoStat
kaynak

Bir anlam ifade etmek için IID'yi varsaymanıza gerek yok. Değiştirilebilirliği varsaymak yeterlidir (ama, evet, bu hala bir varsayım ...)

— kjetil b halvorsen

@kjetil b halvorsen Teşekkürler, anlaşılırlık için düzenleme yaptım.

— TrynnaDoStat

4

Gelman & Shalizi'nin Felsefesi'ni ve Bayesian istatistiklerinin uygulanmasını tavsiye ediyorum . Bu sorulara tutarlı, ayrıntılı ve pratik cevaplar veriyorlar.

Bunun Bayesci çıkarım görüşünün çoğunun yanlış olduğunu düşünüyoruz. Bayes metotları, başka hiçbir istatistiksel çıkarım tarzından daha fazla endüktif değildir. Bayesian veri analizi, hipotetik-tümdengelimli bir bakış açısıyla çok daha iyi anlaşılır . En iyi Bayesian uygulamasında örtük olan, sık sık oryantasyonuna rağmen Mayo (1996) 'nın hata istatistiği yaklaşımı ile ortak bir duruşudur. Aslında, Bayesian veri analizinin, model kontrolü gibi çok önemli kısımları, Mayo'nun anlamında 'hata probları' olarak anlaşılabilir.

Ampirik sosyal bilim araştırmalarında somut Bayesian veri analizi vakalarının incelenmesi ve Bayesian güncellemesinin tutarlılığı ve yakınsaması üzerine teorik sonuçların incelenmesiyle devam ediyoruz. Sosyal-bilimsel veri analizi özellikle bizim amaçlarımız için belirgindir, çünkü bu alanda, kullanılan tüm modellerin yanlış olduğu - yalnızca yanlışlanabilir değil, aslında yanlış olduğu konusunda genel bir anlaşma vardır. Yeterli veriyle - ve çoğu zaman sadece oldukça ılımlı bir miktarla - herhangi bir analist, şu anda kullanılan herhangi bir modeli herhangi bir güven düzeyinde reddedebilir . Yine de, model uydurma değerli bir faaliyettir ve gerçekten de veri analizinin cazibesidir. Bunun neden böyle olduğunu anlamak için modellerin nasıl üretildiğini, takıldığını, kullanıldığını ve kontrol edildiğini ve yanlış tanımlamanın modellere etkilerini incelememiz gerekir.

...

Görüşümüze göre, [standart Bayesian görünümünün son paragrafı] hesabı çok büyük ölçüde yanlış. Veri analizi süreci - Bayesian veya başka bir şekilde - parametre tahminlerinin veya posterior dağılımların hesaplanması ile bitmez. Aksine, takılan modelin sonuçları ile ampirik kanıtlar karşılaştırılarak model kontrol edilebilir.. Biri, takılan modelden yapılan simülasyonların orijinal verilere benzer olup olmadığını, takılan modelin modelin yerleştirilmesinde kullanılmayan diğer verilerle tutarlı olup olmadığını ve modelin söylediği değişkenlerin gürültü olup olmadığını ('hata terimleri') gibi sorular sorar. gerçek kolayca fark edilebilir desen görüntüler. Model ve veriler arasındaki tutarsızlıklar, eldeki bilimsel amaçlar için modelin hangi yollarla yetersiz olduğunu öğrenmek ve böylece modeldeki genişlemeleri ve değişiklikleri motive etmek için kullanılabilir (Bölüm 4.).

— Alex Coventry
kaynak

2

Bence model belirsizliğin bir etkisini tanımlıyorsunuz - verileri ışığında bilinmeyen bir parametresi hakkındaki çıkarımınızın bir model, , bunun yanı sıra verilere bağlıdır. Ya uygun olmayan bir modelse? Aynı bilinmeyen parametresi ile, alternatif modelleri vardır varsa , o zaman Bayes modeli ortalamasından, model belirsizlik marjinalleştiren olabilir bu da dikkate alınan modellerin ve önceliğinin işlevselliği $x$ $d$ $m$

p (x | d, m),

$p (x|d, m),$

m

$m$

x

$x$

p (x | d) = \sum_{m} p (x | d, m) p (m | d)

$p (x|d) = \sum_m p (x|d, m) p(m|d)$

Öte yandan, parametre tanımı ise özünde modeli bağlıdır , hiçbir alternatifi vardır, öyle ki, bu konuda çıkarımlar olarak öndedir şartına vardır . $x$ $m$ $x$ $m$

— Innisfree
kaynak

3

Model ortalamaları bizi kurtaramaz: gerçek modelin bir şekilde düzgünce daha büyük modelimizin kapsamına girdiğini varsaymak aptalcadır. Model karşılaştırması ile, birkaç modelden hangisinin verilerin en iyi şekilde hesaplandığını belirleyebiliriz, ancak bu sadece diğer modellerden daha az yanlış olan yanlış bir model verir.

— Guillaume Dehaene

Model belirsizliği tutarlı bir şekilde birleştiren bilinmeyen bir miktar hakkında çıkarımlar / tahminlerde bulunmanıza yardımcı olabilir. Yine de, sizin için yeni hipotezler icat edemez. Verileri ışığında modelleri icat eden istatistiksel bir makine olsaydı, örneğin bilim çok daha kolay olurdu.

— innisfree

1

"Yanlış tanımlanmış" bir modelin ne olduğunu nasıl tanımlarsınız? Bu model anlamına mı geliyor?

"kötü" tahminlerde bulunur mu?
bazı "gerçek model" için biçiminde değil mi? $p_{T}(x)$
bir parametre eksik mi?
"kötü" sonuçlara yol açar?

Belirli bir modelin yanlış tanımlanmasının yollarını düşünüyorsanız, esas olarak daha iyi bir modelin nasıl yapılacağına dair bilgi edineceksiniz. Bu ekstra bilgiyi modelinize ekleyin!

Bayesian çerçevesinde ne bir "model" olduğunu düşünüyorsanız, her zaman yanlış tanımlanamayan bir model yapabilirsiniz. Bunu yapmanın bir yolu, mevcut modelinize daha fazla parametre eklemek. Daha fazla parametre ekleyerek modelinizi daha esnek ve uyarlanabilir hale getirirsiniz. Makine Öğrenimi yöntemleri bu fikri tam olarak kullanır. Bu "nueral ağlar" ve "regresyon ağaçları" gibi şeylerin temelini oluşturur. Olsa da, öncelikleri düşünmeniz gerekir (ML için düzenli olmaya benzer).

Örneğin, örnek olarak "doğrusal model" i verdiniz, bu yüzden ... Burada . Şimdi her gözlem için yeni bir parametre eklediğimizi varsayalım .... Burada daha önce olduğu gibi. Bu işleri nasıl değiştirir? "Model 2 doğruysa model 1 yanlış belirlenmiş" diyebilirsiniz. Ancak model 2'nin tahmin edilmesi daha zordur, çünkü daha birçok parametreye sahiptir. Ayrıca, eğer hakkında bilgi bizim için , model 1'in "yanlış" olması önemli mi?

model 1: x_{i} = θ + σ e_{i}

$\text {model 1: }x_i =\theta + \sigma e_i$

e_{i} \sim N (0, 1)

$e_i \sim N (0,1)$

model 2: x_{i} = θ + σ \frac{e_{i}}{w_{i}}

$\text {model 2: }x_i =\theta + \sigma \frac{e_i}{w_i}$

e_{i} \sim N (0, 1)

$e_i \sim N (0,1)$

θ

$\theta$

Eğer (bir "model 2a" gibi olduğunu varsayarsak, temelde "normal hatalar" yerine "cauchy hataları" olur ve model verilerde aykırı değerler bekler. Dolayısıyla, modelinize parametreler ekleyerek ve bunlar için bir öncelik seçerek, "daha sağlam bir model" yarattım. Bununla birlikte, model hala simetriyi hata terimlerinde beklemektedir. Farklı bir öncelik seçerek, bunun için de geçerli olabilir ... $w_i\sim N (0,1)$

— probabilityislogic
kaynak

Ve ne kadar çok parametre kullanırsanız, o kadar çok veriye ihtiyacınız vardır. hakkında bilgisinin az olması durumunda, parametrelerin eklenmesi yardımcı olmaz. Yeni verilerde DGP daha az sabittir, bu nedenle tekrar daha fazla parametreye ihtiyacınız vardır. Modeliniz ne kadar genel olursa (daha fazla parametre), "yanlış tanımlanmış" olma olasılığı o kadar düşüktür, ancak tahmin etmeniz gereken veri miktarı artar. Aksine, modelinizden ne kadar az isterseniz, o kadar az veriye ihtiyacınız olur. Fakat bu, gerçekte, eğer tam bir arkaya karşı şartlı bir anı söylerse, modelin ne kadar “doğru” olduğu anlamına gelir?

x

$x$

f (x)

$f(x)$

— IMA