Bayesci İstatistiklerin, sık kullanılan yöntemlerle tahmin edilmesi çok zor olan parametreleri nasıl tahmin edebileceğine örnek


9

Bayesci istatistikçiler, "Bayesci İstatistiklerin sıkça kullanılan yöntemlerle tahmin edilmesi çok zor olan parametreleri tahmin edebileceğini" iddia ediyorlar. Bu SAS dokümanından alınan aşağıdaki alıntı aynı şeyi söylüyor mu?

Asimptotik yaklaşıma güvenmeden verilere bağlı ve kesin olan çıkarımlar sağlar. Küçük örnek çıkarımı, büyük bir örneğe sahip gibi devam eder. Bayes analizi ayrıca "plug-in" yöntemini kullanmadan parametrelerin herhangi bir fonksiyonunu doğrudan tahmin edebilir (tahmini parametreleri fonksiyonellere takarak fonksiyonelleri tahmin etmenin bir yolu).

Bazı ders kitabında benzer bir ifade gördüm ama nerede hatırlamıyorum. Birisi bana bunu bir örnekle açıklayabilir mi?


Yarın güneşin doğma olasılığı nedir? en.wikipedia.org/wiki/Sunrise_problem Bu örnek umduğunuzdan daha önemsiz olabilir
Hugh

Alıntıyı doğrudan sorunuza koyabilir misiniz? Başlık, ikinci madde işaretiyle ilgisiz görünüyor.
Hugh

1
Bu alıntıdaki ifade, (a) "kesin" in orada hiçbir şey ifade etmediği ve (b) eklenti eleştirisinin, yalnızca bir tanesi tam posterior dikkate alındığında ve başka bir tahmin dikkate alındığında, ayrıca seçilen kayıp işlevine bağlı olarak geçerli olduğu için ifadenin büyük olmamasıdır. tahmin için. Bazı cevaplar için bu diğer soruya bakın .
Xi'an

Yanıtlar:


8

Bu alıntıyla itirazım var:

  1. "Sıklık", seçilen tahmincilerin frekans özelliklerine dayanan çıkarım için bir yaklaşımdır. Bu belirsiz bir kavramdır, çünkü tahmin edicilerin yakınsamaları gerektiğini ve nasıl yakınsamaları gerektiğini yaparlarsa bile belirtmezler. Örneğin tarafsızlık sık görülen bir kavramdır, ancak parametrenin [θ] dönüşümleri toplama beri ilgi θtarafsız bir tahmin ediciye izin veren çok kısıtlıdır. Ayrıca, sık sık bir tahminci paradigma tarafından üretilmez, ancak değerlendirilmeden önce seçilmelidir. Bu anlamda, Bayesci bir tahminci, bazı frekansçı özellikleri tatmin ederse, sık sık tahmin edicidir.
  2. Bayesci bir yaklaşımla üretilen çıkarım, yoğunluğu ile temsil edilen posterior dağılıma dayanır. π(θ|D). "Tam" teriminin nasıl eklenebileceğini anlamıyorumπ(θ|D)Önceki bir dağıtım ile benzersiz bir şekilde ilişkilidir .π(θ)ve tam olarak Bayes teoreminden türetilmiştir. Ancak nokta tahmininin parametrenin gerçek değeri olmaması nedeniyle kesin çıkarım döndürmezθve tam olasılık olasılığını sadece önceki x olabilirlik çifti tarafından sağlanan çerçeve içinde üretir . Çiftte bir terimi değiştirmek posterioru ve çıkarımı değiştirirken, tek bir önceliği veya olasılığı savunmak için genel bir argüman yoktur .
  3. Benzer şekilde, bu SAS dokümantasyonunun aynı sayfasında bulunan “gerçek parametre% 95 güvenilir bir aralıkta 0.95 düşme olasılığı vardır” gibi diğer olasılık ifadeleri , posterior dağılım çerçevesine göre bir anlama sahiptir, ancak mutlak değerde değildir.
  4. Hesaplamalı bir bakış açısından, standart bir klasik yaklaşımın başarısız olduğu durumlarda, Bayesci bir yaklaşımın genellikle kesin veya yaklaşık cevaplar verebileceği doğrudur. Bu, gizli [veya eksik] değişken modeller için geçerlidir
    f(x|θ)=g(x,z|θ)dz
    nerede g(x,z|θ) çift ​​için ortak bir yoğunluktur (X,Z) ve nerede Z dikkate alınmazsa, θ ve çiftinin simülasyonu ile arka (θ,Z)bir maksimum olabilirlik (sıklık?) tahmincisi elde etmekten çok daha kolay olabilir. Bu ortamın pratik bir örneği Kingman'ın nüfus genetiğinde ortak bir atadan gelen popülasyonların evriminin ikili ağaçlarda gizli olayları içerdiği birleşik modelidir . Bu model, Bayes dışı yazılım çözünürlükleri de mevcut olsa da, ABC adı verilen bir algoritma aracılığıyla [yaklaşık] Bayesci çıkarım ile ele alınabilir .
  5. Ancak, bu gibi durumlarda bile, Bayesian çıkarımın olası tek çözüm olduğunu düşünmüyorum . Sinir ağları, rasgele ormanlar, derin öğrenme gibi makine öğrenme teknikleri, çapraz doğrulama ile bir örnek üzerinde eğitim aldıkları için bir beklenti yöntemi olarak sınıflandırılabilirler; örnek bir ortalama ile yaklaşık. Örneğin, Kingman'ın birleşik modeli Bayes dışı yazılım çözünürlükleri ile de ele alınabilir .
  6. Son nokta, nokta tahmini için Bayes yaklaşımının eklenti tahminlerini iyi üretebilmesidir. İçsel kayıplar olarak adlandırdığım bazı kayıp fonksiyonları için , dönüşümün Bayes tahmincisih(θ) dönüşüm mü h(θ^) Bayes tahmincisinin θ.

Cevap gittikçe iyidir. # 5 noktasına itiraz ediyorum, çünkü ML yöntemlerine henüz teori ile gerekçelendirilmemiş üstün bir performans atfediyor. Ayrıca "... gerçek model ..." ne anlama geliyor? Şüphesiz, bu yöntemler popülerdir, ancak bu popülerlik tipik olarak "ölçeklendirme" yetenekleri ile haklıdır. Ne yazık ki, ML olmayan Bayes ve sıkça kullanılan yöntemler tarafından sunulan tanısal bilgilerin çoğu, bu tür yaklaşımlar kullanıldığında kaybolmaktadır. Özellikle, çapraz validasyon diğer tekniklerden daha yüksek hata oranları verebilir. Bkz. Efron, 1983, 1986, JASA.
Jan Galkowski

Teşekkürler. Aslında, ML yöntemlerini "üstün" güçlerle donatmıyorum, basitçe karmaşık modeller için bazı ML cevaplarının önerilebileceğinden bahsediyorum. Ve "gerçek modeller" ile, verilerin adı geçen model tarafından üretildiğini (yanlış) varsayarak bir yöntemin performanslarının değerlendirilmesini kastediyorum. Hangi çoğu istatistiksel analiz imo bir kusurudur.
Xi'an
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.