Bilgi ödünç almak tam olarak ne anlama geliyor?

Ben sık sık Bayes hiyerarşik modellerinde bilgi ödünç alma veya bilgi paylaşımı hakkında konuşuyorlar. Bunun gerçekte ne anlama geldiği ve Bayesçi hiyerarşik modellere özgü olup olmadığı hakkında düz bir cevap alamıyorum. Fikri bir şekilde anlıyorum: Hiyerarşinizdeki bazı seviyeler ortak bir parametreyi paylaşıyor. Bunun "bilgi borçlanması" na nasıl dönüştüğü hakkında hiçbir fikrim yok.

1. "Bilgi ödünç almak" / "bilgi paylaşımı" insanların atmaktan hoşlandığı bir kelime mi?

2. Bu paylaşım olgusunu gösteren kapalı form posteriorlara sahip bir örnek var mı?

3. Bu bir Bayes analizi için benzersiz midir? Genel olarak, "bilgi borçlanması" örneklerini gördüğümde, bunlar sadece karışık modellerdir. Belki de bu modelleri eski moda bir şekilde öğrendim, ama herhangi bir paylaşım görmüyorum.

Yöntemler hakkında felsefi bir tartışma başlatmakla ilgilenmiyorum. Sadece bu terimin kullanımını merak ediyorum.

Bu, özellikle ampirik Bayes (EB) 'den gelen bir terimdir, aslında atıfta bulunulan kavram gerçek Bayesci çıkarımda mevcut değildir. Orijinal terim, 1960'larda John Tukey tarafından icat edilen ve 1970'lerde ve 1980'lerde Stein'in paradoksu ve parametrik EB hakkında bir dizi istatistiksel makalede daha popüler hale gelen "borçlanma gücü" idi. Birçok kişi artık aynı kavramın eş anlamlısı olarak "bilgi borçlanması" veya "bilgi paylaşımı" kullanmaktadır. Karma modeller bağlamında duyabilmenizin nedeni, karma modeller için en yaygın analizlerin EB yorumuna sahip olmasıdır.

EB'nin birçok uygulaması vardır ve birçok istatistiksel model için geçerlidir, ancak bağlam her zaman çok sayıda (muhtemelen bağımsız) vakanız olduğu ve her durumda belirli bir parametreyi (ortalama veya varyans gibi) tahmin etmeye çalıştığınızdır. Bayesci çıkarımda, parametre hakkında hem her durum için gözlenen verilere hem de o parametre için önceki dağılıma dayalı olarak posterior çıkarımlar yaparsınız. EB çıkarımında, parametre için önceki dağılım, tüm veri vakaları koleksiyonundan tahmin edilir ve daha sonra çıkarım Bayesian çıkarımında olduğu gibi ilerler. Bu nedenle, belirli bir durum için parametreyi tahmin ettiğinizde, hem o vaka için verileri hem de tahmini önceki dağılımı kullanırsınız ve ikincisi "bilgi" veya "gücü" temsil eder

Şimdi EB'nin neden "ödünç aldığını" görebilirsiniz, ancak gerçek Bayes değil. Gerçek Bayes'te, önceki dağıtım zaten var ve bu yüzden yalvarmak ya da ödünç alınması gerekmiyor. EB'de, önceki dağılım gözlemlenen verilerin kendisinden yaratılmıştır. Belirli bir vaka hakkında çıkarım yaptığımızda, o davadan gözlemlenen tüm bilgileri ve diğer davaların her birinden biraz bilgi kullanırız. Bunun sadece "ödünç alınmış" olduğunu söylüyoruz, çünkü bir sonraki vaka hakkında çıkarımda bulunmak için devam ettiğimizde bilgi geri verilir.

EB ve "bilgi borçlanması" fikri, her "vaka" genellikle bir gen veya genomik özellik olduğunda istatistiksel genomikte yoğun olarak kullanılmaktadır (Smyth, 2004; Phipson ve ark., 2016).

Referanslar

Efron, Bradley ve Carl Morris. Stein'ın istatistik paradoksu. Scientific American 236, no. 5 (1977): 119-127'de tarif edilmektedir. http://statweb.stanford.edu/~ckirby/brad/other/Article1977.pdf

Smyth, GK (2004). Mikroarray deneylerinde diferansiyel ekspresyonu değerlendirmek için doğrusal modeller ve ampirik Bayes yöntemleri. Genetik ve Moleküler Biyolojide İstatistiksel Uygulamalar Cilt 3, Sayı 1, Madde 3 http://www.statsci.org/smyth/pubs/ebayes.pdf

Phipson, B, Lee, S, Majewski, IJ, Alexander, WS ve Smyth, GK (2016). Sağlam hiperparametre kestirimi, hiperdeğişken genlere karşı koruma sağlar ve diferansiyel ekspresyonu saptama gücünü artırır. Yıllık Uygulamalı İstatistik 10, 946-963. http://dx.doi.org/10.1214/16-AOAS920

Birden çok grubun ortalamalarını tahmin etmek gibi basit bir problem düşünün. Modeliniz bunlara tamamen alakasız davranıyorsa, her ortalama hakkında sahip olduğunuz tek bilgi o gruptaki bilgilerdir. Modeliniz araçlarını bir şekilde ilişkili olarak ele alırsa (bazı karışık etkiler türü modellerde olduğu gibi), o zaman tahminler daha kesin olacaktır, çünkü diğer gruplardan gelen bilgiler belirli bir grup için tahmini bildirir (düzenlileştirir, ortak bir ortama doğru daraltır). Bu bir 'bilgi borçlanması' örneğidir.

Fikir, kredibilite ile ilgili aktüeryal çalışmalarda ortaya çıkar (bu anlamda borçlanma, bu anlamda formüllerde açık olsa da, belirli bir 'borçlanma' terimiyle zorunlu değildir); bu uzun bir yol kat ediyor, en az bir asır önce, açık öncüler on dokuzuncu yüzyılın ortalarına kadar gidiyor. Örneğin, bkz. Longley-Cook, LH (1962) Güvenilirlik teorisi PCAS, 49, 194-221'e giriş.

Whitney, 1918 (Deneyim Teorisi Değerlendirmesi, PCAS, 4, 274-292):

Örneğin, açıkça bir makine atölyesi olarak sınıflandırılması gereken bir risk. Başka bir bilginin yokluğunda, bu nedenle, makine atölyesi oranını, yani bu sınıfın tüm riskleri için ortalama oranı taklit etmelidir. Diğer yandan, risk kendi başına bir deneyime sahiptir. Eğer risk büyükse, bu tehlike için sınıf deneyiminden daha iyi bir rehber olabilir. Her halükarda, risk büyük ya da küçük olsun, bu unsurların her ikisi de kanıt olarak değerlidir ve her ikisi de dikkate alınmalıdır. Zorluk, genel olarak kanıtların çelişkili olmasından kaynaklanmaktadır; bu nedenle sorun, her birine uygun ağırlığını verecek bir kriter bulmak ve uygulamaktır.

Borçlanma terimi burada olmasa da, bu makine atölyesi hakkında bizi bilgilendirmek için grup düzeyinde bilgileri kullanma fikri açıktır. ["Borçlanma gücü" ve "borçlanma bilgileri" bu duruma uygulanmaya başladığında kavramlar değişmeden kalır]

$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$$\sigma_R$$\sigma_R^2$. Veriler ne kadar az bilgi olursa, önceki bilgiler o kadar önemli hale gelir. Henüz yapmadıysanız, karma efekt modellerini sadece birkaç konuyla simüle etmeyi denemenizi öneririz. Frequentist yöntemlerden tahminlerin ne kadar kararsız olduğunu, özellikle sadece bir veya iki aykırı eklediğinizde şaşırabilirsiniz ... ve aykırı olmayan gerçek veri kümelerini ne sıklıkla görür? Bu sorunun Gelman ve arkadaşları tarafından Bayesci Veri Analizi kapsamında olduğunu düşünüyorum, ama ne yazık ki kamuya açık olduğunu düşünmüyorum, bu yüzden köprü yok.

Son olarak, çok düzeyli modelleme, en yaygın olmalarına rağmen, sadece karışık etkiler değildir . Parametrelerin sadece öncelikler ve verilerden değil, aynı zamanda bilinmeyen diğer parametrelerden de etkilendiği herhangi bir model çok düzeyli model olarak adlandırılabilir. Tabii ki, bu çok esnek bir model seti, ancak sıfırdan yazılabilir ve Stan, NIMBLE, JAGS, vb.Gibi araçları kullanarak minimum miktarda işe sığabilir. Bu kapsamda, çok düzeyli diyeceğimden emin değilim modelleme "yutturmaca" dur; temel olarak, Yönlü Bir Döngüsel Grafik olarak temsil edilebilecek herhangi bir modeli yazabilirsinizve hemen takın (makul bir çalışma süresine sahip olduğu varsayılarak, yani). Bu, geleneksel seçimlerden (yani regresyon modeli paketleri) çok daha fazla güç ve potansiyel yaratıcılık sağlar, ancak sadece yeni bir model modeline uyacak şekilde R paketinin tamamını sıfırdan oluşturmasını gerektirmez.

Çıkarımdan ziyade tahminle ilgilendiğinizi öğrenen makine öğrenimini etiketlediğiniz için varsayıyorum. (@Glen_b'in cevabı ile uyumlu olduğuma inanıyorum, ancak sadece bu bağlama / kelime haznesine tercüme ediyorum)

Bu durumda bir terim olduğunu iddia ediyorum. Bir grup değişkenine sahip düzenli bir doğrusal model bilgi ödünç alacaktır: Bireysel düzeydeki tahmin, grup ortalaması ve bireysel etkinin bir kombinasyonu olacaktır. L1 / l2 regülasyonunu düşünmenin bir yolu, toplam hatadaki azalma başına katsayı maliyeti atamasıdır, çünkü bir grup değişkeni bireysel bir değişkenden daha fazla örneği etkilediğinden, bir grup etkisini tahmin etmek için bir baskı olacaktır. her bir değişkene grup etkisi.

Yeterli veriye sahip münferit noktalar için, münferit etki 'güçlü' olacaktır, az veriye sahip olanlar için, etki zayıf olacaktır.

Bunu görmenin en kolay yolu, L1 düzenlenmesi ve aynı gruptan aynı etkiye sahip 3 kişi düşünmektir. Düzensizleştirildiğinde, sorunun sonsuz sayıda çözümü vardır, buna karşılık düzenlileştirme benzersiz bir çözüm sunar.

Tüm etkiyi grup katsayısına atamak en düşük l1 normuna sahiptir, çünkü 3 kişiyi kapsamak için sadece 1 değere ihtiyacımız vardır. Tersine, tüm etkinin tek tek katsayılara atanması en kötü, yani etkiyi grup katsayısına atama l1 normunun 3 katıdır.

İstediğimiz kadar hiyerarşiye sahip olabileceğimizi ve etkileşimlerin benzer şekilde etkilendiğini unutmayın: Düzenleme, daha nadir etkileşimler yerine etkileri ana değişkenlere itecektir.

Blog tjmahr.com/plotting-partial-pooling-in-mixed-effects-models . - @IsabellaGhement ile bağlantılı olarak borçlanma gücü için bir teklif veriyor

"Bu etkiye bazen büzülme denir, çünkü daha aşırı değerlerin büzülmesi daha makul, daha ortalama bir değere doğru çekilir. Lme4 kitabında Douglas Bates büzülmeye [ad] bir alternatif sunar."

“Büzülme” terimi olumsuz çağrışımlara sahip olabilir. John Tukey, sürece tek tek denekler “borçlanma gücü” için tahminler olarak bakmayı tercih etti. Bu, kesin efekt modellerine göre karma efekt modellerinin altında yatan modellerde temel bir farktır. Karışık etkiler modelinde, bir gruplama faktörü seviyesinin bir popülasyondan bir seçim olduğunu ve sonuç olarak özellikleri bir dereceye kadar paylaşması beklenebileceğini varsayıyoruz. Sonuç olarak, bir karma efektler modelinden tahminler, kesin olarak sabit-etkiler modellerden tahminlere göre zayıflatılır.

Bu konuda özellikle eğitici bulduğum bir diğer kaynak ise David Robinson'ın Ampirical Bayes'e girişidir .

Onun koşucu örneği, bir beyzbol oyuncusunun kendisine atılan bir sonraki topa vurup başaramayacağıdır. Anahtar fikir şudur: Eğer bir oyuncu yıllardır etrafta olsaydı, kişinin ne kadar yetenekli olduğuna dair oldukça net bir resmi vardır ve özellikle gözlemlenen vuruş ortalamasını bir sonraki adımda başarı olasılığının oldukça iyi bir tahmini olarak kullanabilir.

Tersine, bir ligde oynamaya yeni başlayan bir oyuncu henüz gerçek yeteneklerinin çoğunu açıklamamıştır. Bu yüzden, başarı olasılığının tahminini, ilk birkaç oyunda özellikle başarılı veya başarısız olmuşsa, genel olarak, en azından bir dereceye kadar iyi veya kötü şanstan dolayı olduğu için, genel bir ortalamaya ayarlamak akıllıca bir seçim gibi görünüyor. .

Küçük bir nokta olarak, "borçlanma" terimi, ödünç alınan bir şeyin belirli bir noktada iade edilmesi gerektiği anlamında kullanılmaz gibi görünmektedir ;-).