Karışık modeller öngörücü modeller olarak yararlı mıdır?

Tahmini modelleme açısından karma modellerin avantajları konusunda biraz kafam karıştı. Tahmini modeller genellikle daha önce bilinmeyen gözlemlerin değerlerini öngörmek anlamına geldiğinden, karışık bir modelin faydalı olmasının tek yolunun popülasyon düzeyinde tahminler sağlama yeteneği (rastgele etkiler eklemeden) anlamına geldiği açıktır. Ancak, sorun şu ana kadar ki deneyimlerime göre, karışık modellere dayalı popülasyon düzeyindeki tahminlerin, yalnızca sabit etki gösteren standart regresyon modellerine dayanan tahminlerden önemli ölçüde daha kötü olması.

Öyleyse tahmin problemleri açısından karma modellerin amacı nedir?

DÜZENLE. Sorun şudur: Karışık bir model (hem sabit hem de rastgele efektlerle) ve sadece sabit efektli standart lineer modeller taktım. Çapraz onaylama yaptığımda, öngörücü doğruluğun aşağıdaki bir hiyerarşisini alıyorum: 1) sabit ve rastgele etkilerin kullanılmasını öngörürken karışık modeller (ancak bu elbette yalnızca rastgele etki değişkenleri bilinen seviyelerde gözlemler için işe yarar, bu nedenle bu öngörücü yaklaşım görünmüyor gibi görünüyor). gerçek tahmine dayalı uygulamalar için uygun olması!); 2) standart doğrusal model; 3) popülasyon düzeyinde tahminler kullanılırken karma model (yani rastgele etkiler atılarak). Bu nedenle, standart doğrusal model ile karma model arasındaki tek fark, farklı tahmin yöntemlerinden dolayı farklı katsayıların değeridir (yani her iki modelde de aynı etkiler / öngörücüler vardır, ancak farklı katsayılara sahiptirler).

Bu yüzden kafam karışıklığı bir soruya yol açıyor: neden bir popülasyon modeli öngörücü model olarak kullanayım ki, popülasyon düzeyinde tahminler üretmek için karma modeli kullanmak standart bir lineer modele kıyasla daha düşük bir strateji gibi görünüyor.

Verilerin doğasına bağlıdır, ancak genel olarak karma modelin sadece sabit etkiler sadece modellerden daha iyi performans göstermesini beklerdim.

Bir örnek verelim: Güneş ışığı ile buğday saplarının yüksekliği arasındaki ilişkinin modellenmesi. Bireysel sapların birçok ölçümüne sahibiz, ancak sapların çoğu aynı yerlerde ölçülür (toprak, su ve yüksekliği etkileyebilecek diğer şeyler). İşte bazı olası modeller:

1) yükseklik ~ güneş

2) yükseklik ~ güneş ışığı + site

3) yükseklik ~ güneş ışığı + (1 | site)

Bu modelleri, yaşayacakları güneş ışığının bir tahmininin verdiği yeni buğday saplarının yüksekliğini tahmin etmek için kullanmak istiyoruz. Yalnızca sabit efektli bir modelde birçok siteye sahip olmanız için ödeyeceğiniz parametre cezasını görmezden geleceğim ve modellerin göreceli kestirici gücünü dikkate alacağım.

Buradaki en alakalı soru, tahmin etmeye çalıştığınız bu yeni veri noktalarının ölçtüğünüz sitelerden biri olup olmadığıdır; Bunun gerçek dünyada nadir olduğunu söylüyorsun, ama oluyor.

A) Yeni veriler ölçtüğünüz bir siteye aittir

Öyleyse, # 2 ve # 3 modelleri # 1'den daha iyi performans gösterecektir. Her ikisi de tahminlerde bulunmak için daha alakalı bilgiler kullanır (ortalama site etkisi).

B) Yeni veriler ölçülmemiş bir siteden alınmıştır

Aşağıdaki nedenlerden dolayı yine de 3 numaralı modelin # 1 ve # 2'den daha iyi performans göstermesini beklerdim.

(i) Model # 3'e karşı # 1:

Model 1, fazla temsil edilen siteler lehine taraflı tahminler üretecektir. Her bir siteden benzer sayıda puanınız ve makul düzeyde temsili bir site örneği varsa, her ikisinden de benzer sonuçlar almalısınız.

(ii) Model # 3'e karşı # 2:

Neden bu model # 3, bu durumda model 2'den daha iyi olsun? Rastgele etkiler büzülme avantajından faydalandığından - site etkileri sıfıra doğru 'küçülecektir'. Başka bir deyişle, sabit etki olarak belirtilenden daha rasgele bir etki olarak belirtildiğinde, site efektleri için daha az aşırı değerler bulma eğiliminde olacaksınız. Bu yararlıdır ve popülasyon anlamına geldiğinde makul bir şekilde normal bir dağılımdan alındığı düşünülebiliyorsa, öngörme kabiliyetinizi geliştirir (bkz . İstatistikte Stein Paradoksu ). Eğer popülasyon araçlarının normal bir dağılım izlemesi beklenmiyorsa, bu bir problem olabilir , ancak bu genellikle çok makul bir varsayımdır ve yöntem küçük sapmalara karşı dayanıklıdır.

[Not: varsayılan olarak, # 2 modeli takarken, çoğu yazılım sitelerden birini referans olarak kullanır ve referanslarını sapmasını temsil eden diğer siteler için tahmini katsayıları kullanır. Dolayısıyla, genel bir “nüfus etkisi” ni hesaplamanın bir yolu yok gibi görünebilir. Ancak bunu, tüm tek tek siteler için tahminler arasında ortalama alarak veya daha da basit olarak, modelin kodlamasını değiştirerek her site için katsayıları hesaplayarak hesaplayabilirsiniz.]

Mkt'in mükemmel cevabını takiben: Sağlık sigortası alanında öngörücü modeller geliştiren kendi kişisel deneyimimden, öngörücü modellere (makine öğrenme modelleri dahil) rastgele etkiler eklemenin bir takım avantajları vardır.

Sıklıkla, bireyin geçmiş talep verilerine dayanarak gelecek talep sonuçlarını (örneğin gelecekteki sağlık giderleri, kalış süreleri vb.) Öngören modeller oluşturmam isteniyor. Sık sık, korelasyonel sonuçlara sahip birey başına çoklu talepler vardır. Pek çok hak talebinin aynı hasta tarafından paylaşıldığı gerçeğini görmezden gelmek, öngörücü bir modelde değerli bilgileri ortaya çıkarmak olacaktır.

Çözümlerden biri, veri kümesindeki her üye için sabit etki gösterge değişkenleri oluşturmak ve üye düzeyindeki sabit etkilerin her birini ayrı ayrı küçültmek için cezalı bir regresyon kullanmak olacaktır. Bununla birlikte, verilerinizde binlerce veya milyonlarca üye varsa, hem hesaplamalı hem de öngörücü bakış açılarından daha etkili bir çözüm, çoklu üye düzeyinde sabit efektleri normal dağılımlı tek bir rastgele etki terimi olarak göstermek olabilir.