Bilgisayar tabanlı bir deneyde / simülasyonda artıkların bağımsızlığı?

17

Palaeo bilimlerinde kullanılan belirli bir model türünü uydurmanın farklı yöntemlerinin bilgisayar tabanlı bir değerlendirmesini yaptım. Büyük bir ish eğitim setim vardı ve bu yüzden rastgele (tabakalı rastgele örnekleme) bir test setini ayırdım. I donatılmış eğitim seti örnekleri için farklı yöntemler kullanılarak modelleri Elde edilen I test seti örnekleri için yanıtı tahmin ve test kümesinde örnekleri üzerinde RMSEP hesaplanmış. Bu tek bir koşu . $m$ $m$

Daha sonra bu işlemi çok kez tekrarladım, her seferinde yeni bir test setini rastgele örnekleyerek farklı bir eğitim seti seçtim.

Bunu yaptıktan sonra, yöntemlerinden herhangi birinin RMSEP performansının daha iyi veya daha kötü olup olmadığını araştırmak istiyorum . Ayrıca, ikili yöntemlerle çoklu karşılaştırmalar yapmak istiyorum. $m$

Yaklaşımım, Run için tek bir rastgele efektle doğrusal karışık efektler (LME) modeline uymaktı . Ben kullanılan lmer()den lme4 benim model ve işlevleri uyacak şekilde paketin multcomp birden karşılaştırmalar yapmak için paketin. Modelim aslında

lmer(RMSEP ~ method + (1 | Run), data = FOO)

Burada method, test seti için model tahminlerini oluşturmak için hangi yöntemin kullanıldığını gösteren bir faktördür ve benim "denememin" Runher belirli Çalışması için bir göstergedir .

Benim sorum LME'nin kalıntıları ile ilgili. Run için tek rastgele etki göz önüne alındığında, bu çalışma için RMSEP değerlerinin bir dereceye kadar korele olduğunu, ancak rasgele etkinin sağladığı korelasyon temelinde, çalışmalar arasında korelasyon olmadığını varsayarım.

Bu koşular arasındaki bağımsızlık varsayımı geçerli mi? Değilse, bunu LME modelinde hesaba katmanın bir yolu var mı yoksa sorumu cevaplamak için başka bir statik analiz türü mü arıyorsunuz?

— Monica'yı eski durumuna getirin - G. Simpson
kaynak

Kalıntılar tahmin edilen rastgele etkiler üzerinde koşullu mu yoksa koşulsuz mu ve simülasyonlarda tahmin edilen rastgele etkiler sabit mi yoksa değişken mi? LME4'teki varsayılan simülasyon yöntemleri için bunu anlamaya çalışın ve yapamadığınızı unutmayın (ancak ben halletmeden önce proje iptal edildi).

— phaneron

Tam olarak takip ettiğimden emin değilim, ancak çeşitli çizim eğitim seti -> uygun modeller -> hesaplama RMSEP, LME'den önce yapılır. Her test, farklı test seti numunelerinin kombinasyonları seçildikçe, farklı bir kesişme noktasına (RMSEP) sahip olacağı için rastgele etki çalıştırılır, ancak bu çalışma içinde sabittir. Koşullu / koşulsuz bite gelince, ne demek istediğinden emin değilim. Yorumunuz için teşekkürler.

— Monica'yı eski durumuna getirin - G. Simpson

4

Aslında, m yöntemlerinizin her biri için burada bir çeşit çapraz doğrulama yapıyorsunuz ve daha sonra hangi yöntemin daha iyi performans gösterdiğini görmek istiyorsunuz. Çalışmalar arasındaki sonuçlar kesinlikle aynı olacaktır, çünkü bunlar aynı verilere dayanmaktadır ve tren / test setleriniz arasında çakışma vardır. Soru, yöntemleri karşılaştırmaya geldiğinizde bunun önemli olup olmayacağıdır.

Diyelim ki yalnızca bir koşu gerçekleştireceksiniz ve bir yöntemin diğerlerinden daha iyi olduğunu göreceksiniz. O zaman kendinize sorardınız - bu sadece belirli test seti seçiminden mi kaynaklanıyor? Bu yüzden testinizi birçok farklı tren / test seti için tekrarlıyorsunuz. Bu nedenle, bir yöntemin diğer yöntemlerden daha iyi olduğunu belirlemek için, birçok kez çalıştırırsınız ve her çalıştırmada diğer yöntemlerle karşılaştırırsınız (hataya / sıralamaya / vb. Bakmak için farklı seçenekleriniz vardır). Şimdi, bir yöntemin çoğu çalışmada daha iyi olduğunu fark ederseniz, sonuç budur. Buna bir p değeri vermenin yararlı olduğundan emin değilim. Veya bir p değeri vermek istiyorsanız, kendinize burada arka plan modelinin ne olduğunu sorun.

— Bitsel
kaynak

Düşünceleriniz için teşekkürler. Sanırım son hatlarınız şu an nerede olduğumu özetliyor. Bu beklentisiyle biraz ben var İzlem Ben bu tür verileri analiz uygun yolları hakkında sormak. Ben de "bu ne olduğunu" hakkındaki görüşünüzü seviyorum; bu da son zamanlarda düşünce sürecimin kenarlarında dönüyordu.

— Monica'yı eski durumuna getirin. G. Simpson

"Sonuç ne olduğunu" bölümü ile ilgili bir sorun RMSEPs çalıştırmak için çalışma oldukça değişken olmasıdır. Ortalama olarak bir veya iki yöntem daha iyidir, ancak RMSEP'lerde değişkenlik göz önüne alındığında gerçekten daha iyi midir? Bu yüzden Run için rastgele efektli bir LME deniyorum. Bu yaklaşımı değiştirmek için her veri kümesinin kiminle ilişkilendirildiğini bilmem gerekir. Yaptığım herhangi bir istatistiksel testin bu şekilde değiştirilmesi gerekiyor gibi görünüyor. Bu yüzden hala her yöntem için 50 Koşu'nın araçlarını nasıl yorumlayacağım ve herhangi bir sonuç çıkarabileceğim mi?

— Monica'yı eski durumuna getirin. G. Simpson

1

Gördüğüm yol, verilerinizin olası tüm tren / test seti bölümleri üzerinden yöntemlerinizi değerlendirmek en kapsamlı değerlendirme olurdu. Bu imkansız olduğu için, bunu rastgele koşularla tahmin ediyorsunuz. Diyelim ki tüm tren / test bölümlerini değerlendirebilirsiniz - yine de hangi yöntemin daha iyi olduğuna nasıl karar vereceğiniz sorusu kalır. Bu daha çok “iyi” nin ne olduğunu tanımlamanız meselesidir. Yüksek ortalama puan anlamına mı geliyor? Ya da birçok çalışmada bir yöntemin diğerlerinden daha yüksek bir puan aldığı anlamına mı geliyor (kişisel olarak bunun daha iyi bir sürüm olacağını düşünüyorum)?

— Bitwise

1

Ne yaptığını gerçekten anlamayabilir ama

Run için, bu run için RMSEP değerlerinin bir dereceye kadar ilişkili olduğunu varsayıyorum.

Evet, bu test setinin o çalışmada ne kadar zorlu olduğunu yansıtıyor

ancak koşular arasında korelasyonu yoktur

Hayır, test setlerini örnekleme şekliniz göz önüne alındığında, bazıları diğerlerinden daha fazla örtüşecektir (kesinlikle bağımsız kopyalar değildir)

Bir şekilde, örtüşmeye dayalı bağımlılığı modellemeniz veya değerlendirmeyi, çalışmaların bağımsız olması için tasarlamanız gerekir. Çapraz geçerlilik ile ilgili istatistik literatürünü okurdum ;-)

— phaneron
kaynak

+1 Cevap için teşekkürler. Hmm, ne demek istediğini anlıyorum. Test setleri ne kadar benzer olursa RMSEP değerleri de o kadar benzer olacaktır. Tamam, veri uzamsal mı yoksa geçici olarak ilişkiliyse o şekilde olsun. Eğitim setlerini / test setlerini üretme şeklim, ortalama olarak hepsinin birbirinden farklı olduğu anlamına gelmelidir. CV'nin beni buraya getireceğinden emin değilim ve bir anlamda bunu sadece yeniden örnekleme yaklaşımıyla yapıyorum. Muhtemelen başka bir Q'ya gerçek sorunun nasıl çözüleceğini soracaktır.

— Monica'yı eski durumuna getirin. G. Simpson

Başka birinin ısırıp ısınmadığını görmek için bunu ödül döneminin sonuna kadar açık bırakacağım, ancak burada düşüncelerinizi takdir ediyorum ve başka Yanıtlar gelmiyorsa ödülü kabul edip ödüllendireceğim.

— Monica'yı eski durumuna getirin. G. Simpson