Çapraz doğrulama yerine verinin marjinal geçiciliğini en üst düzeye çıkararak birçok parametreli bir ARD çekirdeği ile bir Gauss süreci eğitimi alıyorum.
Aşırı uyduğundan şüpheleniyorum. Bu şüpheyi Bayes bağlamında nasıl test edebilirim?
Çapraz doğrulama yerine verinin marjinal geçiciliğini en üst düzeye çıkararak birçok parametreli bir ARD çekirdeği ile bir Gauss süreci eğitimi alıyorum.
Aşırı uyduğundan şüpheleniyorum. Bu şüpheyi Bayes bağlamında nasıl test edebilirim?
Yanıtlar:
Yapılacak en basit şey bir Gauss sürecini ARD olmayan eşdeğer kovaryans fonksiyonuna (genellikle RBF) uydurmak ve test hata oranlarını karşılaştırmak olacaktır. Birçok problem için, bir ARD kovaryans fonksiyonu , hiper parametrelerin ayarlanmasına aşırı uyma nedeniyle ARD olmayan bir kovaryans fonksiyonundan daha kötü performans gösterir. RBF kovaryansı ARD kovaryansının özel bir durumu olduğundan, RBF daha iyi performans gösterirse, ARD çekirdeğinin fazla uyduğuna dair güçlü bir göstergedir (ARD katsayılarını karşılık gelen RBF kovaryansı için en uygun değerlerde optimize etmeye başlayın, bu daha hızlı ve aynı zamanda ARD kovaryansındaki sorunun sadece marjinal olasılıktaki yerel minimadan kaynaklanmamasını sağlamaya yardımcı olur). Bu genel olarak takdir edilenden çok daha büyük bir sorundur.
Bu konuda birkaç makale yazdım:
GC Cawley ve NLC Talbot, Hiper parametrelerin Bayes düzenlenmesi yoluyla model seçimi sırasında aşırı uyumu önleme, Journal of Machine Learning Research, cilt 8, sayfa 841-861, Nisan 2007 ( pdf )
ve
GC Cawley ve NLC Talbot, Model seçiminde aşırı uyum ve performans değerlendirmesinde müteakip seçim eğilimi, Journal of Machine Learning Research, 2010. Research, cilt. 11, s.2079-2107, Temmuz 2010 ( pdf )
Birincisi, model seçimine aşırı uymanın marjinal olabilirlik maksimizasyonu tabanlı model seçimine sahip GP'ler için bir sorun olduğunu gösteren bazı GP deneyleri içerir.
Daha kapsamlı bir analiz, marjinal olasılığı optimize etme sürecindeki her adımda GP'nin test hatasını değerlendirmek olacaktır. Model seçim kriterinin monoton olarak azaldığı klasik aşırı uyum işaretini almanız büyük olasılıktır, ancak test hatası başlangıçta azalır, ancak model seçim kriteri aşırı optimize edildiğinde tekrar yükselmeye başlar (cf Şekil 2a, 2010 JMLR belgesinde).