Model karmaşıklığının ölçüleri

İki modelin karmaşıklığını aynı sayıda parametreyle nasıl karşılaştırabiliriz?

Edit 09/19 : Açıklığa kavuşturmak için, model karmaşıklığı sınırlı verilerden öğrenmenin ne kadar zor olduğunun bir ölçüsüdür. İki model mevcut verilere eşit derecede uyduğunda, daha düşük karmaşıklığa sahip bir model gelecekteki verilerde daha düşük hata verecektir. Yaklaşımlar kullanıldığında, bu teknik olarak her zaman doğru olmayabilir, ancak pratikte doğru olma eğilimi varsa sorun olmaz. Çeşitli yaklaşımlar farklı karmaşıklık ölçüleri verir

Minimum Açıklama Uzunluğunun çeşitli ölçümlerinin yanı sıra (örneğin, normalize edilmiş maksimum olasılık, Fisher Bilgisi yaklaşımı), belirtilmesi gereken iki yöntem daha vardır:

1. Parametrik Önyükleme . Uygulanması, zorlu MDL önlemlerinden çok daha kolaydır. Wagenmaker ve meslektaşları güzel bir makale:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P. ve Iverson, GJ (2004). Parametrik önyükleme kullanarak model taklidini değerlendirme . Matematiksel Psikoloji Dergisi , 48, 28-50.
   Soyut:

   Bir modelin, rakip bir model tarafından üretilen verileri hesaba katma yeteneği olarak tanımlanan model taklitini ölçmek için genel bir örnekleme prosedürü sunuyoruz. Parametrik bootstrap çapraz montaj yöntemi (PBCM; cf. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)) olarak adlandırılan bu örnekleme prosedürü, uyum iyiliğindeki farklılıkların dağılımlarını üretir rakip modellerin her biri altında olması bekleniyor. PBCM'nin veri bilgili versiyonunda, üreten modeller, söz konusu deneysel verilerin yerleştirilmesiyle elde edilen spesifik parametre değerlerine sahiptir. Veri ile bilgilendirilmiş fark dağılımları, model yeterliliğinin bir miktarının ölçülmesini sağlamak için, uyum iyiliğindeki gözlenen fark ile karşılaştırılabilir. PBCM'nin bilgilendirilmemiş veri sürümünde, üreten modeller önceki bilgilere dayanarak nispeten geniş bir parametre değerleri aralığına sahiptir. Hem bilgilendirilen verilerin hem de bilgisiz PBCM'nin uygulanması birkaç örnekle gösterilmiştir.

   Güncelleme: Model taklidini düz İngilizce olarak değerlendirme. İki rakip modelden birini alırsınız ve bu model için rastgele bir dizi parametre seçersiniz (ya veri bilgilendirilir ya da verilmez). Ardından, seçilen parametre seti ile bu modelden veri üretirsiniz. Daha sonra, her iki modelin üretilen verilere uymasına izin verin ve iki aday modelden hangisinin daha iyi uyduğunu kontrol edin. Her iki model de eşit derecede esnek veya karmaşıksa, verileri ürettiğiniz model daha iyi bir uyum sağlamalıdır. Ancak, diğer model daha karmaşıksa, veriler diğer modelden üretilmesine rağmen, daha iyi bir uyum sağlayabilir. Bunu her iki modelle birkaç kez tekrarlıyorsunuz (yani, her iki modelin veri üretmesine izin verin ve ikisinden hangisinin daha iyi uyduğuna bakın). Diğer model tarafından üretilen verilere "fazla uyan" model daha karmaşıktır.

2. Çapraz Doğrulama : Uygulanması da oldukça kolaydır. Bu sorunun cevaplarına bakın . Bununla birlikte, bununla ilgili sorunun, örnek kesme kuralı (bir kereye mahsus bırakma, K-katlama, vb.)

Bence gerçek model uydurma prosedürüne bağlı. Genel olarak uygulanabilir bir önlem için, 1998'de açıklanan Genelleştirilmiş Serbestlik Derecelerini düşünebilirsiniz - esasen model tahminlerindeki değişimin gözlemlerin bozulmasına duyarlılığı - model karmaşıklığının bir ölçüsü olarak iyi çalışır.

Minimum Açıklama Uzunluğu (MDL) ve Minimum Mesaj Uzunluğu (MML) kesinlikle kontrol edilmeye değer.

MDL ile ilgili olarak, Normalize Edilmiş Maksimum Olabilirlik (NML) prosedürünü ve asimptotik yaklaşıklamayı gösteren basit bir makale:

S. de Rooij ve P. Grünwald. Sonsuz parametrik karmaşıklığa sahip minimum tanımlama uzunluğu model seçimi üzerine ampirik bir çalışma. Matematiksel Psikoloji Dergisi, 2006, 50, 180-192

Burada, Geometrik ve Poisson dağılımının model karmaşıklığına bakarlar. MDL hakkında mükemmel (ücretsiz) bir öğretici burada bulunabilir .

Alternatif olarak, hem MML hem de MDL ile incelenen üstel dağılımın karmaşıklığı üzerine bir makale burada bulunabilir . Ne yazık ki, MML hakkında güncel bir eğitim yoktur, ancak kitap mükemmel bir referanstır ve şiddetle tavsiye edilir.

Minimum Açıklama Uzunluk , takip edilmeye değer bir yol olabilir.

"Model karmaşıklığı" ile kişi genellikle model alanının zenginliği anlamına gelir. Bu tanımın verilere bağlı olmadığını unutmayın. Doğrusal modeller için, model uzayının zenginliği, alanın azalmasıyla önemsiz bir şekilde ölçülür. Bazı yazarlar buna "özgürlük dereceleri" demektedir (tarihsel olarak, serbestlik dereceleri model alanı ile örnek alanı arasındaki fark için ayrılmıştır). Doğrusal olmayan modeller için, alanın zenginliğini ölçmek daha az önemsizdir. Genelleştirilmiş Serbestlik Dereceleri (bkz. Ars cevabı) böyle bir önlemdir. Gerçekten çok geneldir ve ağaçlar, KNN ve benzerleri gibi herhangi bir "garip" model alanı için kullanılabilir. VC boyutu bir ölçüsüdür.

Yukarıda belirtildiği gibi, bu "karmaşıklık" tanımı verilerden bağımsızdır. Dolayısıyla, aynı sayıda parametreye sahip iki model tipik olarak aynı "karmaşıklığa" sahip olacaktır.

Yaroslav'ın yorumlarından Henrik'in cevabına:

ancak çapraz doğrulama sadece karmaşıklığı değerlendirme görevini erteliyor gibi görünmektedir. Verilerinizi parametrelerinizi ve modelinizi çapraz doğrulamadaki gibi seçmek için kullanırsanız, ilgili soru bu "meta" vericinin iyi performans göstermesi için gereken veri miktarının nasıl tahmin edileceği haline gelir

$k$$k$$k$$CV(k)$$k$$k$

Prosedürün sonucu doğrudan örnek tahmini dışı hatadaki fark (birimler) cinsinden olduğu için buna bir 'önem' aroması bile verebilirsiniz.

Model karşılaştırması için bilgi kriteri ne olacak? Bkz. Örneğin http://en.wikipedia.org/wiki/Akaike_information_criterion

Model karmaşıklığı burada modelin parametre sayısıdır.