Parsimony hala altın standart mı olmalı?

Sadece bir düşünce:

Parsimonif modeller, model seçiminde her zaman varsayılan hedef olmuştur, ancak bu yaklaşım ne derece eskidir? Parlamentoya olan eğilimimizin bir abaki ve slayt kuralları (ya da daha ciddi olarak modern olmayan bilgisayarlar) zamanının bir kalıntısı olduğunu merak ediyorum. Günümüzün bilgi işlem gücü, giderek daha fazla tahminde bulunma yeteneği olan karmaşık modeller oluşturmamızı sağlıyor. Hesaplama gücündeki bu artan tavanın bir sonucu olarak, gerçekten sadeliğe doğru çekim yapmamız gerekiyor mu?

Elbette, daha basit modellerin anlaşılması ve yorumlanması daha kolaydır, ancak sürekli artan veri kümeleri çağında, daha fazla sayıda değişkene ve tahmin yeteneğine daha fazla odaklanmaya doğru kaymaya başladığında, bu artık elde edilemeyebilir veya gerekli olmayabilir.

Düşünceler?

@ Matt'in asıl cevabı , parlamentonun yararlarından birini tanımlamak için harika bir iş çıkarsa da, aslında sorunuzu yanıtladığını sanmıyorum. Gerçekte, parsimony altın standart değildir. Şimdi değil, hiç olmadı. Parlamentoya ilişkin "altın standart" genelleştirme hatasıdır. Fazla giyinmeyen modeller geliştirmek istiyoruz. Bu, numunede olduğu gibi numunenin öngörülmesi için (veya yorumlanabilir veya minimum hata ile) faydalıdır. (Yukarıda ortaya konan şeyler yüzünden), parlamentonun genelleme hatası için oldukça iyi bir vekaletname olduğu ortaya çıktı, ancak hiçbir şekilde tek değil.

Gerçekten, neden çapraz doğrulama veya ön yükleme veya tren / test setleri kullandığımızı düşünün. Amaç, genelleme doğruluğu iyi olan modeller oluşturmaktır. Çoğu zaman, bu örnek performansın tahmin edilmesinin yolları, her zaman değil, daha düşük karmaşıklığa sahip modeller seçerek sonuçlanır. Aşırı bir örnek olarak, kehanetin bize gerçek ama son derece karmaşık model ile fakir ama cimri bir model verdiğini hayal edin. Eğer parsimony gerçekten bizim hedefimiz olsaydı, ikinciyi seçerdik, gerçekte, ilki, eğer yapabilirsek öğrenmek istediğimiz şeydir. Maalesef, son cümlenin çoğu zaman "eğer yapabilirsek", hakarettir.

Parsimonik modeller sadece bilgi işlem gereklilikleri nedeniyle değil aynı zamanda genelleme performansı için de tercih edilir. Örnek alanını tamamen ve doğru bir şekilde kapsayan sınırsız veri idealini elde etmek imkansızdır, bu da eşitliksiz modellerin örnek popülasyondaki gürültü ve özniteliklerin üstesinden gelme ve modelleme potansiyeline sahip olduğu anlamına gelir.

Milyonlarca değişkenli bir model oluşturmak kesinlikle mümkündür, ancak sistemi modellemek için çıktı üzerinde etkisi olmayan değişkenleri kullanıyor olabilirsiniz. Antrenman veri kümenizde harika bir tahmin performansı elde edebilirsiniz, ancak bu alakasız değişkenler görünmeyen bir test setinde performansınızı büyük olasılıkla düşürecektir.

Bir çıktı değişkeni gerçekten bir milyon girdi değişkeninin sonucuysa, hepsini yordayıcı modelinize koymak için iyi yaparsınız, ancak yalnızca yeterli veriye sahipseniz . Bu boyutta bir modeli doğru bir şekilde oluşturmak için en az birkaç milyon veri noktasına ihtiyacınız olacaktır. Cimri modeller güzeldir, çünkü birçok gerçek dünyada, bu büyüklükteki bir veri seti basitçe mevcut değildir ve ayrıca çıktı büyük oranda nispeten az sayıda değişken tarafından belirlenir.

Bence önceki cevaplar önemli noktalara değiniyor:

• Parsimonious modeller daha iyi genelleme özelliklerine sahip olma eğilimindedir.
• Parsimony gerçekten bir altın standart değil, sadece bir değerlendirmedir.

Günden güne iş deneyimi için çıkan birkaç yorum eklemek istiyorum.

Tahmine dayalı doğruluk argümanının genelleştirilmesi elbette güçlüdür, ancak odak açısından akademik önyargıdır. Genel olarak, istatistiksel bir model üretirken, ekonomiler öngörücü performansın tamamen baskın bir konu olduğu şekilde değildir. Çok sık olarak, belirli bir uygulama için faydalı bir modelin neye benzediğine dair büyük dışsal kısıtlamalar vardır:

• Model, mevcut bir çerçeve veya sistem içerisinde uygulanabilir olmalıdır .
• Model teknik olmayan bir işletme tarafından anlaşılabilir olmalıdır .
• Model hesaplama açısından verimli olmalıdır .
• Model belgelenebilir olmalıdır .
• Modelin düzenleme kısıtlamalarını geçmesi gerekir .

Gerçek uygulama alanları olarak, tüm bu hususlar ise pek gelip önce değil, sonra ve model formu ve parametrelerin optimizasyonu edilir - öngörü performansı kısıtlı bu arzularını tarafından. Bu kısıtlamaların her biri bilim insanını parlamentoya yöneltir.

Birçok alanda bu kısıtlamaların aşamalı olarak kaldırıldığı doğru olabilir. Fakat aslında onları görmezden gelebilecek olan şanslı bilim adamı, genelleme hatasını en aza indirmeye odaklanmış durumdalar.

Bu, ilk kez bilim adamı, okuldan yeni çıkmış (bu kesinlikle benim içindi ve işimdeki kısıtlamaların haklı olmadığını) hissetmeye devam ettiğim için çok sinir bozucu olabilir. Fakat sonunda, kabul edilemez bir ürün üretmek için çok çalışmak israftır ve bu, bilimsel gururunuza acı vermekten daha kötü hissettirir.

Bence bu çok iyi bir soru. Benim görüşüme göre asalet abartılıyor. Doğa nadiren ayrıcalıklıdır ve bu yüzden kesin tahmin edici veya tanımlayıcı modellerin de böyle olmasını beklememeliyiz. Yorumlanabilirlik meselesine gelince, sadece mütevazi olarak gerçekliğe uyan daha basit bir model seçerseniz, sadece anlayabildiğiniz için, tam olarak ne anlıyorsunuz? Daha karmaşık bir modelin daha iyi tahmine dayalı güce sahip olduğu varsayıldığında, yine de gerçek gerçeklere daha yakın görünmektedir.

Parsimony, altın bir başlangıç ​​değildir. Modellemede bir özelliktir. Modelleme ve özellikle tahminler kodlanamaz, yani bir senaryoyu takip etmesi için sadece bir betik veremezsiniz. Modelleme sürecinin dayanması gereken prensipleri tanımlamayı tercih edersiniz. Bu nedenle, para cezası uygulaması, bir daha hiçbir şekilde kodlanamayan ilkelerden biridir. Bir modelleyici, bir model seçerken karmaşıklığı dikkate alacaktır.

Hesaplamalı gücün bununla ilgisi yok. Endüstride iseniz, modelleriniz iş adamları, ürün çalışanları, sizin adınızla her kim tarafından tüketilecektir. Modelinizi onlara açıklamalısınız, bu onlara mantıklı gelmelidir . Parlamentodaki modellere sahip olmak bu konuda yardımcı olur.

Örneğin, ürün satışları öngörüyorsunuz. Sen ne anlatmak gerekir sürücüler satış, ve nasıl çalışır. Bunlar, işletmenin iş yaptığı kavramlarla ilgili olmalı ve korelasyonlar işletme tarafından anlaşılmalı ve kabul edilmelidir. Karmaşık modellerde modelin sonuçlarını yorumlamak ya da farklılıkları gerçeklerle ilişkilendirmek çok zor olabilir. Modellerinizi işletmeye açıklayamazsanız, buna değer vermezsiniz.

Tahmin için özellikle önemli olan bir şey daha. Diyelim ki modeliniz N dışsal değişkene bağlı. Bu, bağımlı değişkeninizi tahmin etmek için önce bu değişkenlerin tahminlerini elde etmeniz gerektiği anlamına gelir. Daha küçük N'ye sahip olmak hayatınızı kolaylaştırır, böylece daha basit bir model kullanmak daha kolaydır.

Belki de dün sadece huzurla keşfettiğim bir kavram olan Akaike Bilgi Kriteri'ni gözden geçirdim. AIC, herhangi bir temel Occam Razor veya parsimony yaklaşımı yerine, eldeki gözlemler için hangi modelin ve kaç parametrenin en iyi açıklama olduğunu belirlemeye çalışır.