Bir modelin rafine edilmesi ne zaman durdurulur?

Son 3 yıldır birçok kitaptan istatistik okuyorum ve bu site sayesinde çok şey öğrendim. Yine de benim için temel bir soru hala cevaplanmamış. Çok basit veya çok zor bir cevabı olabilir, ancak kesin bir istatistik anlayışı gerektirdiğinden eminim.

Bir modeli veriye, sık veya Bayesci bir yaklaşım olarak yerleştirirken, olabilirlik, önceki veya çekirdek (parametrik olmayan) vb. İçin fonksiyonel bir formdan oluşabilecek bir model öneriyoruz. Sorun herhangi bir modeldir. bir miktar iyilik seviyesine sahip bir numuneye uyar. Kişi şu anda el altında olanlara kıyasla daha iyi veya daha kötü bir model bulabilir. Bir noktada durup sonuç çıkarmaya, nüfus parametrelerini genelleştirmeye, güven aralıklarını bildirmeye, riski hesaplamaya vb. Başlarız. AIC, MDL, vs. gibi beklenen KL mesafesini tahmin etmek için araçlar kullanıyor olsak bile, mutlak bir temelde nerede durduğumuz hakkında bir şey söylemez, ancak tahminimizi göreceli olarak geliştirir.

Şimdi modelleri oluştururken herhangi bir veri kümesine uygulamak için adım adım bir prosedür tanımlamak istediğimizi varsayalım. Durdurma kuralı olarak ne belirtmeliyiz? En azından bize nesnel bir durma noktası verecek olan model hatasını bağlayabilir miyiz (bu, bir doğrulama örneği kullanarak eğitimi durdurmaktan farklıdır, çünkü gerçek DGP yerine wrt değerlendirilmiş model sınıfı içinde bir durma noktası da verir)?

Ne yazık ki, bu soru mu değil iyi bir cevabım var. En sık kullanılan seçimlerden bahsetme olasılığını cezalandıran bazı kriterler (örneğin AIC, BIC) kullanarak mutlak hatayı, kare hatasını en aza indirgeme olasılığını en üst düzeye çıkarması temelinde en iyi modeli seçebilirsiniz. Sorun şu ki, bu kriterlerin hiçbiri objektif olarak en iyi modeli seçmenize izin vermiyor, aksine karşılaştırdığınız en iyi modeli seçmenize izin vermiyor. Başka bir sorun, optimizasyon yaparken her zaman yerel maksimum / minimum olarak sonuçlanabilmenizdir. Yine başka bir sorun, model seçimi için kriter seçiminizin öznel olmasıdır . Birçok durumda, neyle ilgilendiğiniz konusunda bilinçli veya yarı bilinçli bir karar alırsınız ve buna dayalı kriterleri seçersiniz. için Örneğin, AIC yerine BIC kullanmak, daha az parametreyle daha cimri modellere yol açar. Genellikle modelleme için için evren hakkında bazı genel sonuçlara yol açan daha cimri modellerle ilgilenirsiniz, tahmin etmek için böyle olmak zorunda değildir ve bazen daha karmaşık model daha iyi tahmin gücüne sahip olabilir (ancak genellikle o değil). Diğer durumlarda, bazen pratik nedenlerden dolayı daha karmaşık modeller tercih edilir , örneğin Bayes modelini MCMC ile tahmin ederken, hiyerarşik hiper priorlu model , simülasyonda daha basit olandan daha iyi davranabilir. Öte yandan, genellikle aşırı uyumdan korkuyoruzve daha basit modelin aşırı takma riski daha düşüktür, bu nedenle daha güvenli bir seçimdir. Bunun güzel bir örneği, kolayca takılmayan ve önyargılı tahminlere yol açtığı için genellikle tavsiye edilmeyen otomatik aşamalı bir model seçimidir . Ayrıca en basit modelin tercih edilen model olduğu felsefi bir argüman olan Occam'ın usturası da var . Dikkat edin, burada farklı modelleri karşılaştırırken tartışıyoruz, gerçek hayatta da farklı istatistiksel araçlar kullanmak farklı sonuçlara yol açabilir - böylece yöntemi seçmenin ek bir katmanı olabilir!

Bütün bunlar asla emin olamayacağımız üzücü ama eğlenceli bir gerçeğe yol açıyor. Belirsizlikle başlarız, bununla başa çıkmak için yöntemler kullanırız ve sonuçta belirsizlikle sonuçlanırız. Bu paradoksal olabilir, ancak istatistikleri kullandığımızı hatırlayın çünkü dünyanın belirsiz ve olasılıklı olduğuna inanıyoruz (aksi takdirde peygamberlerin bir kariyerini seçeriz), bu yüzden nasıl farklı sonuçlarla sonuçlanabiliriz? Nesnel durdurma kuralı yoktur, birden fazla olası model vardır, hepsi yanlıştır (klişe için özür dileriz!) Çünkü karmaşık (sürekli değişen ve olasılıklı) gerçekliği basitleştirmeye çalışırlar. Bazılarını amaçlarımız için diğerlerinden daha yararlı buluyoruz ve bazen yapıyoruz$\theta$$\mu$

Daha derine inebilir ve gerçekte "olasılık" diye bir şey olmadığını öğrenebilirsiniz - bu, etrafımızdaki belirsizliğin sadece bir kestirimidir ve ayrıca bulanık mantık gibi yaklaşmanın alternatif yolları da vardır (bkz. Kosko, 1993). tartışma için). Yöntemlerimizin dayandığı çok temel araçlar ve teoremler bile yaklaşık değerlerdir ve mümkün olan tek şey değildir. Böyle bir kurulumda emin olamayız.

Aradığınız durdurma kuralı her zaman probleme özgü ve özneldir, yani mesleki muhakemeye dayanır. Bu arada, profesyoneller (tarafından gazetelerde ve kitaplarda canlandı örneğin laypeople daha kendi kararda çoğu zaman daha iyi ve hatta bazen daha kötü olduğunu göstermiştir Araştırma örnekleri bir sürü Daniel Kahneman daha yatkın olurken), overconfidence (bu aslında biz neden üzerinde bir argüman değil ) bizim modelleri hakkında "emin" olmaya çalışıyorum.

Kosko, B. (1993). Bulanık düşünme: Yeni bulanık mantık bilimi. New York: Hyperion.

Güçlü modellerin kullanılmasını önleyen parametrik olmayan istatistikler adı verilen bir alan var. Ancak, montaj modelleri ile ilgili endişeleriniz de geçerlidir. Ne yazık ki, evrensel olarak "optimal" olarak kabul edilecek modellerin takılması için mekanik bir prosedür yoktur. Örneğin, verilerinizin olasılığını en üst düzeye çıkaran modeli tanımlamak istiyorsanız, ampirik dağıtım işlevine yönlendirilirsiniz.

Bununla birlikte, genellikle sonlu birinci ve ikinci anlarla sürekli gibi bazı arka plan varsayımlarımız ve kısıtlamalarımız vardır. Bu gibi durumlarda, bir yaklaşım Shannon Diferansiyel Entropi gibi bir ölçü seçmek ve sınır kısıtlamalarınızı karşılayan sürekli dağılımlar alanı üzerinde maksimize etmektir.

Vurgulamak istediğim, sadece ECDF'yi varsayılan yapmak istemiyorsanız, o zaman verilerin ötesinde, oraya ulaşmak için varsayımlar eklemeniz gerekecek ve konu uzmanlığı gerektirecek ve evet , korkmuş ..... profesyonel karar

Yani, modellemenin garantili bir durma noktası var mı ... cevap hayır. Durmak için yeterince iyi bir yer var mı? Genel olarak, evet, ancak bu nokta sadece verilere ve bazı istatistiksel desideratadan daha fazlasına bağlı olacaktır, genellikle farklı hataların risklerini, modellerin uygulanmasında teknik sınırlamaları ve tahminlerinin sağlamlığını dikkate alacaksınız, vb.

@Luca'nın işaret ettiği gibi, her zaman bir model sınıfında ortalama olabilirsiniz, ancak haklı olarak belirttiğiniz gibi, bu sadece soruyu bir sonraki hiperparametreler seviyesine kadar yükseltir. Ne yazık ki, her iki yönde sonsuz katmanlı bir soğan içinde yaşıyoruz gibi görünüyor!