George Box, Galit Shmueli ve bilimsel yöntem?

(Bu soru Felsefe SE için daha uygun gibi görünebilir. İstatistikçilerin Box ve Shmueli'nin ifadeleri hakkındaki yanlış düşüncelerimi netleştirebileceğini umuyorum, bu yüzden buraya gönderiyorum).

ARIMA şöhretinden George Box şöyle dedi:

"Tüm modeller yanlış, ancak bazıları faydalı."

Galit Shmueli "Açıklamak ya da Tahmin Etmek" adlı ünlü makalesinde şunları savunuyor (ve onunla aynı fikirde olan diğerlerine atıfta bulunuyor):

Açıklamak ve tahmin etmek aynı değildir ve bazı modellerde, öngörme konusunda zayıf bir iş yapsalar bile, iyi bir açıklama işi vardır.

Bunların ilkelere göre bir şekilde çelişkili olduğunu hissediyorum.

Bir model iyi tahmin etmiyorsa, faydalı mı?

Daha da önemlisi, eğer bir model iyi açıklıyorsa (ama iyi tahmin etmiyorsa), bir şekilde doğru (yani yanlış değil) olmalıdır. Peki bu Box'ın "tüm modeller yanlış" ile nasıl bir ağ?

Son olarak, eğer bir model iyi açıklıyor, ancak iyi tahmin etmiyorsa, nasıl bilimseldir? Çoğu bilimsel sınırlama ölçütü (doğrulama, falsificstionizm, vb ...) bilimsel bir ifadenin öngörücü güce sahip olması ya da konuşma dilinde olması gerektiği anlamına gelir: Bir teori ya da model yalnızca ampirik olarak test edilebilirse (ya da tahrif edilebilirse) doğrudur. gelecekteki sonuçları tahmin etmek zorundadır.

Sorularım:

• Box'un ifadesi ve Shmueli'nin fikirleri gerçekten çelişkili mi, yoksa bir şey mi kaçırıyorum, örneğin bir modelin tahmin gücü henüz mevcut değil mi?
• Box ve Shmueli'nin ifadeleri çelişkili değilse , bir modelin yanlış olması ve iyi tahmin etmemesi, ancak yine de açıklayıcı güce sahip olması ne anlama gelir? Başka bir deyişle: Eğer kişi hem doğruluğu hem de öngörme yeteneğini ortadan kaldırırsa, bir modelden geriye ne kalır?

Bir modelin açıklayıcı güce sahip olduğu, ancak öngörücü güce sahip olmadığı durumlarda hangi deneysel doğrulamalar mümkündür? Shmueli şu şeylerden bahseder: açıklama için AIC'yi ve tahmin için BIC'yi kullanın, vb ... ama bunun sorunu nasıl çözdüğünü göremiyorum. Öngörü modelleri ile, AIC veya BIC veya kullanabilir $R^2$ veya $L1$ vs düzene koymayı, ... ama sonuçta dışarı örnek test ve performans üretiminde modelin kalitesini belirleyen şeydir. Ancak iyi açıklayan modeller için, herhangi bir kayıp fonksiyonunun bir modeli gerçekten nasıl değerlendirebileceğini görmüyorum. Bilim felsefesinde yetersiz belirleme kavramı vardırBurada verilen herhangi bir veri kümesi için, her zaman veriye uyacak şekilde bir miktar dağıtım (veya dağılım karışımı) ve kayıp fonksiyonu $L$ seçilebilir (ve dolayısıyla bunu açıkladığı iddia edilebilir). Ayrıca, eşik değeri $L$ modeli yeterli veri keyfidir açıklayan bir isteme birisi için altında olmalıdır (tür p-değerleri benzerlerinin neden olduğunu $p < 0.05$ ve $p < 0.1$ veya $p < 0.01$ ?).

• Yukarıdakilere dayanarak, iyi açıklayan, ancak iyi tahmin etmeyen bir modeli nasıl objektif olarak doğrulayabiliriz, çünkü örnek dışı testler mümkün değildir?

George Box'ın "tüm modeller yanlış, ama bazıları faydalı" diyen alıntıyla başlayayım. Bu ifade, bilimlerde oldukça etkili olan felsefi bir yaklaşım olan "pozitivizmin" metodolojik yaklaşımının bir kapsüllenmesidir. Bu yaklaşım, Friedman'ın klasik metodolojik denemesinde (1966) ayrıntılı olarak (iktisat teorisi bağlamında ) açıklanmaktadır . Bu makalede Friedman, herhangi bir yararlı bilimsel teorinin zorunlu olarak gerçeğin basitleştirilmesini oluşturduğunu ve bu nedenle varsayımlarının her zaman gerçeklikten bir dereceye kadar ayrılması gerektiğini ve hatta büyük ölçüde gerçeklikten ayrılabileceğini savunuyor.dünyanın karmaşıklığını yönetilebilir ilkeler kümesine indirgeme ve gerçeklikle ilgili tahminlerde bulunmadaki doğruluk ve gerçeklikle ilgili yeni test edilebilir hipotezler üretme. Bu nedenle Friedman, hepsi gerçeği basitleştiren (ve dolayısıyla uzaklaşan) varsayımlar içerdiği sürece "tüm modellerin yanlış" olduğunu, ancak gerçeklik hakkında yararlı tahminler yapmak için basit bir çerçeve sundukları sürece "bazılarının yararlı olduğunu" iddia eder.

Şimdi, Box (1976) 'yı okursanız ( ilk önce "tüm modellerin yanlış olduğunu" belirttiği makale), Friedman'dan alıntı yapmadığını veya metodolojik pozitivizmden bahsetmediğini göreceksiniz. Bununla birlikte, bilimsel yöntem ve özelliklerini açıklaması Friedman tarafından geliştirilene oldukça yakındır. Özellikle, her iki yazar da bilimsel bir teorinin gözlemlenen gerçeklere karşı test edilebilen gerçeklik hakkında tahminlerde bulunacağını vurgular ve tahmindeki hata teorinin revizyonu için bir temel olarak kullanılabilir.

Şimdi, Şmueli'de (2001) Galit Shmueli tarafından tartışılan ikilik üzerine . Bu makalede Shmueli, gözlemlenen sonuçların nedensel açıklamasını ve tahminini karşılaştırmakta ve bunların farklı faaliyetler olduğunu savunmaktadır. Özellikle, nedensel ilişkilerin doğrudan ölçülebilir sonuçlarda ortaya çıkmayan temel yapılara dayandığını ve dolayısıyla "ölçülebilir verilerin temel yapılarının doğru bir temsili olmadığını" savunmaktadır (s. 293). Bu nedenle, sonuçlarda ölçülebilir karşı olgusal farklılıklarda ortaya çıkmayan, gözlemlenemeyen altta yatan nedensel ilişkiler hakkında çıkarımlar yapılmasını içeren bir istatistiksel analizin bir yönü olduğunu savunmaktadır.

Bir şeyi yanlış anlamadığım sürece, bu fikrin Box'un alıntısında temsil edildiği gibi Box ve Friedman'ın pozitivist görüşleri ile gergin olduğunu söylemek doğru olur. Pozitivist bakış açısı aslında ölçülebilir sonuçlarda ortaya çıkanların ötesinde kabul edilebilir metafizik "yapılar" olmadığını söyler. Pozitivizm, gözlemlenebilir verileri ve bu veriler üzerine inşa edilen kavramları dikkate alır; a priori'nin dikkate alınmasını hariç tutarmetafizik kavramlar. Dolayısıyla, bir pozitivist nedensellik kavramının ancak gerçekte ölçülebilir sonuçlar açısından tanımlandığı ölçüde --- bundan farklı bir şey olarak tanımlandığı ölçüde (Shmueli'nin davrandığı gibi) geçerli olabileceğini iddia edebilir, bu metafizik spekülasyon olarak kabul edilir ve bilimsel söylemde kabul edilemez olarak değerlendirilir.

Bence haklısın --- bu iki yaklaşım esasen çatışma içindedir. Box tarafından kullanılan pozitivist yaklaşım, geçerli bilimsel kavramların tamamen gerçeklikteki tezahürlerine dayandığı konusunda ısrar ederken, Shmueli tarafından kullanılan alternatif yaklaşım, önemli bilimsel kavramlar olan (açıklamak istediğimiz) ama yapamayan bazı "yapılar" olduğunu söylüyor. gerçekte ölçülebilir sonuçlarla ilişkilendirerek "operasyonelleştirildiklerinde" mükemmel bir şekilde temsil edilmek.

Bir şey, şeyleri açıklamak için kullanıldığında, gerçekliğin basitleştirilmesidir. Sadeleştirme, "yararlı bir şekilde yanlış" anlamına gelen başka bir kelimedir. Örneğin, 3.1415926535898 sayısını 3.14'e yuvarlarsak, bir hata yapıyoruz, ancak bu hata insanların bu sayının en önemli kısmına odaklanmasına izin veriyor. Modeller açıklamak için bu şekilde kullanılır, bazı problemler hakkında fikir verir, ancak zorunlu olarak birçok başka şeyden soyutlamak zorunda kalırız: Biz insanlar aynı anda binlerce şeye bakmakta çok iyi değiliz. Öncelikle tahmin etmeyi önemsiyorsak, mümkün olduğunca bu binlerce şeyi dahil etmek istiyoruz, ancak değiş tokuşun açıklanması farklıdır.

Tahminde mükemmel olan ancak hiçbir şeyi açıklamayan bir model örneği, “ Tüm modeller yanlış ” Wikipedia makalesinde verilmiştir . Örnek Newton'un yerçekimi modelidir. Newton'un modeli neredeyse her zaman ampirik gözlemlerden ayırt edilemeyen tahminler verir. Yine de model son derece mantıksız: çünkü keyfi olarak büyük mesafelerde anında hareket edebilecek bir kuvvet öneriyor.

Newton'un modeli, Einstein'ın genel görelilik teorisinde verilen modelle değiştirildi. Genel görelilik ile, çekim kuvvetleri sonlu hızda (ışık hızı) uzaydan geçer.

Newton'un modeli, genel göreceli modelin basitleştirilmesi değildir. Bunu göstermek için, bir ağaçtan düşen bir elmayı düşünün. Genel göreliliğe göre, elma Dünya üzerinde hiçbir kuvvet uygulamadan düşer. (Elmanın düşmesinin başlıca nedeni, Dünya'nın zaman atlamasıdır, böylece ağacın tabanına yakın saatler, ağaçtaki yüksek saatlerden daha yavaş çalışır.) Bu nedenle, Wikipedia makalesinde belirtildiği gibi, Newton'un modeli açıklayıcıdan tamamen yanlıştır. perspektif.

Shmueli'nin [2010] makalesi, bir model için iki amaç olduğunu varsaymaktadır: tahmin ve açıklama. Aslında, bazı yazarlar üç amaç olduğunu belirtmişlerdir (bkz. Örneğin Konishi ve Kitagawa [ Bilgi Kriterleri ve İstatistiksel Modelleme , 2008: §1.1] ve Friendly & Meyer [ Kesikli Veri Analizi , 2016: §11.6]). Üç amaç, üç tür mantıksal akıl yürütmeye karşılık gelir:

• tahmin (tümdengelime karşılık gelir);
• parametre tahmini (indüksiyona karşılık gelir);
• yapının açıklaması (abdüksiyona karşılık gelir).

İstatistik lisansındayım, bu yüzden kendime uzman demeyeceğim, ama işte iki sentim.

Modeller kendilerini açıklamaz; insanlar onları yorumlar. Doğrusal modelleri anlamak sinir ağlarına ve rastgele ormanlara göre daha kolaydır, çünkü karar verme şeklimize daha yakındırlar. Gerçekten de, YSA'lar insan beynini taklit eder, ancak bir dizi matris çarpımı yaparak yarın hangi restorana gideceğine karar veremezsiniz. Bunun yerine, zihninizdeki bazı faktörleri, esas olarak doğrusal bir kombinasyon olan önemlerine göre ağırlıklandırırsınız.

"Açıklayıcı güç" bir modelin insanların sezgisi ile ne kadar iyi olduğunu ölçerken, "öngörücü güç" ilgili sürecin altında yatan mekanizma ile ne kadar iyi hizalandığını ölçer. Aralarındaki çelişki aslında dünyanın ne olduğu ile onu nasıl algılayabileceğimiz / anlayabileceğimiz arasındaki boşluktur. Umarım bu neden "bazı modeller tahmin etmede kötü bir iş çıkarsalar da açıklamakta başarılı olurlar" diye açıklar.

Ian Stewart bir keresinde şöyle dedi: "Beynimiz onları anlayabilecek kadar basit olsaydı, yapamayacağımız kadar basit olurduk." Ne yazık ki, küçük insan beynimiz aslında evrene veya hatta bir borsaya (çok fazla beyin içerir :) kıyasla çok basittir. Şimdiye kadar, tüm modeller insan beyni ürünleridir, bu yüzden az ya da çok yanlış olmalıdır, bu da Box'ın "Tüm modeller yanlış" a yol açar. Öte yandan, bir modelin faydalı olması için teknik olarak doğru olması gerekmez. Örneğin, Newton'un hareket yasaları Einstein tarafından onaylanmadı, ancak bir nesne gülünç derecede büyük veya hızlı olmadığında yararlı olmaya devam ediyor.

Sorunuzu ele almak için, Box ve Shmueli'nin puanları arasındaki uyumsuzluğu dürüstçe göremiyorum. Görünüşe göre "açıklayıcı güç" ve "tahmine dayalı güç" ün binomiyal özellikler olduğunu düşünüyoruz, ama bence onlar bir spektrumun iki ucunda oturuyorlar.