sayısal entegrasyon ile ne demek çok pahalı?

Bayesian çıkarımını okuyorum ve "marjinal olasılığın sayısal entegrasyonu çok pahalı" ifadesiyle karşılaştım

Ben matematik bir arka plan yok ve ben tam ne yaptığını merak ediyorum pahalı burada ortalama? Sadece hesaplama gücü açısından mı yoksa daha fazlası var mı?

— discretetimeisnice
kaynak

Muhtemelen CPU zamanı açısından çok fazla hesaplama gücü gerektirdiği anlamına gelir (çünkü tüm hesaplama kaynaklarının tümü bellek veya CPU'dur).

— Sycorax, Reinstate Monica'ya

Aslında, iletişim bant genişliği bazen bir sorun haline gelebilir (örneğin seri olarak önbellek / RAM / disk arasında veya paralel olarak hesaplama düğümleri arasında).

— GeoMatt22

Bu, tek bir bilgisayar için, bir bilgisayar ağı için hesaplamanın yapılması çok fazla zaman aldığı anlamına gelir.

— Jack Maddington

Ve eğer bir döngünün içinde marjinal olasılık gerekiyorsa, çok pahalı olan şey çok daha azdır. Örneğin. 1 saniyelik bir entegrasyon rutini hızlı geliyor, ancak 1 milyon kez yapmanız gerekiyorsa "çok pahalı" olabilir ...

— Matthew Gunn

Hesaplama çabası açısından pahalıdır, çünkü hesaplamak için ödeyebileceğinizden daha fazla çaba gerektirir, çünkü çok fazla zaman alır veya makul bir zamanda yapmak için çok fazla işlemciye ihtiyaç duyar.

— user253751

Yanıtlar:

Bayes çıkarsamaları için sayısal yöntemler de dahil olmak üzere, hesaplama problemleri bağlamında, "çok pahalı" ifadesi genellikle iki konuya işaret edebilir

Bir belirli problemi, belirli bir "için bilgi işlem için çok "büyük" olduğunu bütçenin "
genel bir yaklaşım kötü ölçeklenir , yani yüksek hesaplama karmaşıklığına sahiptir

Her iki durumda da, "bütçeyi" içeren hesaplama kaynakları CPU döngüleri ( zaman karmaşıklığı ), bellek ( alan karmaşıklığı ) veya iletişim bant genişliği ( hesaplama düğümleri içinde veya arasında ) gibi şeylerden oluşabilir . İkinci durumda, "çok pahalı" inatçı anlamına gelir .

Bayes hesaplaması bağlamında, alıntı muhtemelen çok sayıda değişken üzerinde marjinalleşme ile ilgili sorunlara atıfta bulunmaktadır .

Örneğin, bu son makalenin özeti başlıyor

Entegrasyon boyutsallığın lanetinden etkilenir ve sorunun boyutu arttıkça çabucak inatçı olur.

ve söylemeye devam ediyor

Örneğin marjinal hesaplama veya model seçimi için kullanılabilecek rastgele bir algoritma öneriyoruz.

(Karşılaştırma için, bu son kitap bölümünde "çok pahalı değil" olarak kabul edilen yöntemler tartışılmaktadır.)

— GeoMatt22
kaynak

Bu harika bir cevap. Ancak, "pahalı" nın giderek daha da tam anlamıyla alınabileceğini de ekleyeceğim. - kişinin hesap gücünü ve depolamasını önemli ölçüde artırabilir (ihtiyaç duyduğu sürece süper bilgisayar seviyelerine), bu günlerde çok kolay (ve oldukça ucuz) ... ama büyük problemler için hala çok pahalı olacak - - gerçekte mevcut olandan daha fazla gerçek paraya mal olacak.

— Glen_b -Monica

@Glen_b bu iyi bir nokta! Bu anlamın yayınlanmış literatürde daha az yaygın olduğunu hayal ediyorum ... ancak tekliflerde (ve onların incelemelerinde daha yaygın!)

— GeoMatt22

@ GeoMatt22 Aslında, aynı anlamı ifade etmenin başka bir yolu, eğer düşünürseniz.

— user253751

@ GeoMatt22 Teşekkürler! Şimdi pahalı bir Bayes bağlamında ne anlama geldiğini anlıyorum.

— discretetimeisnice

Entegrasyonun / toplamın neden çok pahalı olduğunu göstermek için size ayrı bir örnek vereceğim.

ikili rasgele değişkenimiz olduğunu ve ortak dağılımına sahip olduğumuzu varsayalım . (Aslında, eklem dağılımını bir tabloda saklamak imkansızdır, çünkü değer vardır. Şimdi bunu tabloda ve RAM'de olduğunu varsayalım.) $100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

üzerinde marjinal bir dağılım elde etmek için , diğer rastgele değişkenleri gerekir. (Sürekli olarak, üzerine entegre edilir.) $P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

değişkeni topluyoruz , Bu nedenle, üstel işlem sayısı var, bu durumda, , dünyadaki tüm bilgisayarların yapamayacağı çok büyük bir sayı. $99$ $2^{99}$

Gelen olasılıklı grafik modelleri literatürde, marjinal dağılımı hesaplama Bu şekilde "çıkarsama" gerçekleştirmek için "kaba kuvvet" yaklaşımı olarak adlandırılır. Adıyla, pahalı olduğunu bilebiliriz. Ve insanlar, çıkarımı gerçekleştirmek için başka yollar kullanırlar, örneğin marjinal dağılımı etkili bir şekilde elde etmek. Yaklaşık çıkarım vb. Dahil "diğer yollar"

— Haitao Du
kaynak

Belki de bu bağlamda ortaya atılan soru olarak Bayesci yaklaşımın neden yararlı olduğunu yorumlayabilirsiniz.

— Tim

Genellikle Bayesci çıkarım yaparken, örneğin sıkıntı değişkenleri üzerinde ağır entegrasyonla karşılaşmak kolaydır. Başka bir örnek, bir olasılık işlevinden bu durumda olduğu gibi sayısal bir örnekleme olabilir, yani belirli bir dağılımdan rastgele bir örnekleme yapmak anlamına gelir. Model parametrelerinin sayısı arttıkça, bu örnekleme son derece ağır hale gelir ve prosedürü hızlandırmak ve çok hızlı uygulamalara izin vermek için elbette yüksek düzeyde doğruluk sağlamak için çeşitli hesaplama yöntemleri geliştirilmiştir. Bu teknikler örneğin MC, MCMC, Metropolis ecc. Gelman ve ark. al size geniş bir tanıtım vermelidir! iyi şanslar

— Lcol
kaynak

Bu cevap OP'nin bu bağlamda "pahalı" anlamıyla ilgili ana sorusunu ele almıyor gibi görünüyor. Ya da en azından çok açık bir şekilde değil.

— Shufflepants

Kısa açıklama, Bayes istatistiğinde spesifik analiz yaparken, matematikçi olmadığı belirtildiğinden okuyucuyu hesaplama talebinin anlamıyla tanıştırmaktır. Her neyse umarım birisi için açıktı

— Lcol