Bağımsız bileşen analizi için bileşen sayısını nasıl seçerim?


11

İyi bir önsel yokluğunda Bağımsız Bileşenler Analizinde talep edilecek bileşenlerin sayısı hakkında bir tahmin yapar, bir seçim sürecini otomatikleştirmek istiyorum. Makul bir ölçütün, hesaplanan bileşenler arasındaki korelasyon için küresel kanıtları en aza indiren sayı olabileceğini düşünüyorum. İşte bu yaklaşımın sözde kodu:

for each candidate number of components, n:
    run ICA specifying n as requested number of components
    for each pair (c1,c2) of resulting components:
        compute a model, m1: lm(c1 ~ 1)
        compute a model, m2: lm(c1 ~ c2)
        compute log likelihood ratio ( AIC(m2)-AIC(m1) ) representing the relative likelihood of a correlation between c1 & c2
    compute mean log likelihood ratio across pairs
Choose the final number of components as that which minimizes the mean log likelihood of component relatedness

Bunun, "gerçek" bileşen sayısından daha büyük adayları otomatik olarak cezalandırması gerektiğini düşünüyorum, çünkü bu adaylardan kaynaklanan ICA'lar, tek bir gerçek bileşenlerden bilgileri, tahmin edilen birden çok bileşen arasında dağıtmaya zorlanacak ve bileşen çiftleri arasındaki ortalama korelasyon kanıtını artıracaktır.

Bu mantıklı mı? Öyleyse, tahmini bileşenler arasında, yukarıda önerilen ortalama günlük olabilirlik yaklaşımından (hesaplamaya göre oldukça yavaş olabilir) toplam bir ilişki ölçütü elde etmenin daha hızlı bir yolu var mı? Bu yaklaşım anlamlı değilse, iyi bir alternatif prosedür neye benzeyebilir?

Yanıtlar:


6

ICA'ya Varyasyonel Topluluk Öğrenme yaklaşımı bu "otomatik alaka düzeyi tespiti" ni yapabilir. Bayes Kanıtı üzerindeki bağın geliştirilmesi için gerekli olmayan bileşenleri otomatik olarak kapatır.

Mevcut James Miskin tezine göz at burada tekniğini tanıtır.

Bu Java'da John Winn (Bayes Ensemble Learning'i Algoritma'dan geçen bir mesajla uygulayan başka bir doktora) tarafından çok uygun bir şekilde uygulanmaktadır.

Tekniği öğrenmek için, buradan elde edilebilecek c ++ 'da Winn'in algoritmasını uygulamaya karar verdim (aktif gelişme).


2

Tom'un dediği gibi, Otomatik Alaka Tespiti, olasılıklı bir modelde küçük bir bileşen alt kümesi seçmek için iyi bir yaklaşımdır.

ICA için bir diğer yaklaşım, daha önce bir Hint Büfe Süreci kullanmaktır - Knowles ve Ghahramani bunu "Sonsuz Seyrek Faktör Analizi ve Sonsuz Bağımsız Bileşenler Analizi" nde yapıyor.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.