Topluluklar neden bu kadar mantıksız bir şekilde etkili?

Bir grup öğrenicinin mümkün olan en iyi model sonuçlarına yol açtığı aksiyomatik hale gelmiş gibi görünüyor ve örneğin, tek modellerin Kaggle gibi yarışmalar kazanması çok daha nadir hale geliyor. Toplulukların neden bu kadar lanet etkili olduğuna dair teorik bir açıklama var mı?

Belirli bir model için veriyi beslersiniz, özellikleri seçin, hiperparametreler vb. Seçin. Gerçekle karşılaştırıldığında üç tür hata yapar:

• Önyargı (çok düşük model karmaşıklığı, verilerinizdeki örnekleme önyargısı nedeniyle)
• Sapma (verilerinizdeki parazit, verilerinize aşırı sığması nedeniyle)
• Tahmin etmeye çalıştığınız gerçekliğin rastgele (veya veri kümenizdeki öngörücü özelliklerin eksikliği)

Topluluklar bu modellerin bir kısmını ortalar. Örnekleme yanlılığına bağlı önyargı açık nedenlerle düzeltilmeyecektir, bazı model karmaşıklık yanlılığını düzeltebilir, ancak yapılan varyans hataları farklı modellerinizden çok farklıdır. Özellikle düşük ilişkili modeller bu alanlarda çok farklı hatalar yapar, bazı modeller özellik alanınızın belirli bölümlerinde iyi performans gösterir. Bu modellerin ortalamasını alarak bu varyansı biraz azaltmış olursunuz. Bu yüzden topluluklar parlıyor.

Seçilen cevap harika, ama iki şey eklemek istiyorum:

1. İnsan tahminlerinin ortalamasının, herhangi bir bireysel tahminden daha iyi tahminler verdiği gözlenmiştir. Bu, kalabalığın bilgeliği olarak bilinir . Şimdi, bunun bazı insanların farklı bilgilere sahip olması nedeniyle tartışabileceğinizi söyleyebiliriz. Ama hayır, bu bir kavanozdaki fasulye sayısını tahmin etmek gibi görevler için bile geçerlidir. Veri madenciliği modelleri hakkında yukarıda verilen bazı nedenlerle ilgili olduğunu varsayıyorum.
2. Sinir ağlarındaki bırakma yöntemi gibi bazı teknikler (eğitim sırasında her yinelemede sinir ağınızın yalnızca bir kısmını kullanırsınız) sinir ağları topluluğuna benzer sonuçlar verir. Bunun mantığı, düğümleri etkili bir şekilde bir meta-topluluk oluşturarak diğer düğümlerle aynı yordayıcı çalışmasını yapmaya zorlamanızdır. Bunu, geleneksel modellerde toplulukların bazı avantajlarını tanıtabileceğimizi göstermek için söylüyorum.

Topluluklar teorik ve pratik nedenlerle tahminlerde kazanır.

Önceki olayların bilgisine dayanan bir sıradaki bir sonraki olayı tahmin etmek istiyorsak, en uygun tahmin için temel bir teori vardır. Solomonoff tahmini (Solomonoff 1964), “herhangi bir hesaplanabilir diziyi yalnızca mutlak minimum veri miktarı ile doğru bir şekilde tahmin etmeyi öğrenmesi” de dahil olmak üzere, birçok açıdan makul derecede optimaldir. (Hutter, Legg & Vitanyi 2007) Solomonoff tahmincisi, programın Kolmogorov karmaşıklığına ve programın şu ana kadar verilere atama olasılığına göre, Epicurean'ı birleştirerek (“tüm teorileri koru”) ve Bayes çerçevesinde Ockham (“basit teorileri tercih edin”) felsefeleri.

Solomonoff tahmininin iyimserlik özellikleri, bahsettiğiniz sağlam bulguyu açıklar: modeller, kaynaklar veya uzmanlar üzerinden ortalamalar tahminleri iyileştirir ve ortalama tahminler en iyi tek tahminciden bile daha iyi performans gösterir. Uygulamada görülen çeşitli topluluk yöntemleri Solomonoff tahminine hesaplanabilir yaklaşımlar olarak görülebilir - ve bazıları MML gibi (Wallace 2005) bağları açıkça keşfeder, ancak çoğu bunu yapmaz.

Wallace. Bazı alanlarda, en iyi tek model (veya neredeyse ayırt edilemez model ailesi) tahmin gücünün büyük bir bölümünü oluşturabilir ve genel topluluklardan daha iyi performans gösterebilir, ancak az teoriye sahip karmaşık alanlarda büyük olasılıkla hiçbir aile posterior olasılığın çoğunu yakalayamaz, ve bu nedenle akla yatkın adayların ortalamasının tahminleri iyileştirmesi gerekmektedir. Netflix ödülünü kazanmak için Bellkor ekibi 450'den fazla modeli birleştirdi (Koren 2009).

İnsanlar tipik olarak tek bir iyi açıklama ararlar: fizik gibi "yüksek teori" alanlarında, bunlar iyi çalışır. Aslında, altta yatan nedensel dinamikleri yakalarlarsa, neredeyse rakipsiz olmalılar. Ancak mevcut teorilerin fenomenlere tam olarak uymadığı durumlarda (örneğin, film önerisi veya jeopolitik), tek modeller düşük performans gösterecektir: hepsi eksiktir, bu nedenle hiçbiri baskın olmamalıdır. Böylece, topluluklara (makine öğrenimi için) ve Kalabalıkların Bilgeliğine (uzmanlar için) son zamanlarda yapılan vurgu ve IARPA ACE ve özellikle İyi Yargı Projesi gibi programların başarısı (Tetlock ve Gardiner 2015).

Referanslar

• Hutter, S. Legg ve P. Vitanyi, “Algoritmik olasılık”, Scholarpedia, cilt. 2, 2007, s. 2572.
• Y. Koren, “Netflix Büyük Ödülüne BellKor Çözümü” 2009.
• Solomonoff, Ray (Mart 1964). "Resmi Bir Endüktif Çıkarım Teorisi Bölüm I" (PDF). Bilgi ve Kontrol 7 (1): 1–22. DOI: 10.1016 / S0019-9958 (64) 90223-2.
• Solomonoff, Ray (Haziran 1964). "Endüktif Çıkarımın Resmi Teorisi Bölüm II" (PDF). Bilgi ve Kontrol 7 (2): 224-254. DOI: 10.1016 / S0019-9958 (64) 90131-7.
• PE Tetlock, Uzman Siyasi Yargı: Ne Kadar İyi? Nasıl Bilebiliriz ?, Princeton University Press, 2005.
• Tetlock, PE ve Gardner, D. (2015). Süper tahmin: Tahmin Sanatı ve Bilimi. New York: Taç.
• CS Wallace, Minimum Mesaj Uzunluğuna Göre İstatistiksel ve Tümevarımcı Çıkarım, Springer-Verlag, 2005.