İstatistiksel sorgu modeli algoritmaları?

Bu soruyu çapraz doğrulanmış Soru-Cevap bölümünde sordum , ancak CS ile ilgili istatistiklerden çok daha fazlası gibi görünüyor.

Tek tek gözlemlerin kendilerinin değil, yani istatistiksel sorgu modelini kullanan veri kümesinin istatistiksel özelliklerinden öğrenen makine öğrenimi algoritmalarından örnekler verebilir misiniz ?

PAC modelinde çalışan hemen hemen her algoritma (eşlik öğrenme algoritmaları hariç) SQ modelinde çalışmak üzere yapılabilir. Bkz. Örneğin Blum ve ark. çeşitli popüler algoritmalar SQ eşdeğerlerine çevrilir ( Pratik Gizlilik: SuLQ çerçevesi ). Kağıt prensip olarak "gizlilik" ile ilgilidir, ancak bunu görmezden gelebilirsiniz - gerçekten sadece SQ sorguları ile algoritmalar uygulamaktır.

Öte yandan agnostik öğrenme, SQ modelinde çok daha zordur: hesaplama sorunları bir yana (bunlar önemli olsa da), agnostik öğrenme için gerekli olan örnek karmaşıklık, eğer gerçekten erişiminiz varsa, tam öğrenme için gerekenle aynıdır veri noktaları. Öte yandan, agnostik öğrenme SQ modelinde çok daha zor hale gelir - monoton disjeksiyonlar kadar basit sınıflar için bile genellikle süperpolinom olarak çok sayıda sorgu yapmanız gerekir. Feldman'ın ( Evrimleşebilirlik uygulamaları ile istatistiksel sorgulama öğreniminin tam bir karakterizasyonu ) veya Gupta ve ark. ( Bağlantıları ve İstatistiksel Sorgu Engelini Özel Olarak Serbest Bırakma )

SQ modeli, gürültüye toleranslı öğrenmeyi analiz etmek için yapıldı - yani istatistiksel sorgulamalar yaparak çalışan bir algoritma sınıflandırma gürültüsü altında çalışacaktır. Aaron'un dediği gibi, sahip olduğumuz çoğu PAC algoritmasının SQ modelinde eşdeğerleri olduğu ortaya çıktı. Tek istisna, öğrenme partilerinde kullanılan Gauss ortadan kaldırılmasıdır ( akıllıca bir uygulama bile kullanılabilir)sınıflandırma gürültü modelinde log (n) loglog (n) boyut paritelerini öğrenmek). Ayrıca paritelerin istatistiksel sorgularla öğrenilemeyeceğini biliyoruz ve karar ağaçları gibi en ilginç sınıfların parite işlevlerini simüle edebileceği ortaya çıkıyor. Bu nedenle, birçok ilginç sınıf için (karar ağaçları, DNF vb. Gibi) PAC öğrenme algoritmalarını alma arayışımızda, istatistiksel sorgu modelinde çalışmayan temelde yeni öğrenme algoritmalarına ihtiyacımız olduğunu biliyoruz.

Aaron'un yanıtını biraz açıklığa kavuşturmak istiyorum. Neredeyse her agnostik algoritma (bir kez daha, Gauss eliminasyonunu kullanan herhangi bir şey hariç) SQ modelinde çalışmak için yapılabilir. Doğal olarak, agnostik öğrenme agnostik olmayan öğrenmeden daha zordur, ancak bu bağımsız bir sorudur.