İstatistiksel öğrenme teorisindeki son gelişmeler için kaynak / kitap


10

VC-Dimension'ın arkasındaki teoriyi çok iyi biliyorum, ama şimdi istatistiksel öğrenme teorisindeki son (son 10 yıl) gelişmelere bakıyorum: (yerel) Rademacher ortalamaları, Massart'ın Sonlu Sınıfı Lemma, Kaplama Numaraları, Zincirleme, Dudley Teorem, Sahte Mod, Yağ Parçalayıcı Boyut, Paketleme Numaraları, Rademacher Bileşimi ve muhtemelen farkında olmadığım diğer sonuçlar / araçlar.

Bir web sitesi, anket, makale koleksiyonu veya en iyisi, bu konuları kapsayan bir kitap var mı?

Alternatif olarak, basit sınıflar için Rademacher ortalamasının nasıl bağlanacağına, insanların VC boyutunun nasıl bağlanacağını göstermek için eksenle hizalanmış dikdörtgenler kullandığına dair örneklere bakıyorum.

Şimdiden teşekkürler.

Yanıtlar:


7

Sınıflandırma Teorisi'nden hoşlanacağınıza inanıyorum : Son Gelişmeler AraştırmasıBoucheron, Bousquet ve Lugosi tarafından hazırlanmıştır. Özellikle, Rademacher karmaşıklıkları yoluyla temel genelleme teorisi oluşturarak başlar, Ashwinkumar'ın cevabında atıfta bulunulan Shai & Shai'nin notlarında izleyebileceğiniz, ancak (sanırım?) Ledoux & Talagrand'ın olasılık kitabı (ücretsiz değildir) ve bunları standart sınıflandırma yöntemlerine uygular (hem popülerliklerinden dolayı hem de ERM yoluyla eğitildikleri için, vektör makinelerini artırma ve destekleme tartışılır). Bu metin 2005'ten kalmadır, bu nedenle bahsettiğiniz diğer bazı konulara da sahiptir, örneğin Yerel Rademacher Karmaşıklıkları ve hatta zincirleme için küçük bir eklenti vardır. Son olarak, el yazması oldukça kısa olsa da,

Bahsettiğiniz diğer konulardan bazıları Devroye, Györfi ve Lugosi'nin "olasılıkla Örüntü Tanıma Teorisi" nde bulunacak kadar eskidir (özellikle ambalaj hakkında bildiğim diğer tüm metinlerden daha fazlası için vardır). Bahsettiğiniz daha yeni konulardan yoksun olsa da, bu, öğrenme teorisinde tanıştığım herkesin raflarında taşıdığı standart bir kitap. Belki kitabın içindekiler ve dizin için bir tablo bulmaya çalışın.

Bahsettiğiniz diğer konulardan bazıları bir kitapta ayrıntılı olarak ele alınmadı, ancak bir takım ders notlarında yer aldılar. Örneğin, Sham Kakade'nin UPenn'deki sayfasına giderseniz, iki öğrenme teorisi dersine (biri TTI-C'de, Ambuj Tewari ile) bağlantılar bulacaksınız ve konu bağlantılarının tartıştığınız bazı şeylerle eşleştiğini göreceksiniz. ve yanıtlarımda veya başka bir yerde görünmedi. Çeşitli okullarda çok sayıda iyi kurs vardır; Avrim Blum, öğrenme teorisi kursu için mükemmel, son derece okunabilir notalara sahiptir (winnow analizi şimdiye kadar gördüğüm en kısa, en temiz ve en sezgiseldir!).

Bunlardan bazıları belki biraz fazla yeni ve kaynak malzemeye gitmeniz gerekecek. Ama eğer gerçekten sadece bir teknik alma torbası almaya çalışıyorsanız, bence anketi en üst düzeye çıkarın ve birkaç öğrenme teorisi dersine yönelik dersler size uzun bir yol sunacaktır.

Ayrıca, gelişmiş metinler arıyor gibisiniz, ancak insanların çok hoşlandığı iki tanıtım metnini de eklemek istiyorum. Birincisi, Kearns ve (U.) Vazirani'nin eski (örneğin, güçlendirmenin yalnızca Robert Schapire'nin orijinal yapısı aracılığıyla sunulduğu ve vurgu agnostik öğrenme yerine PAC üzerinde olduğu) tarafından "hesaplamalı öğrenme teorisine giriş" dir. iyi sundu ve iyi sezgiye sahip. Şahsen, yukarıdaki araştırmayla aynı yazarlar tarafından istatistiksel öğrenme teorisine giriş konusundaki temel bilgilerimi aldım (ancak Bousquet, Boucheron, Lugosi? güzel bir açıklamaya sahipti ve ilk kez genelleme teorisi benim için gerçekten tıklamaya başladı.


5

Bu kısa süre önce öğretilen bir kurstu. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Dikkatlice okumadım, ancak Bölüm 7 Rademacher Karmaşıklıkları hakkında materyal içeriyor. Umarım yardımcı olur.


Teşekkürler @Ashwinkumar. Bu notların bazılarının şu anda yazılmakta olan bir kitaptan olması hoşuma gidiyor.
Matteo

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.