Regresyon modellerinin VC boyutu

Verilerden Öğrenme ders serisinde profesör, VC boyutunun belirli bir modelin kaç noktayı parçalayabileceğine dair model karmaşıklığını ölçtüğünden bahseder. Bu nedenle, sınıflandırıcı k noktalarını etkili bir şekilde parçalayabiliyorsa N noktalarından söyleyebileceğimiz sınıflandırma modelleri için mükemmel bir şekilde çalışır. VC boyut ölçüsü K olacaktır. Ancak regresyon modelleri için bir VC boyutunu nasıl ölçtüğüm açık değildi. ?

regression machine-learning vc-dimension

— karthikbharadwaj
kaynak

Bkz. Cs.stackexchange.com/questions/11548/… ncbi.nlm.nih.gov/pubmed/18252610

— kjetil b halvorsen

Yanıtlar:

Gönderen İstatistiksel Öğrenme Elements , s. 238:

Şimdiye kadar sadece gösterge fonksiyonlarının VC boyutunu tartıştık, ancak bu gerçek değerli fonksiyonlara genişletilebilir. gerçek değerli fonksiyonlar sınıfının VC boyutu, gösterge sınıfının VC boyutu olarak tanımlanır , burada değerleri g aralığında alır. ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

Ya da, (biraz) daha sezgisel olarak, bir gerçek değerli fonksiyonlar sınıfının VC boyutunu bulmak için, o gerçek değerli fonksiyonlar sınıfını eşleştirerek oluşturulabilen gösterge fonksiyonları sınıfının VC boyutunu bulabilirsiniz.

— Sean Paskalya
kaynak

Ancak bu, eşik göstergeleri için VC boyutu verir ve nominal değerde, eşik göstergeleri için PAC sınırlarının alınmasının size regresyon fonksiyonunuzun performansı hakkında çok şey anlattığını görmüyorum. Belki de regresif değer üzerinde ikili arama yaptığınız bir argüman ortaya çıkarabilirsiniz (sınırlı çıktı alanları için).

— VF1

@ VF1 Doğru. Bir regresyon fonksiyonunun VC boyutunun nasıl yorumlanacağı iyi ve ayrı bir soru olabilir.

— Sean Easter

Ayrı bir soru gönderirim, ancak Rademacher'ın keyfi sınırlı kayıplar için ne kadar çok şey yapmanıza izin vereceğinden, cevabın basitçe "regresyon için VC dim kullanmayın" olduğuna inanıyorum.

— VF1

@ VF1 Bunu merakla söyleyen bir cevap okurdum! Demek istediğim, CV normunun soruları yazı başına tek bir soru ile sınırlamak olduğunu ve OP'nin yorumlama ya da amaca değinmediğini öne sürmektir.

— Sean Easter

Lebesgue-Stieltjes ölçümlerini kullanarak eşikleme gösterge numarasının türetilmesi için İstatistiksel Öğrenme (Vapnik) bölüm 5.2'ye bakınız. AFAIK bu tek ve kesin referanstır. Kitabı nerede bulacağınızı zaten bilmelisiniz (ve Vapnik'ten diğerleri, hepsi mükemmeldir).

— memeplex
kaynak

Sadece bir referans sağlamaktan ziyade argümanı özetleyebilmeniz yardımcı olacaktır.

— mdewey