* İstatistiksel Öğrenmeye Giriş * içindeki * fonksiyonların * varyansı ile kastedilen nedir?

Pg. 34 İstatistiksel Öğrenmeye Giriş : $\newcommand{\Var}{{\rm Var}}$

Matematiksel kanıt bu kitabın kapsamı dışındadır olsa da, beklenen testi MSE, verilen değer için olduğunu göstermek mümkündür $x_0$ : daima üç temel miktarlarda toplamından ayrılacak olabilir varyans ait $\hat{f}(x_0)$ , kare önyargı arasında $\hat{f}(x_0)$ ve hata terimleri varyansı $\varepsilon$ . Yani,

$E {(y_{0} - \hat{f} (x_{0}))}^{2} = V a r (\hat{f} (x_{0})) + [B i a s (\hat{f} (x_{0}))]^{2} + V a r (ε)$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...] Varyans, farklı bir eğitim veri seti kullanarak tahmin edersek $\hat{f}$ nin değişeceği miktarı ifade eder .

Soru: yana $\Var\big(\hat{f}(x_0)\big)$ varyansını belirtmek görünüyor fonksiyonları resmen demek ne?

Yani, rastgele bir değişken varyans kavramına aşinayım $X$ , ama bir dizi fonksiyonun varyansı ne olacak? Bu sadece değerleri fonksiyon biçimini alan başka bir rastgele değişkenin varyansı olarak düşünülebilir mi?

machine-learning variance

— George
kaynak

Her göz önüne alındığında bir "belirli bir değer" uygulanmış bir formül belirirse , varyans uygulanır sayısı , değil kendisi. Bu sayı muhtemelen rastgele değişkenlerle modellenmiş verilerden geliştirildiğinden, aynı zamanda (gerçek değerli) rastgele bir değişkendir. Genel varyans kavramı geçerlidir.

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

— whuber

Anlıyorum. Bu yüzden değişiyor (farklı eğitim veri setlerinde değişiklik gösteriyor), ancak yine de ın varyansına bakıyoruz .

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

— George

Bu ders kitabının yazarı kim? Konuyu kendim öğrenmek istiyorum ve referans tavsiyenizi çok takdir ediyorum.

— Chill2Macht

@WilliamKrinsman Bu kitap: www-bcf.usc.edu/~gareth/ISL

— Matthew Drury

Yanıtlar:

@Whuber ile yazışmanız doğru.

Bir öğrenme algoritması , eğitim kümelerini işlevlerle eşleştiren daha üst düzey bir işlev olarak görülebilir. $\mathcal{A}$

A : T \to {f ∣ f : X \to R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

burada olası eğitim setlerinin alanıdır. Bu kavramsal olarak biraz tüylü olabilir, ancak temel olarak her bir bireysel eğitim seti, model eğitim algoritmasını kullandıktan sonra, veri noktası verilen tahminler yapmak için kullanılabilen spesifik bir işlev sonuçlanır . $\mathcal{T}$ $f$ $x$

Eğitim setlerinin alanını bir olasılık alanı olarak görürsek , olası eğitim veri setlerinin bir miktar dağılımı olur, o zaman model eğitim algoritması rastgele değerli bir fonksiyon haline gelir ve istatistiksel kavramları düşünebiliriz. Özellikle, belirli bir veri noktasını düzeltirsek , sayısal değerli rasgele değişken elde ederiz $x_0$

A_{x_{0}} (T) = A (T) (x_{0})

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

Yani, önce algoritmayı üzerinde ve ardından ortaya çıkan modeli değerlendirin . Bu sadece bir olasılık alanında düz, eski ama oldukça ustaca inşa edilmiş rastgele bir değişkendir, bu yüzden onun varyansı hakkında konuşabiliriz. Bu formülünüzdeki ISL'den sapmadır. $T$ $x_0$

— Matthew Drury
kaynak

Tekrarlanan kfoldlar kullanılarak görsel bir yorum

@Matthew Drury'nin cevabına görsel / sezgisel bir yorum vermek için aşağıdaki oyuncak örneğini düşünün.

Veriler gürültülü sinüs eğrisinden üretilir: "True noise" $f(x) \ +$
Veriler eğitim ve test örnekleri arasında bölünür (% 75 -% 25)
Eğitim verilerine doğrusal (polinom) bir model yerleştirilmiştir: $\hat f(x)$
İşlem aynı veriler kullanılarak birçok kez tekrarlanır (örn. Yarma eğitimi - Sklearm tekrarlanan kfold'u kullanarak rastgele test etme)
Bu, noktalarının yanı sıra tüm noktaların ortalamasını ve varyansını birçok farklı model üretir . $x=x_i$

Derece 2 ve derece 6 polinom modeli için ortaya çıkan grafikler için aşağıya bakın. İlk bakışta, daha yüksek polinomun (kırmızı renkte) daha fazla varyansı olduğu görülmektedir.

Kırmızı grafiğin daha fazla varyansı olduğunu iddia etmek - deneysel olarak

Let ve sırasıyla yeşil ve kırmızı grafikler karşılık gelir ve , açık yeşil ve açık kırmızı içinde grafiklerin bir örneği, olabilir. Let olması boyunca noktalarının sayısını ekseni ve (yani, simülasyonların sayısı) grafikler sayısı olsun. Burada ve $\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

Üç ana senaryo görüyorum

Belirli bir noktada öngörülen değerlerin varyansı daha büyük yani $x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
deki varyans aralığındaki tüm noktaları için daha büyük $(1)$ $\{ x_1,...,x_{400} \}$ $(0,1)$
Varyans ortalama olarak daha büyüktür (yani bazı noktalar için daha küçük olabilir)

Bu oyuncak örneğinde, her üç senaryo da aralığında doğrudur ve bu da daha yüksek mertebeden polinom uyumunun (kırmızı) alt mertebeden polinomdan (yeşil) daha yüksek varyansa sahip olduğu argümanını haklı çıkarır. $(0,1)$

Açık uçlu bir sonuç

Yukarıdaki üç senaryonun tümü geçerli olmadığında tartışılması gerekenler . Örneğin, kırmızı tahminlerin varyansı ortalama olarak daha büyükse, ancak tüm noktalar için değilse.

Etiket detayları

düşünün $x_0 = 0.5$

Hata çubuğu öğesinin min. Ve maks. $\hat f(x_0)$
Varyans değerinde hesaplanır $x_0$
Gerçek noktalı mavi çizgidir $f(x)$

— Xavier Bourret Sicotte
kaynak

Resimleri kullanarak bir kavramı örnekleme fikrini seviyorum. Gönderinizin iki yönünü merak ediyorum ve umarım bunlara hitap edebilirsiniz. İlk olarak, bu grafiklerin "bir işlevin varyansı" nı nasıl gösterdiğini daha açık bir şekilde açıklayabilir misiniz ? İkincisi, kırmızı grafiğin "daha büyük varyans" sergilediği veya iki parselin bu kadar basit bir karşılaştırmaya uygun olduğu hiç de açık değil. Örneğin, üzerindeki kırmızı değerlerin dikey yayılımını düşünün ve bunu yeşil değerlerin aynı noktadaki yayılımı ile karşılaştırın: kırmızı olanlar yeşil olanlardan biraz daha az yayılmış görünüyor .

x = 0.95,

$x=0.95,$

— whuber

Demek istediğim, çizimlerinizi yüksek hassasiyetle okumak mümkün olup olmadığı değil: bu iki grafiği, biri diğerinden daha yüksek veya daha düşük bir varyans olarak düşünülebilir gibi karşılaştırmanın anlamı şudur: bazı aralıkları tahminlerin varyansları bir grafikte daha yüksek olacak ve diğer aralıkları için varyansları daha düşük olacaktır.

x

$x$

x

$x$

— whuber

Evet katılıyorum - yorumunuzu yansıtmak için yayını düzenledim

— Xavier Bourret Sicotte