Sinir ağlarında “serbestlik derecesi” ne demektir?

Bishop'un "Örüntü Sınıflandırma ve Makine Öğrenimi" kitabında, sinir ağları bağlamında düzenlileştirme tekniğini açıklar. Ancak, eğitim sürecinde, modelin karmaşıklığıyla birlikte serbestlik derecelerinin arttığını açıklayan bir paragraf anlamıyorum. İlgili teklif şudur:

Bir ağın etkili karmaşıklığını kontrol etmenin bir yolu olarak düzenlileştirmeye bir alternatif, erken durdurma prosedürüdür. Doğrusal olmayan ağ modellerinin eğitimi, bir dizi eğitim verisine göre tanımlanan hata işlevinin yinelemeli bir azalmasına karşılık gelir. Eşlenik gradyanlar gibi ağ eğitimi için kullanılan optimizasyon algoritmalarının çoğu için hata, yineleme indeksinin artmayan bir fonksiyonudur. Bununla birlikte, genellikle bir doğrulama seti olarak adlandırılan bağımsız verilere göre ölçülen hata, genellikle ilk başta bir azalma gösterir, ardından ağ aşırı uymaya başladığında bir artış gösterir. Bu nedenle, iyi bir genelleme performansına sahip bir ağ elde etmek için Şekil 5.12'de gösterildiği gibi doğrulama veri setine ilişkin eğitim en küçük hata noktasında durdurulabilir.Bu durumda ağın davranışı bazen nitel olarak ağdaki etkili serbestlik derecesi sayısı açısından açıklanır, burada bu sayı küçük başlar ve daha sonra eğitim sürecinde sürekli olarak etkili bir artışa karşılık gelir. modelin karmaşıklığı.

Ayrıca, eğitim sırasında parametre sayısının arttığını söylüyor. "Parametreler" ile, ağın gizli birimleri tarafından kontrol edilen ağırlıkların sayısını ifade ettiğini varsayıyordum. Belki yanılıyorum çünkü ağırlıkların düzenli hale getirme süreci ile artması engellenir, ancak sayıları değişmez. Çok sayıda gizli birim bulma sürecine atıfta bulunabilir mi?

Sinir ağında bir serbestlik derecesi nedir? Egzersiz sırasında hangi parametreler artar?

Bishop'un ne anlama geldiğinden şüpheleniyorum:

Bir nöral ağı, girdileri bir çıktıya eşleyen bir fonksiyon olarak düşünüyorsanız, nöral ağı ilk önce küçük rastgele ağırlıklarla başlattığınızda, nöral ağ doğrusal bir fonksiyona çok benzer. Sigmoid aktivasyon fonksiyonu sıfıra yakın doğrusaldır (sadece bir Taylor genişletmesi yapın) ve küçük gelen ağırlıklar, her gizli ünitenin etkili domaine sıfır civarında sadece küçük bir aralık olmasını garanti eder, bu nedenle tüm sinir ağı, kaç tane olursa olsun katmanlarınız, doğrusal bir işleve çok benzeyecektir. Böylece sinir ağını sezgisel olarak az sayıda serbestlik derecesine sahip olarak tanımlayabilirsiniz (girdinin boyutuna eşit). Sinir ağını eğitirken, ağırlıklar keyfi olarak büyük olabilir ve sinir ağı, rastgele doğrusal olmayan fonksiyonlara daha iyi yaklaşabilir. Eğitim ilerledikçe,

"Bazen niteliksel olarak açıklanır" ifadesi, sadece basit doğrusal regresyona bir benzetme yaptığını gösterir. Doğrusal regresyon modeline her terim eklediğimizde, modele bir derece özgürlük ekler ve hata terimiyle ilişkili olanlardan bir derece özgürlük çıkarırız. Bir modele yeterince bağımsız terimler koyarsak, rasgele sayılar kümesinden tarihi mükemmel bir şekilde "tahmin edebiliriz", ancak geleceği tamamen tahmin edemeyiz.

Karmaşık istatistiksel öğrenme modellerinde serbestlik derecesi konusu 1998 1998 JASA'da tartışılmıştır . Temel olarak fikir, sinir ağı gibi karmaşık bir modelin çıktısının girdilerdeki birim değişikliğine ne kadar tepki verdiğini görmektir. Doğrusal modeller için, ilişki şaşırtıcı olmayan bire birdir, bu nedenle karmaşıklık modeli için özgürlük dereceleri$p$ (regresör sayısı) $p$. Daha karmaşık modeller için (Ye regresyon ağaçları olarak kabul edilir), CART modeli bölünmek için iyi bir değişken ve iyi bir ayrılma noktası arayacağından ekstra bir düğüm ekleme yeteneği daha fazla esneklik sağlar. Bu, lineer bir modele regresör eklemenin yapabileceğinden çok daha fazlasıdır ve Ye, regresyon ağaçlarının düğüm başına yaklaşık 3.5-4 dfs tüketmesi için buldu. Sinir ağları arasında bir yerde olabilir, ancak özgürlük dereceleri kesinlikle birim sayısından çok daha fazladır ve ağırlık sayısından daha büyük olabilir.

Benzer bir şeyin HTF Sec tarafından sağlandığını düşünüyorum . 7.6 , şaşırtıcı bir şekilde Ye'ye (1998) değinmese de. Yine de Bishop'a özel bir durum olarak atıfta bulunurlar.

"Ağın etkin karmaşıklığı" diyor. Aslında ağın ağırlıklarının boyutunu ifade eder. Bu, minimum açıklama uzunluğu prensibi açısından anlaşılabilir . Ama buna girmeden önce, sezgi, ağırlıklar ne kadar büyük olursa, ağınızın o kadar farklı işlevlere sığabileceğidir ve bu nedenle özgürlük dereceleri (ve etkili karmaşıklık) o kadar yüksek olur.

Bu bölümde, ağırlıkların olabildiğince küçük olmasını talep ederek aşırı uyum riskini etkili bir şekilde azaltma tekniği olan düzenlilikten bahsediyor. Genel olarak,

$$p(D|\mathbf{w}) = \prod_{n} p(t_{n}|\mathbf{x_{n}},\mathbf{w}) = \prod_{n}\exp \left(\frac{\beta}{2} \left[t_{n}- y(\mathbf{x_{n}},\mathbf{w}) \right]^{2}\right)/Z_{D}(\beta)$$ . where $\mathbf{w}$ is a vector containing all parameters which characterize your algorithm and $Z_{D}(\beta)$ is a normalization constant. If you maximize the log-likelihood if this expression you get the ML estimate. Now, you add a prior on the parameters which acts as a regularizer and helps you avoid overfitting by controlling the complexity of your classifier. Concretely, in the case it is natural to assume that your parameters are Gaussian distributed,

$$p(\mathbf{w}) = \exp \left( -\frac{\alpha ||\mathbf{w}||^{2}}{2}\right)/Z_{W}(\alpha)$$ MAP is defined as $\arg\max_{w} p(\mathbf{w}|D)$. Using Bayes' theorem,

$$p(\mathbf{w}|D) = p(D|\mathbf{w})p(\mathbf{w})$$ If you substitute the above expressions and take logarithms you end up with (the $Z$'s do not depend on $\mathbf{w}$),

$$\arg\min_{w} \sum_{n}\frac{\beta}{2} \left[t_{n}- y(\mathbf{x_{n}},\mathbf{w}) \right]^{2} + \frac{\alpha}{2}\sum_{i}w_{i}^{2}$$

More generally, you have that the MAP estimate is equivalent to the following,

$$\mathbf{w}_{MAP} = \operatorname{argmin}_{\mathbf{w}} -log_{2}P(D|\mathbf{w}) - log_{2}(\mathbf{w})$$

The right hand side of the expression can be interpreted as the number of bits necessary to describe your classifier. The first term represent the number of bits necessary to code the errors your network does on the training data. The second represents the number of bits necessary to code the weights.

The MAP estimate is thus equivalent to choosing the most compact representation possible. In other words, you look for the set of weights which account for the training data as faithfully as possible which can be expressed with the least number of bits.

Notice that this is another form of the bias/variance problem: the bigger the weights, the lower the first term, because the network can fit the training data better (overfitting). But at the same time the higher the complexity of weights. The smaller the weights, the smaller the complexity of the network, but the higher the error term (bias). The higher the number of bits necessary to code the errors of the network.

Hope this gives you an good enough idea of what he is referring to.

P.S. adding a longer argument to the ongoing discussion Maybe I misunderstand you. Let me please try to explain myself a last time.

The prior on the weights means represent the assumption we make about the function you want to fit. The bigger the prior (i.e. the weights) the broader the Gaussian, i.e. the more possible configurations one considers to fit the network.

Let us consider the case of regression (as in the paper I referred to). Low generalization error means that the network is able to map unseen samples very close to the actual values. If you are fitting a straight line, then a first order polynomial suffices (low complexity). Now, you could also fit the data with a higher order polynomial (let higher order coefficients be different from zero). The complexity of the network is higher because you allow for oscillations, for a more complex curve. Nevertheless, if the coefficients corresponding to higher order terms are low enough, the network can approximate the straight line very well, thus resulting in good generalization.

So the whole point of MDL is to make your weights as small as possible, as long as the generalization error can me minimized along.

Finally, quoting you: "I still find troublesome the argument that as the model starts to overfit, its capabilities to model other functions will increase. I think that's quite the opposite because a model that overfits, can't generalize to be applied to new information.". Yes, it can model OTHER, more complex functions, but it will fail to model the function at hand properly. In the figure 5.12 in the book, the error first declines, as the size of the weight increases (reduction in bias). Up to a given point when it starts to increase again (decrease in generalization, overfit).