Model hiperparametreleri ve model parametreleri arasındaki fark nedir?

Model hiperparametresi ve model parametresi gibi terimlerin önceden netleştirilmeden ağ üzerinde değişmeli olarak kullanıldığını fark ettim . Bunun yanlış olduğunu ve açıklama gerektirdiğini düşünüyorum. Bir makine öğrenim modeli, bir SVM / NN / NB tabanlı sınıflandırıcı veya görüntü tanıyıcı, yalnızca akla ilk gelen şeyleri düşünün.

Nelerdir hyperparameters ve parametreler modelin?
Örneklerini ver lütfen.

Hiperparametreler ve parametreler genellikle birbirinin yerine kullanılır, ancak aralarında fark vardır. Doğrudan tahmin edicinin içinden öğrenilemiyorsa, bir şey 'hiperparametre' olarak adlandırılır. Ancak, 'parametreler' daha genel bir terimdir. 'Parametreleri modele geçirmek' derken, bu genellikle tahmin edicinizle doğrudan ilgili olmayan ancak modeliniz için gerekli olan bazı diğer parametrelerle birlikte bir hiperparametre kombinasyonu anlamına gelir.

Örneğin, sklearn'de bir SVM sınıflandırıcısı oluşturduğunuzu varsayalım:

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(C =0.01, kernel ='rbf', random_state=33)
clf.fit(X, y) 

Yukarıdaki kodda SVM bir örneği sizin hyperparameters, bu durumda, oldukları modeli için tahmincisi olduğunu Cve kernel. Ancak modelinizde hiperparametre olmayan ve başka bir parametre var random_state.

Yukarıdaki cevaba ek olarak.

Model parametreleri , sınıflandırıcı veya diğer ml modeli tarafından egzersiz sırasında öğrenilen egzersiz verilerinin özellikleridir. Bazı NLP görevi durumunda Örneğin: kelime sıklığı, cümle uzunluğu, isim veya cümlenin başına dağılımı fiil, kelime başına belirli karakter n-gram, sözcük çeşitliliği vs. sayısı Modeli parametreleri her deney için farklılık ve türüne bağlıdır eldeki veri ve görev.

Diğer yandan model hiperparametreleri benzer modeller için ortaktır ve eğitim sırasında öğrenilemez ancak önceden ayarlanır. NN için tipik bir hiperparametre seti, gizli katmanların sayısını ve boyutunu, ağırlık başlatma şemasını, öğrenme hızını ve çürümesini, bırakma ve gradyan kırpma eşiğini vb. İçerir.

Hiper parametreler , modele sunduğumuz parametrelerdir , örneğin: Sinir Ağındaki gizli Düğüm ve Katman sayısı, giriş özellikleri, Öğrenme Hızı, Etkinleştirme İşlevi vb., Parametreler makine tarafından Ağırlıklar ve Eğilimler gibi öğrenilecek olanlardır. .

Makine öğreniminde, parametrelere ve hiper parametrelere sahip bir modeli şöyle görünür:$M$

$Y \approx M_{\mathcal{H}}(\Phi | D)$

Burada parametredir ve hiper parametreleridir. , eğitim verileri ve , çıktı verileridir (sınıflandırma görevi durumunda sınıf etiketleri).H D $\Phi$$\mathcal{H}$$D$$Y$

Eğitim sırasında amaç, belirttiğimiz bazı kayıp fonksiyonlarını optimize eden parametrelerinin tahminini bulmaktır . Model ve kayıp fonksiyonu , dayandığından, ortaya çıkan parametreler de hiper-parametrelere . LMLHΦ$\hat{\Phi}$$\mathcal{L}$$M$$\mathcal{L}$$\mathcal{H}$$\Phi$$\mathcal{H}$

Hiper-parametreler , antrenman sırasında 'öğrenilmez', ancak değerlerinin değişmez olduğu anlamına gelmez. Tipik olarak, hiper parametreler sabittir ve yerine basitçe modelini düşünüyoruz . Burada, hiper parametreler ayrıca a-priori parametreleri olarak kabul edilebilir. M M $\mathcal{H}$$M$$M_{\mathcal{H}}$

Karışıklık kaynağı, ve açıkçası parametrelerine ek olarak, eğitim rutini sırasında hiper parametrelerin değiştirilmesinden kaynaklanır . Eğitim sırasında yi değiştirmek için potansiyel olarak birkaç motivasyon vardır . Bir örnek, optimizasyon rutininin hızını ve / veya stabilitesini arttırmak için eğitim sırasındaki öğrenme oranını değiştirmek olabilir. , H $M_{\mathcal{H}}$$\mathcal{H}$$\hat{\Phi}$$\mathcal{H}$

Önemli ayrım noktası, sonuçta, örneğin, etiket kestirimi, , hiper-parametreler değil, model parametrelerine dayanmaktadır . Φ $Y_{pred}$$\Phi$$\mathcal{H}$

Bununla birlikte, ayrım uyarılara sahiptir ve sonuç olarak çizgiler bulanıklaşmaktadır. Örneğin kümeleme, özellikle de Gauss Karışımı Modellemesi (GMM) görevini düşünün. Burada belirlenen parametreler , arasında ayarlanır küme vasıtasıyla ve arasında ayarlanır Gauss çekirdeği için standart sapmalar .ˉ μ N ˉ σ N $\Phi = \{\bar{\mu}, \bar{\sigma} \}$$\bar{\mu}$$N$$\bar{\sigma}$$N$$N$

Buradaki hiper parametresini sezgisel olarak tanıyor olabilirsiniz. Bu kümeler sayısıdır . Öyleyse . Tipik olarak, küme doğrulaması, verilerinin küçük bir alt örneğini kullanarak apriori'yi belirlemek için kullanılır . Ancak, Gaussian Mixture Models öğrenme algoritmamı, eğitim sırasında çekirdek sayısı değiştirmek için bazı kriterlere göre değiştirebilirim. Bu senaryoda, hiper parametresi olan , parametre kümesinin bir parçası haline gelir ., H = { N } K D N , N Φ = { ˉ u , ˉ σ , N $N$$\mathcal{H} = \{N \}$$N$$D$$N$$N$$\Phi = \{\bar{\mu}, \bar{\sigma}, N \}$

Bununla birlikte, bu sonuç işaret edilmelidir, ya da bir veri noktası için, tahmin edilen değer veriler dayanır olup . Kendisine, her biri Gauss çekirdekleri için bir olabilirlik değerinin katkıda mesafesine göre , ilgili gelen ve kendi . 'Parametre' burada açıkça yer almaz, bu yüzden tartışmasız modelin bir parametresi değildir.D G M M ( ˉ u , ˉ σ ) , N , N d d u σ $d$$D$$GMM(\bar{\mu}, \bar{\sigma})$$N$$N$$d$$d$$\mu$$\sigma$$N$

Özet: Parametreler ve hiper parametreler arasındaki fark, modelini tasarlarken uygulayıcılar tarafından kullanılma şekilleri ve kayıp fonksiyonu yöntemlerinden dolayı farklıdır . Umarım bu iki terim arasında açıklığa kavuşturulmasına yardımcı olur.$M$$\mathcal{L}$

Basitleştirilmiş kelimelerle,

Model Parametreleri, bir modelin kendi kendine öğrendiği bir şeydir. Örneğin, 1) Lineer regresyon modelinde bağımsız değişkenlerin ağırlıkları veya katsayıları. 2) SVM bağımsız değişkenlerinin ağırlıkları veya katsayıları. 3) Karar Ağacındaki puanları böl.

Model hiper parametreleri, model performansını optimize etmek için kullanılır. Örneğin, 1) Çekirdek ve SVM'de gevşek. 2) KNN'deki K değeri. 3) Karar ağaçlarında ağacın derinliği.

Model parametreleri verilerden otomatik olarak tahmin edilir ve model hiperparametreleri manuel olarak ayarlanır ve model parametrelerinin tahmin edilmesine yardımcı olacak işlemlerde kullanılır.

Model hiperparametrelerine genellikle parametreler denir, çünkü bunlar makine öğreniminin manuel olarak ayarlanması ve ayarlanması gereken bölümleridir.

Temel olarak, parametreler “modelin” tahminler yapmak için kullandığı parametrelerdir. Örneğin, doğrusal regresyon modelinde ağırlık katsayıları. Hiperparametreler öğrenme sürecine yardımcı olanlardır. Örneğin, K-Ortalamalarında küme sayısı, Ridge Regresyonunda büzülme faktörü. Son tahmin parçasında görünmezler, ancak parametrelerin öğrenme aşamasından sonra nasıl görüneceği üzerinde büyük bir etkisi vardır.

Bakınız: https://machinelearningmastery.com/difference-between-a-parameter-and-a-hyperparameter/