Bir isimde ne var: hiperparametreler

19

Normal bir dağılımda iki parametremiz var: ortalama $\mu$ ve varyans $\sigma^2$ . Örüntü Tanıma ve Makine Öğrenimi kitabında , aniden hata işlevinin düzenlenme terimlerinde bir hiperparametre görünür $\lambda$ .

Hiperparametreler nedir? Neden böyle adlandırılıyorlar? Ve genel olarak parametrelerden sezgisel olarak nasıl farklıdırlar?

— CGO
kaynak

3

Ben şahsen bunun hipermetrelik bir salgın olduğunu düşünüyorum. Hiper, hiper. Hipersfer - bu bir küre, d @ manit, boyut 3'ü aştığı için çok hiperleşmeyi bırak. Hiperparametre - bu bir parametredir, d @ mnit, sadece birkaçına sahip olduğunuz için hiper olmayı durdurun ve bir şekilde hiyerarşik düzeyi veya bir şeyi gösterir. Her durumda, bir optimizasyon sorununuz varsa, hangi parametrelerin optimize edildiğini ve herhangi bir kısıtlamayı açıkça belirtin (çok düzeyli optimizasyonsa, bunu belirtin). Umarım bu yorumda fazla hiper alamadım.

— Mark L. Stone

2

Her zaman "hipersfer" i "eş boyut bir küre" demek için kullandım, bu yüzden en azından matematikte bir şey ifade ediyor gibi görünüyor. Ya da en azından matematik hakkında konuşurken. Şimdi sakinleşeceğim.

— Matthew Drury

18

Hiperparametre terimi oldukça belirsizdir. Hiyerarşinin diğer parametrelerinden daha yüksek bir parametreye başvurmak için kullanacağım. Örneğin, bilinen bir varyansı olan bir regresyon modelini düşünün (bu durumda 1)

y \sim N (X β, I)

$y \sim N(X\beta,I)$

ve daha sonra parametrelerde bir önceki, örn.

β \sim N (0, λ I)

$\beta \sim N(0,\lambda I)$

Burada , dağılımını ve , dağılımını belirler . Sadece referans vermek istediğimde parametresini çağırabilirim ve sadece bakmak istediğimde hiperparametre diyebilirim. $\lambda$ $\beta$ $\beta$ $y$ $\beta$ $\lambda$

Parametreler birden çok düzeyde göründüğünde veya daha hiyerarşik seviyeler olduğunda (ve hiperhiperparametreler terimini kullanmak istemiyorsanız) adlandırma daha karmaşık hale gelir. Yazarın bu konuda hiperparametre veya parametre terimini kullandıklarında tam olarak ne anlama geldiğini belirtmesi en iyisidir.

— jaradniemi
kaynak

Bu güzel bir açıklama. Şimdi bunu bir 'işlevler-ish bileşimi' olarak görüyorum. Eğer sembollerin ne koymak çevirmek için,

Normalde ortalama ile dağıtılan

, ancak

sırayla, Normalde falan dağıtılan olduğunu. Thanks

y

$y$

X β

$X\beta$

b e t a

$beta$

— cgo

10

Hiperparametre, tamamen veya kısmen diğer parametreleri etkileyen bir parametredir. Karşılaştığınız optimizasyon problemini doğrudan çözmezler, aksine problemi çözebilecek parametreleri optimize ederler (bu nedenle hiper , çünkü optimizasyon probleminin bir parçası değildir, ancak "eklentiler" dir). Gördüğüm için, ancak referansım yok, bu ilişki tek yönlüdür (bir hiperparametre, üzerinde etkisi olan parametrelerden, dolayısıyla hiperden etkilenemez ). Genellikle normalleştirme veya meta optimizasyon şemalarında kullanılırlar.

Örneğin, parametreniz , düzenleme maliyetini ayarlamak için ve serbestçe etkileyebilir (ancak ve üzerinde hiçbir etkisi yoktur ). Böylece , ve için bir hiperparametredir . Eğer ek bir olsaydı etkileyen parametre , bu bir hyperparameter olacağını ve bir hyperhyperparameter ve (ama bu isimlendirilmesi görmedim, ama onu görürsem yanlış olur hissetmez ki) . $\lambda$ $\mu$ $\sigma$ $\mu$ $\sigma$ $\lambda$ $\lambda$ $\mu$ $\sigma$ $\tau$ $\lambda$ $\lambda$ $\mu$ $\sigma$

Hiperparametre kavramını çapraz doğrulama için çok yararlı buldum, çünkü size parametrelerin hiyerarşisini hatırlatıyor, aynı zamanda hala (hiper-) parametrelerini değiştiriyorsanız hala çapraz doğrulama yaptığınızı ve genellemediğinizi hatırlatıyor. Sonuçlarınıza dikkat edin (dairesel düşünmeden kaçınmak için).

— gaborous
kaynak

7

Diğer açıklamalar biraz belirsiz; İşte bunu açıklığa kavuşturması gereken daha somut bir açıklama.

Hyperparameters modelinin parametrelerdir sadece , değil modellenen fiziksel sürecin. Sonlu veri ve / veya sonlu hesaplama zamanı varlığında modelinizin "çalışması" için "yapay" olarak tanıtırsınız . Bir şeyi ölçmek veya hesaplamak için sonsuz bir gücünüz olsaydı, modelinizde artık hiperparametreler bulunmayacaktı, çünkü gerçek sistemin herhangi bir fiziksel yönünü tanımlamayacaklardı.

Diğer taraftan, düzenli parametreler fiziksel sistemi tanımlayan ve sadece yapayları modellemeyen parametrelerdir.

— Mehrdad
kaynak

6

Bu kesin olarak tanımlanmış bir terim değil, bu yüzden size ortak kullanımla tutarlı görünen başka bir tanım vereceğim.

Hiperparametre, son öngörücü fonksiyonun fonksiyonel formuna katılmayan bir makine öğrenme algoritmasında tahmin edilen bir miktardır.

Bir örnekle sırt regresyonunu gevşetmeme izin verin. Sırt regresyonunda aşağıdaki optimizasyon problemini çözüyoruz:

β^{*} (λ) = {argmin}_{β} ((y - X β)^{t} (y - X β) + λ β^{t} β)

$\beta^*(\lambda) = \text{argmin}_{\beta} \left( (y - X\beta)^t (y - X\beta) + \lambda \beta^t \beta \right)$

β^{*} = {argmin}_{λ} (y^{'} - X^{'} β (λ))^{t} (y^{'} - X^{'} β (λ))

$\beta^* = \text{argmin}_{\lambda} (y' - X'\beta(\lambda))^t (y' - X'\beta(\lambda))$

İlk problemde $X, y$ $X', y'$ olan

f (X) = X β^{*}

$f(X) = X \beta^*$

$\lambda$ $\beta$ $\lambda$

— Matthew Drury
kaynak

3

@Jaradniemi tarafından açıkça belirtildiği gibi, hiperparametre teriminin bir kullanımı genellikle koşullu olasılık ifadelerini kullanarak, biri diğerinin üzerine / altına inşa edilmiş bir istatistiksel model kaskadına sahip olduğunuz hiyerarşik veya çok düzeyli modellemeden gelir.

Ancak aynı terminoloji, farklı anlamlara sahip başka bağlamlarda da ortaya çıkar. Örneğin, hiperparametre teriminin çok düzeyli bir modelden elde edilmeyen stokastik bir modelin simülasyon parametrelerini (çalışma uzunluğu, bağımsız çoğaltma sayısı, her çoğaltmadaki etkileşen parçacık sayısı vb.) İfade etmek için kullanıldığını gördüm. modellemesi.

— Marcelo Ventura
kaynak

1

FWIW Tipik olarak çalışma uzunluğu, etkileşen parçacık sayısı, vb. Ayar parametreleri olarak adlandırılır.

— jaradniemi

Katılıyorum. Bana göre hiperparametrelerden daha uygun bir seçim. Yine de, başkalarına, diğer bilgi alanlarında, hala yeterince makul geliyordu.

— Marcelo Ventura