Makine öğreniminde, abonelikler yerine neden üst simgeler kullanılıyor?

Andrew Ng'nin Coursera aracılığıyla Machine Learning konusundaki kursunu alıyorum . Denklemler için abonelikler yerine üst simgeler kullanılır. Örneğin, aşağıdaki denklemde yerine kullanılır : $x^{(i)}$ $x_i$

$J(\theta_0, \theta_1) = \frac{1}{2m} \sum\limits_{i=1}^{m}{(h_\theta(x^{(i)}) - y^{(i)})^2}$

Görünüşe göre, bu yaygın bir uygulamadır. Benim sorum neden abonelik yerine üst simge kullanmalı? Üst simgeler zaten üs alma için kullanılmaktadır. Verilen parantezlerin var olup olmamasına dikkat ederek üst simge ve üstel kullanım durumları arasında ayrım yapabiliyor gibi görünsem de yine de kafa karıştırıcı görünüyor.

machine-learning notation

— entpnerd
kaynak

Bazı bilgisayar bilimleri insanlarının standart matematiksel gösterimde usta olmadıklarından ve bu nedenle kendi gösterimlerini oluşturduklarından şüpheleniyorum. Aktüerler bazen bunu yapar ve daha karmaşık kavramlara ulaştığınızda sinir bozucu olur.

— rocinante

Is iveri seti boyutu üzerinde indeksleme ya vektör elemanları üzerinde x? Birincisi, bu tamamen standart. İkincisi ise, bu tamamen standart değildir. Üst simge kullanılmasının nedeni, bazen alt simge kullanarak vektörün elemanına başvurmak istemenizdir.

— Rex Kerr

@rocinante lol hayır, bunun nedeni aboneliklerin zaten vektörleri indekslemek için alınmış olmasıdır.

— Neil G

@rocinante Bu oldukça küstah. Kontravaryant vektörler / Einstein gösterimi ne olacak ?

— Vousden

@ rocinante İfadelerinizin talihsiz olduğunu vurgulamak için başkalarını yankılamalıyım. Hepimiz yerel ve tanıdık olanı standart olarak görme eğilimindeyiz.

— Nick Cox

Yanıtlar:

Eğer O anlamına gelir için bir vektör sonra standart gösterimi için kullanılmıştır -inci koordinatı , yani $x$ $x \in \mathbb R^m$ $x_i$ $i$ $x$

x = (x_{1}, x_{2}, \dots, x_{m}) \in R^{m} .

$x = (x_1, x_2, \ldots, x_m)\in\mathbb R^m.$

Bu tür vektörlerden oluşan bir koleksiyonunuz varsa , bir vektörü nasıl ifade edersiniz ? yazamazsınız , bunun başka bir standart anlamı vardır. Bazen insanlar yazarlar ve bu yüzden Andrew Ng'nin bunu neden yaptığını düşünüyorum. $n$ $i$ $x_i$ $x^{(i)}$

yani

x^{(1)} = (x_{1}^{(1)}, x_{2}^{(1)}, \dots, x_{m}^{(1)}) \in R^{m} x^{(2)} = (x_{1}^{(2)}, x_{2}^{(2)}, \dots, x_{m}^{(2)}) \in R^{m} \dots x^{(n)} = (x_{1}^{(n)}, x_{2}^{(n)}, \dots, x_{m}^{(n)}) \in R^{m} .

$\begin{equation} x^{(1)} = (x_1^{(1)}, x_2^{(1)}, \ldots, x_m^{(1)}) \in \mathbb R^m\\ x^{(2)} = (x_1^{(2)}, x_2^{(2)}, \ldots, x_m^{(2)}) \in \mathbb R^m\\ \ldots \\ x^{(n)} = (x_1^{(n)}, x_2^{(n)}, \ldots, x_m^{(n)}) \in \mathbb R^m.\\ \end{equation}$

— amo diyor Reinstate Monica
kaynak

Katılmıyorum, ancak genellikle , yani tekrarlanan ölçümler için kullanılır.

x_{i j}

$x_{ij}$

— Cliff AB

Evet, ancak benim ; nin eşdeğeri ne olur ?

x_{i j}

$x_{ij}$

x_{j}^{(i)}

$x^{(i)}_j$

x^{(i)}

$x^{(i)}$

— amip, Reinstate Monica'yı

evet, bu bir avantaj. Bence Bazen kullanılır, ancak bu .

x_{i .}

$x_{i.}$

\sum_{j = 1}^{n} x_{i j} / m

$\sum_{j= 1}^n x_{ij}/m$

— Cliff AB

Matrisler üzerinde yineleme yapmak istiyorsanız, bunu yapmanın en sezgisel yolu gibi görünüyor. Bu nedenle gösterim vektörlerden matrislere geçerken tutarlı kalır.

x_{m n}^{(i)}

$x_{mn}^{(i)}$

— josh

@JAB Evet, gösterimi daha açık yapmak (dediğiniz gibi "tip ipucu"). Tabii bir kullanmayı kabul edebilir için -inci vektör ve için ait-inci elemanı -inci vektör. Muhtemel çeşitli sözleşmeler var, bu sadece onlardan biri. En iyisi olduğunu bile söylemiyorum, sadece arkasındaki mantığı açıklıyorum.

x_{i}

$x_i$

i

$i$

x_{i j}

$x_{ij}$

j

$j$

i

$i$

— amip, Reinstate Monica'yı

Süper senaryoların belirttiğiniz gibi kullanılması, makine öğrenimi literatüründe çok yaygın olmadığına inanıyorum . Ben onaylayın Ng adlı ders notlarını gözden olurdu, ancak eğer orada kullanımının koyuyor, onun bu gösterimde çoğalması kökeni olacağını söyleyebilirim. Bu bir olasılık. Her iki durumda da, çok kaba olmak istemiyorum, ancak çevrimiçi ders öğrencilerinin çoğunun makine öğrenimi hakkında literatür yayınladığını düşünmüyorum, bu nedenle bu gösterim gerçek literatürde çok yaygın değildir. Sonuçta, bunlar doktora düzeyinde dersler değil, makine öğreniminde giriş dersleridir.

Süper komut dosyalarında çok yaygın olan şey, süper komut dosyaları kullanarak bir algoritmanın yinelemesini belirtmektir. Örneğin, Newton yönteminin yinelemesini şu şekilde yazabilirsiniz:

$\theta^{(t+1)} = \theta^{(t)} - H(\theta^{(t)}) ^{-1} \nabla \theta^{(t)}$

burada Hessian ve eğimdir. $H(\theta^{(t)})$ $\nabla \theta^{(t)}$

(... evet, bu Hessian matrisinin tersine çevrilmesi nedeniyle Newton'un yöntemini uygulamanın en iyi yolu değil ...)

Burada, , yinelemesindeki değerini temsil eder . Bu, farkında olduğum süper komut dosyalarının en yaygın (ama kesinlikle değil) kullanımıdır. $\theta^{(t)}$ $\theta$ $t^{th}$

DÜZENLEME: Orijinal soruda, ML gösteriminde, istatistiğin gösterimi ile eşdeğer olduğunu öne sürmek için ortaya çıktı . Cevabımda bunun ML literatüründe gerçekten yaygın olmadığını belirtiyorum. Bu doğru. Bununla birlikte, @amoeba ile sivri dışarı olarak, veri için ML literatürde üst simge gösterimde bol miktarda, ancak bu durumda tipik olarak gelmez tek bir vektör gözlenmesini . $x^{(i)}$ $x_i$ $x^{(i)}$ $i^{th}$ $x$

— Cliff AB
kaynak

Yineleme sayıları için parantez içine alınmış / parantezli üstyazıların (çok çeşitli alanlarda ortak kullanımda olan bir gösterim) kullanımıyla ortaya çıkan çatışma, yükseltilmesi gereken çok önemli bir şeydir.

— Glen_b

Genellikle egzersiz setindeki örnek dizini belirtmek için kullanılır, bu da yineleme gibidir, ancak tam olarak aynı değildir, çünkü genellikle egzersiz setinizde birçok kez yineleme yaparsınız.

— Rex Kerr

Ayrıca abonelikleri ( ) yanı sıra satır ( ) kullanarak kaydedilen yineleme sayılarını gördüm . Bu nedenle, belirli bir gösterimi kullanırken, genellikle belirsizliğe başlamak için bir şeyler koyacağım (örneğin, "aşağıdaki dizilerde, falan falan filan" diyerek ve sonra matematiği koyarım). Böylece, hangi gösterim kullanılırsa kullanılsın, okuyucular bildikleri sözleşmelere dayanarak tahmin etmek yerine potansiyel olarak belirsiz vakaların anlamını sezebilirler.

a_{n + 1} = a_{n} + 1

$a_{n+1} = a_n + 1$

a (n + 1) = a (n) + 1

$a(n+1) = a(n) + 1$

— JAB

@JAB ile hemfikirim. Daha genel olarak, matematiksel tedavilerde yazılımdan gösterim almak için kod yazacak ve kullanacak insanlar için iğrenç olduğunu sanmıyorum. Örneğin ve çekişmeli olarak, bilgi işlem insanları, gibi gereksiz formalizmler yerine, doğruysa 1 ve yanlışsa 0 olarak değerlendirilecek gibi temiz gösterimi kullanmada birçok matematiksel grubun çok ilerisindedir. ; burada sadece Donald Knuth'un arkasından takip ediyorum.

(x > 0)

$(x > 0)$

I (x > 0)

$I(x > 0)$

— Nick Cox

@NickCox I genellikle olasılık söz konusu olduğunda sadece formunu görür; aksi takdirde, sadece bir eşitsizlik kısıtlamasıdır. Matematiksel denklemler söz konusu olduğunda, ya parçalı temsillere ayrılırlar ya da sadece denklemin kendisini aksi takdirde belirsizliği tetikleyeceği için bir eşitsizlik olarak temsil ederler. ( Matematikte nasıl ya da çoğu programlama dilinde daha incedir ; gerçek bir ödev veya eşitlik kontrolü yerine bir kısıtlama veya tanım getirir.)

I (x > 0)

$I(x > 0)$

x > 0

$x > 0$

=

$=$ ===

— JAB

Üst simgeler zaten üs alma için kullanılmaktadır.

Matematikte üstyazılar alana bağlı olarak sola ve sağa kullanılır. Seçim her zaman tarihsel miras, başka bir şey değil. Alana ilk giren kişi alt veya üst simge kullanma kuralını belirler.

$f(x)^{(n)}$

$R^i_i$ $i$ $j$ $T_i^k=R_i^jC_j^k$

$^i_jB_k^l$

Bu nedenle, Ng tarafından üst simge seçimi de tamamen tarihseldir. Bunları kullanmanın veya kullanmamanın veya aboneliklere tercih etmenin gerçek bir nedeni yoktur. Aslında, burada ML halkının tensör notasyonu kullandığına inanıyorum. Kesinlikle bu konuda çok bilgilidirler, örneğin bu makaleye bakınız .

— Aksakal
kaynak

Puanınız için başka bir örnek: Einstein notasyonu

— Neil G