İstatistik, klasik cebir ve makine öğrenimindeki klasik gösterimler nelerdir? Ve bu gösterimler arasındaki bağlantılar nelerdir?

Bir kitabı okuduğumuzda, notasyonları anlamak içeriğin anlaşılmasında çok önemli bir rol oynar. Ne yazık ki, farklı topluluklar modeldeki formülasyon ve optimizasyon problemi için farklı gösterim kurallarına sahiptir. Herhangi biri, burada bazı formülasyon gösterimlerini özetleyebilir ve olası sebepler sunabilir mi?

Burada bir örnek vereceğim: Lineer cebir literatüründe klasik kitap, Strang'ın lineer cebire girişidir . Kitapta en çok kullanılan notasyon

A x = b

$A x=b$

Burada $A$ a, katsayılar matrisi , $x$ ise çözülecek değişkenler ve $b$ bir vektör olan denklemin sağ tarafına . Sebebi kitabın bu notasyonu seçim lineer cebir ana hedefi vektörü ne olduğunu lineer sistem ve şekil çözme olmasıdır $x$ . Böyle bir formülasyon göz önüne alındığında, OLS optimizasyon sorunu

\underset{x}{minimize} ‖ A x - b ‖^{2}

$\underset{x}{\text{minimize}}~~ \|A x-b\|^2$

İstatistik veya makine öğrenmesi okuryazarlığı ( İstatistiksel Öğrenmenin Ögeleri kitabından ) insanlar aynı şeyi göstermek için farklı gösterimler kullanırlar:

X β = y

$X \beta= y$

Burada bir veri matrisi , olan katsayılar veya ağırlıkları öğrenme öğrenilecek , bir yanıttır. Nedeni insanların istatistik veya makine öğrenme topluluğunda insanlar olduğundan bu olduğunu kullanmak tahrik veri böylece, veri ve tepki kendileri için en ilginç şey, onlar kullandığınız yere ve temsil etmek. $X$ $\beta$ $y$ $X$ $y$

Şimdi tüm olası karışıklıkları görebiliyoruz: Birinci denklemde , ikinci denklemde ile aynıdır . Ve ikinci denklemde , çözülmesi gereken bir şey değildir. Terimler için ayrıca: doğrusal cebirdeki katsayılı matristir, ancak istatistikteki verilerdir. "katsayıları" olarak da adlandırılır. $A$ $X$ $X$ $A$ $\beta$

Ek olarak, insanların makine öğrenmesinde yaygın olarak kullandığı şey olmadığını söylemiştim, insanlar tüm veri noktaları üzerinde özetlenen yarı vectorized bir versiyon kullanıyor . Gibi $X \beta=y$

min \sum_{i} L (y_{i}, f (x_{i}))

$\min \sum_i \text{L}(y_i,f(x_i))$

Bunun sebebinin, stokastik gradyan iniş ve diğer farklı kayıp fonksiyonlarından bahsetmek iyi olduğudur. Ayrıca, özlü matris notasyonu lineer regresyondan başka problemler için de ortadan kalkar.

Lojistik regresyon için matris notasyonu

Farklı edebiyatlardan geçen notasyonlar hakkında daha fazla özet veren var mı? Umarım bu sorunun akıllı cevapları, farklı edebiyatlardan çapraz kitap okuyan insanlar için iyi bir referans olabilir

lütfen benim örnek ve ile sınırlı kalmayın . Diğerleri var. Gibi $A x=b$ $X \beta=y$

Neden iki farklı lojistik kayıp formülasyonu / gösterimi var?

— hxd1011
kaynak

Gösterim, bir tür harici olarak doğrulanabilir gerçek olarak mevcut değildir. Bu bir dildir, bu yüzden doğası gereği bağlamsal ve yeniden tanımlanmaya hazırdır. X * b yazıp bunun matris x nokta ürün vektörü b anlamına geldiğini söylersem, sadece kalın veya öyledir.

— Sycorax, Reinstate Monica,

ve eşdeğeri gösterildiğini söyleyebilirim . Sadece değişkenlerin isimleri değişti. Genel olarak, bir alan dahilinde bile kağıttan kağıda değişkenlerin tutarlı adlandırmalarını bulamazsınız.

A x = b

$Ax = b$

X β = y

$X \beta = y$

— user20160

Şu anda, bu 10 oy, 150 görüş var; değerli ve yararlı bir iş parçacığı gibi görünüyor. Üstelik, bir cevaplanmış cevap var; bu yüzden cevaplanmayacak kadar geniş olduğunu sanmıyorum.

— gung - Reinstate Monica

@Gung ile aynı fikirdeyim, topluluk bu soruya açıkça ilgi duyuyor. Tekrar açmaya aday gösterdim.

— Matthew Drury

Bence normal bir q için çok geniş. - ama zaten CW ve biraz popüler olduğundan, orada bulunan dördüne yeniden açmak için oyumu ekledim.

— Scortchi - Monica'yı yeniden kurun

Belki ilgili bir soru, "Farklı dillerde kullanılan kelimeler nelerdir ve bu kelimeler arasındaki bağlantılar nelerdir?"

Gösterim, bir anlamda bir dil gibidir:

Bazı kelimelerin bölgeye özgü anlamları vardır; bazı kelimeler geniş ölçüde anlaşılmıştır.
Güçlü ülkeler gibi dillerini yayarlar, başarılı alanlar ve etkili araştırmacılar notlarını yayar.
Dil zamanla gelişir: dilin tarihsel kökenleri ve modern nüfuzu bir karışımı vardır.

Sorunuz ...

İkisinin "tamamen farklı gösterimde" takip ettiği iddiasına katılmıyorum. Her iki ve matrisleri belirtmek için büyük harf kullanır. O kadar farklı değiller . $X\boldsymbol{\beta} = \boldsymbol{y}$ $A\mathbf{x} = \mathbf{b}$
Makine öğrenmesi, büyük ve olgun bir alan olan istatistikler ile yakından ilgilidir. Kullanılması veri matrisi temsil etmek neredeyse kesin takip etmek en okunabilir, en standart sözleşmedir. İken doğrusal sistemleri çözmek için standarttır, işte bu değil istatistik yapıyor insanlar, normal denklemlerini yazar nasıl. Bunu yapmaya çalışırsanız, izleyicilerinizi daha çok karıştıracaksınız. Roma’dayken ... $X$ $A\mathbf{x} = \mathbf{b}$
Bir anlamda, revize edilmiş sorunuzun özü, " Verileri temsil etmek için harfini ve çözülmesi gereken bilinmeyen değişkeni temsil etmek için harfini kullanan istatistiklerin tarihsel kökenleri nedir ?"
- Bu istatistik tarihçileri için bir sorudur! Kısaca arama, ben etkili İngiliz istatistikçi ve Cambridge akademik Udny Yule kullanılan bakınız onun verileri temsil edecek İstatistik Teorisine Giriş (1911). en aza indirilmesi olarak en küçük kareler hedefiyle ve çözümü ile olarak bir regresyon denklemi yazdı. . En azından o zamana geri döndü. $x$ $x_1 = a + bx_2$ $\sum\left( x_1 - a - bx_2\right)^2$ $b_{12} = \frac{\sum x_1x_2}{\sum x_2^2}$
- Daha da etkili RA Fisher kullanılan bağımlı değişken ve için onun 1925 kitabında bağımsız değişken için Araştırma İşçiler için İstatistiksel Yöntemler . (Bilgi ile bağlantı sağlamak için Şapka @Nick Cox'a bahşiş verir.) $y$ $x$

İyi gösterim iyi dil gibidir. Mümkün olduğunda sahaya özgü jargondan kaçının. İngilizce bilen çoğu kişi için anlaşılabilir bir dil olan BBC İngilizcesinin matematik eşdeğerini yazın. Bir kişi, mümkün olduğunda, açık ve geniş ölçüde anlaşılan bir gösterim kullanarak yazmalıdır.

— Matthew Gunn
kaynak

Bu amatör istatistik tarihçisi, Yule'un hiçbir zaman Profesör olmadığına dair kederli bir düzeltme sağlayabilir.

— Nick Cox,

math.hawaii.edu/~tom/history/stat.html bir kopyası gibi görünüyor. Sistematik Ben büyük ölçüde RA Fisher nedeniyle olduğu anlaşılması değişkenler için parametreleri ve Roman için böyle Yunan olarak kongre, ancak birçok tutma-out örn vardır kaybolmaya belirtisi örnek ki-kare istatistik gösteriler için.

χ^{2}

$\chi^2$

— Nick Cox,

@NickCox Fantastik bağlantı jeff560.tripod.com/stat.html (benim için ...) Yule ve RA Fisher! Regresyonun ilk matematiksel kökenleri açıkça Gauss ve Laplace’e geri dönüyor, ancak amatör araştırmamın tamamında farklı gösterim kullandıkları ortaya çıktı.

— Matthew Gunn,

jeff560.tripod.com/stat.html yazdığım gibi 2014 güncellemesi; www.math.hawaii.edu/~tom/history/stat.html, 2007'den bir sürümün kopyasıdır.

— Nick Cox