GLM istatistiksel veya makine öğrenme modeli midir?

Genelleştirilmiş doğrusal modelin (GLM) istatistiksel bir model olarak kabul edileceğini düşündüm, ancak bir arkadaşım bana bazı makalelerin bunu bir makine öğrenme tekniği olarak sınıflandırdığını söyledi. Hangisi doğru (ya da daha kesin)? Herhangi bir açıklama takdir edilecektir.

Bir GLM kesinlikle istatistiksel bir modeldir, ancak istatistiksel modeller ve makine öğrenme teknikleri birbirini dışlamaz. Genel olarak, istatistikler çıkarımsal parametrelerle daha fazla ilgilenirken, makine öğreniminde tahmin nihai hedeftir.

Tahmin ile ilgili olarak, istatistik ve makine öğrenimi bilimleri çoğunlukla aynı problemi farklı açılardan çözmeye başladı.

Temel olarak istatistikler, verilerin belirli bir stokastik model tarafından üretildiğini varsayar. Dolayısıyla, istatistiksel açıdan bakıldığında, bir model varsayılır ve çeşitli varsayımlar verildiğinde hatalar ele alınır ve model parametreleri ve diğer sorular çıkarılır.

Makine öğrenimi bilgisayar bilimi perspektifinden gelir. Modeller algoritmiktir ve genellikle verilerle ilgili çok az varsayım gereklidir. Hipotez alanı ve öğrenme yanlılığı ile çalışırız. Bulduğum en iyi makine öğrenimi sergisi Tom Mitchell'in Machine Learning adlı kitabında yer alıyor .

İki kültür hakkında daha kapsamlı ve eksiksiz bir fikir edinmek için İstatistiksel Modelleme: İki Kültür adlı Leo Breiman belgesini okuyabilirsiniz.

Ancak eklenmesi gereken, iki bilim farklı bakış açılarıyla başlasa bile, şimdi her ikisinin de artık oldukça fazla ortak bilgi ve teknik paylaşmasıdır. Neden, çünkü problemler aynıydı, ama araçlar farklıydı. Dolayısıyla, makine öğrenimi çoğunlukla istatistiksel bir perspektiften ele alınmaktadır (Hastie, Tibshirani, Friedman kitabını istatistiksel öğrenme ile makine öğrenme bakış açısından İstatistiksel Öğrenme Unsurları'na ve belki de Kevin P. Murphy'nin Makine Öğrenimi: A olasılıksal perspektif , bugün mevcut olan en iyi kitaplardan sadece birkaçı).

Bu alanın gelişim tarihi bile bu bakış açılarının birleşmesinin faydalarını göstermektedir. İki olayı anlatacağım.

Birincisi, Breiman tarafından sağlam bir istatistiki arka planla oluşturulan CART ağaçlarının yaratılması. Yaklaşık olarak aynı zamanda Quinlan, daha fazla bilgisayar bilimi geçmişine sahip ID3, C45, See5 vb. Karar ağacı paketini geliştirdi. Şimdi hem bu ağaç aileleri hem de torbalama ve ormanlar gibi topluluk yöntemleri oldukça benzer hale geliyor.

İkinci hikaye, artırmakla ilgilidir. Başlangıçta, AdaBoost'u keşfettiklerinde Freund ve Shapire tarafından geliştirildi. AdaBoost'u tasarlama seçenekleri çoğunlukla hesaplama açısından yapıldı. Yazarlar bile neden işe yaradığını iyi anlamadılar. Sadece 5 yıl sonra Breiman (yine!) En ileri modeli istatistiksel açıdan tanımladı ve bunun neden işe yaradığına dair bir açıklama yaptı. O zamandan beri, her iki arka plana sahip çeşitli seçkin bilim adamları, lojistik güçlendirme, gradyan güçlendirme, nazik güçlendirme vb. Sağlam bir istatistiksel altyapı olmadan artırmayı düşünmek artık zor.

Genelleştirilmiş Doğrusal Modeller istatistiksel bir gelişmedir. Ancak yeni Bayes tedavileri bu algoritmayı makine öğrenim oyun alanına da yerleştirmektedir. Bu yüzden her iki iddianın da doğru olabileceğine inanıyorum, çünkü nasıl çalıştığının yorumlanması ve tedavisi farklı olabilir.

Ben'in cevabına ek olarak, istatistiksel modeller ve makine öğrenme modelleri arasındaki ince fark, istatistiksel modellerde, modeli oluşturmadan önce çıktı denklem yapısına açıkça karar vermenizdir. Model, parametreleri / katsayıları hesaplamak için oluşturulmuştur.

Örneğin doğrusal modeli veya GLM'yi ele alalım,

y = a1x1 + a2x2 + a3x3

Bağımsız değişkenleriniz x1, x2, x3'tür ve belirlenecek katsayılar a1, a2, a3'tür. Denklem yapınızı modeli oluşturmadan önce bu şekilde tanımlarsınız ve a1, a2, a3 hesaplarsınız. Y'nin bir şekilde x2 ile doğrusal olmayan bir şekilde ilişkili olduğuna inanıyorsanız, böyle bir şey deneyebilirsiniz.

y = a1x1 + a2(x2)^2 + a3x3.

Böylece çıktı yapısı açısından bir kısıtlama koyuyorsunuz. Doğrusal olarak istatistiksel modeller, doğrusal olmayan hale getirmek için sigmoid veya çekirdek gibi dönüşümleri açıkça uygulamadığınız sürece doğrusal modellerdir (GLM ve SVM).

Makine öğrenimi modellerinde, çıktı yapısını nadiren belirtirsiniz ve karar ağaçları gibi algoritmalar doğası gereği doğrusal değildir ve verimli çalışır.

Ben'in işaret ettiğinin aksine, makine öğrenme modelleri sadece tahminle ilgili değil, aynı zamanda çeşitli istatistiksel modeller tarafından da yapılan tahminler yapmak için kullanılabilen sınıflandırma, regresyon vb.

GLM kesinlikle istatistiksel bir modelken, endüstriyel üretimde makine öğrenme hileleri olarak giderek daha fazla istatistiksel yöntem uygulanmaktadır . Bu günlerde en çok okuduğum meta-analiz istatistiksel alanda iyi bir örnek.

GLM ile mükemmel bir endüstriyel uygulama, arkadaşınızın size GLM'nin bir makine öğrenme tekniği olarak kabul edildiğini neden söylediğini açıklayabilir . Bu konuda http://www.kdd.org/kdd2016/papers/files/adf0562-zhangA.pdf kaynak makalesine başvurabilirsiniz .

Birkaç hafta önce üretim senaryosundaki öneri sistemimin ana çerçevesi olarak kabul edilen basitleştirilmiş bir tane uyguladım. Bana bazı ipuçları verirseniz çok teşekkür ederiz ve kaynak kodunu kontrol edebilirsiniz: https://github.com/PayneJoe/algo-sensetime/blob/master/src/main/scala/GLMM.scala

Umarım bu sana yardımcı olur, iyi günler!