Yakın tarihli bir collokonyumda konuşmacının özeti, makine öğrenmeyi kullandıklarını iddia etti. Konuşma sırasında, makine öğrenmeyle ilgili tek şey, verileri üzerinde doğrusal regresyon gerçekleştirmeleriydi. 5D parametre alanındaki en uygun katsayıları hesapladıktan sonra, bir sistemdeki bu katsayıları diğer sistemlerin en uygun katsayılarıyla karşılaştırdılar.

Doğrusal regresyon makinesi ne zaman öğrenme , sadece en uygun çizgiyi bulmak yerine? (Araştırmacı soyut yanıltıcı mıydı?)

Son zamanlarda dikkat çeken makine öğrenmesi dikkat çekti, bu tür ayrımlar yapmak önemli görünüyor.

Benim sorum bu şekilde , ancak bu soru “doğrusal regresyon” un tanımını isterken, benimki lineer regresyonun (çok sayıda uygulamaya sahip olan) uygun şekilde “makine öğrenmesi” olarak adlandırılabileceğini sorar.

Açıklamalar

Doğrusal regresyonun makine öğrenmesiyle aynı olup olmadığını sormuyorum. Bazılarının işaret ettiği gibi, tek bir algoritma bir çalışma alanı oluşturmaz. Birinin kullandığı algoritmanın sadece doğrusal bir regresyon olduğunu söylemenin doğru olup olmadığını soruyorum.

Tüm şakalar bir yana (yorumlara bakınız), bunu sormamın nedenlerinden biri, eğer gerçekten makine öğrenimi yapmıyorlarsa , isminize birkaç altın yıldız eklemek için makine öğrenimi yapmak olduğunu söylemenin etik olmamasıdır . (Birçok bilim adamı kendi çalışmaları için en uygun doğrunun bir tür hesaplar, ancak bu onların makine öğrenimi yapıyor anlamına gelmez.) Diğer taraftan, lineer regresyon olduğu durumlar açıkça vardır edilir makine öğrenmenin bir parçası olarak kullanılmaktadır. Bu durumları sınıflandırmama yardımcı olacak uzmanlar arıyorum. ;-)

Sorunuzu bir soru ile cevaplama: Makine öğrenmesi tam olarak nedir? İstatistiksel Öğrenmenin Unsurlarında Trevor Hastie, Robert Tibshirani ve Jerome Friedman, Makine Öğreniminde Kevin P. Murphy Olasılıklı Bir Bakış Açısı , Örüntü Tanıma ve Makine Öğreniminde Christopher Bishop , Derin Öğrenmede Ian Goodfellow, Yoshua Bengio ve Aaron Courville ve diğer makine öğrenmesi "İnciller", lineer regresyondan, makine öğrenmesi "algoritmaları" ndan biri olduğunu belirtmektedir. Makine öğrenmesi kısmen uygulamalı istatistikler için kullanılan bir terimdir ve istatistikler ve makine öğrenimi arasındaki fark genellikle bulanıktır.

Doğrusal regresyon kesinlikle makine öğreniminde kullanılabilecek bir algoritmadır. Ancak, azaltma ad absurdum : Excel kopyası olan herkes doğrusal bir modele uyabilir.

Kendimizi lineer modellerle sınırlandırsak bile, makine öğrenmeyi tartışırken göz önünde bulundurulması gereken birkaç şey daha var:

• İş problemleriyle ilgili makine öğrenmesi daha fazla veri içerebilir. Eğer buzzword kullanmak istiyorsanız " Büyük veri ". Verilerin temizlenmesi ve hazırlanması, gerçek modellemeden daha fazla iş gerektirebilir. Veri hacmi, tek bir makinenin işleme kapasitesini aştığında, mühendislik zorlukları istatistiksel zorluklar kadar önemlidir. (Temel kural: eğer ana hafızaya sığarsa büyük veri değildir).
• Makine öğrenmesi genellikle geleneksel istatistiksel modellerden çok daha fazla açıklayıcı değişken (özellik) içerir. Belki de onlarca, bazen de yüzlerce, bazıları kategorik değişkenler olacak. Bu özellikler potansiyel olarak etkileşime girdiğinde (örneğin çapraz etkiler modelinde), sığacak potansiyel modellerin sayısı hızla artar.
• Makine öğrenimi pratisyeni genellikle bireysel özelliklerin önemi ile daha az ilgilenir ve daha fazla özellik hangi kombinasyonu kullanırsa kullanın, bir modelden mümkün olduğu kadar prediktif gücü sıkmakla ilgilenir. (P-değerleri açıklama ile ilişkilidir, öngörüyle değil.)
• Çok sayıda özellik ve bu özellikleri tasarlamanın çeşitli yolları ile elle model seçimi olanaksız hale gelir. Bence, makine öğrenimindeki asıl zorluk, otomatik özellik seçimi (özellik mühendisliği) ve model spesifikasyonunun diğer yönleridir. Doğrusal bir modelde, bunu yapmanın çeşitli yolları vardır, genellikle kaba kuvvetin varyantları; Kademeli regresyon, geri tasfiye vb. dahil olmak üzere hepsi de önemli miktarda hesaplama gücü gerektirir. (İkinci kural: özellikleri elle seçiyorsanız, makine öğrenmesi yerine istatistik yapıyorsunuzdur).
• Birçok özelliğe sahip birçok modele otomatik olarak uyduğunuzda, aşırı montaj ciddi bir potansiyel konudur. Bu problemle başa çıkmak çoğu zaman bir tür çapraz onaylama gerektirir : yani daha kaba kuvvet hesaplama!

Kısa cevap, benim açımdan, makine öğreniminin geleneksel istatistiksel modellemeden saptığı yerde model seçiminde kaba kuvvet ve sayısal yaklaşımların uygulanmasında, özellikle de büyük miktarda veri ve çok sayıda açıklayıcı değişken bulunan alanlarda olduğu yönündedir. Tahmini güce odaklanarak, ardından model doğrulaması için daha kaba bir güç uygulayın.

Mitchell'in tanımının, bir nevi birinci prensip olan makine öğrenmesi tartışmasını topraklamak için yararlı bir yol sağladığını düşünüyorum. Wikipedia'da çoğaltıldığı gibi :

Bir bilgisayar programının, bazı görev sınıfları T ile ilgili olarak E deneyinden öğrendiği ve P ile ölçülen, T'deki görevlerdeki performansı E ile geliştiği takdirde, P'nin performans ölçüsü olduğu söylenir.

Bu birkaç şekilde yardımcı olur. Birincisi, acil sorunuza: Regresyon, görevi bazı uygulamalardaki öngörücü özelliklerden tahmini bir değer sağlamak olduğu zaman makine öğrenmesidir . Performansı, daha fazla veri yaşadıkça, ortalama karenin (veya mutlak, vb.) Hatalı olduğu ölçülerek arttırılmalıdır.

İkincisi, makine öğrenmesini ilgili terimlerden ve pazarlama kelimesi olarak kullanımından kurtarmaya yardımcı olur. Yukarıdaki görevi standart, çıkarımsal bir regresyonla zıt hale getirin, burada bir analist önemli ilişkiler için katsayıları yorumlar. Burada program bir özet döndürür: katsayılar, p değerleri vb. Programın bu performansı deneyim ile geliştirdiği söylenemez; Görev ayrıntılı bir hesaplamadır.

Son olarak, makine tanıtım alt alanlarının birleştirilmesine yardımcı olur, her ikisi de genel olarak tanıtım sırasında kullanılan (denetlenen, denetlenmeyen) güçlendirici öğrenme veya yoğunluk tahmini gibi başkalarıyla birleştirilir. (Her birinin üzerinde yeterli olduğunu düşünüyorsanız, her birinin bir görevi, performans ölçüsü ve deneyim kavramı vardır.) Sanırım, gereksiz yere azaltılmadan iki alanın tanımlanmasına yardımcı olan daha zengin bir tanım sağlar. Örnek olarak, "ML tahmin için, çıkarım için istatistikler" hem denetimli öğrenmenin dışındaki makine öğrenme tekniklerini hem de öngörmeye odaklanan istatistiksel teknikleri dikkate almaz.

Bir kabine üreticisinin namlu üreticisinin testeresini kullanamayacağını söyleyen hiçbir yasa yoktur.

Makine öğrenimi ve istatistikler belirsiz etiketlerdir, ancak iyi tanımlanmışsa istatistikler ve makine öğrenimi arasında çok fazla örtüşme vardır. Ve bu, bu iki alanın yöntemlerini ve ayrıca bu iki alanla kendilerini etiketleyen insanlar için de geçerlidir . Ancak matematik devam ettiği sürece, makine öğrenmesi tamamen istatistik alanı içerisindedir.

Doğrusal regresyon çok iyi tanımlanmış bir matematiksel prosedürdür. Bunu, istatistik alanıyla, kendilerini 'istatistikçi' olarak niteleyen insanlarla ve akademik programlardan çıkanları 'istatistik' gibi etiketlerle ilişkilendirme eğilimindeyim. SVM (Support Vector Machines) aynı şekilde, her benzer giriş ve çıkışa sahip ve benzer problemleri çözen çok iyi tanımlanmış bir matematiksel prosedürdür. Ancak bunu makine öğrenimi alanıyla ve kendilerine bilgisayar bilimcileri ya da yapay zeka veya makine öğrenimi alanında çalışan ve bilgisayar biliminin bir disiplini olarak kabul etme eğilimi gösteren kişiler olarak bağlanma eğilimindedir.

Ancak bazı istatistikçiler SVM'yi, bazı AI insanları lojistik regresyon kullanıyor olabilir. Açık olması gerekirse, bir istatistikçi veya AI araştırmacısının gelişmesi daha olasıdır gerekirse pratikte kullanmaya başladığından daha fazla bir yöntem .

Makine öğreniminin tüm metotlarını kareler halinde istatistik alanına yerleştirdim. Deep Learning, RNN'ler, CNN'ler, LSTM'ler, CRF'ler gibi yeni şeyler bile. Bir uygulamalı istatistikçi (biyoistatistikçi, agronomist) onlara aşina olmayabilir. Bunların hepsi genellikle 'makine öğrenmesi' ile etiketlenen ve nadiren istatistiklerle ilişkilendirilen yordayıcı modelleme yöntemleridir. Ancak , istatistiksel yöntemler kullanılarak değerlendirilebilmeleri için tahminde bulunabilecek modellerdir.

Sonunda, lojistik regresyon gerekir makine öğrenme parçası olarak kabul.

Ancak, evet, bu kelimelerin yanlış uygulanması konusundaki hoşnutsuzluğunuzu görüyorum ve sık sık paylaşıyorum. Doğrusal regresyon, 'makine öğrenmesi' olarak adlandırmak için çok garip ve yanıltıcı hissettirdiği, istatistik denilen şeylerin çok önemli bir parçasıdır .

Göstermek için, Lojistik regresyon matematiksel olarak gizli düğümleri olmayan tek bir öğrenme düğümü için aktivasyon fonksiyonu olarak lojistik fonksiyonu ve gizli düğümleri olmayan bir Deep Learning ağına özdeştir. Lojistik regresyona bir makine öğrenme yöntemi demezdim, ama kesinlikle makine öğrenme bağlamlarında kullanılıyor.

Bu çoğunlukla bir beklenti sorunudur.

C: "Kalp ameliyatından sonra hastaneye geri gönderimi tahmin etmek için makine öğrenmesini kullandım."

B: "Ah evet? Derin Öğrenme? Rastgele Ormanlar? !!?"

C: "Ah, hayır, o kadar süslü bir şey değil, sadece Lojistik Regresyon".

B: son derece hayal kırıklığına uğramış bir görünüm .

Bir pencereyi suyla yıkarken kuantum kimyasalı kullandığınızı söylemek gibi bir şey. Evet, bunun teknik olarak yanlış olmadığından emin olun, ancak gerekenden daha fazlasını ima ediyorsunuz.

Fakat gerçekten, bu tam olarak bir kültür farkına karşı bir madde farkına karşılık. Bir kelimenin çağrışımları ve insan gruplarıyla ilişkileri (LR tamamen ML değildir!) - matematik ve uygulamalar (LR tamamen ML'dir!).

Ortak görüş, 4 alandan oluşan makine öğrenmesidir:

1) Boyutluluk Azaltma

2) Kümeleme

3) Sınıflandırma

4) Regresyon

Doğrusal regresyon bir regresyondur. Model eğitildiğinde, diğerleri gibi, Rastgele Orman Regresyonu gibi tahminler için kullanılabilir.

Lineer regresyon bir teknikken, makine öğrenmesi farklı araç ve tekniklerle gerçekleştirilebilecek bir amaçtır.

Böylece regresyon performansı beklenen çizgiye / eğriye ne kadar yaklaştığı ile ölçülür, makine öğrenmesi ise gerekli ne olursa olsun belirli bir problemi ne kadar iyi çözebileceği ile ölçülür.

Makine öğrenimi ile istatistiksel çıkarım arasındaki ayrımın açık olduğunu savunacağım. Kısacası, makine öğrenmesi = gelecekteki gözlemlerin tahmini ; istatistik = açıklama.

İşte benim ilgi alanımdan (tıp) bir örnek: bir ilaç geliştirirken, bir ilaç durumunu en iyi açıklayan ve ilaçları hedef alarak hedefleyen gen (ler) i araştırıyoruz. Bunun için statistis kullanıyoruz. Buna karşılık, teşhis testleri geliştirilirken, örneğin ilacın bir hastaya yardım edip etmeyeceğini tahmin ederken, amaç, birçok gen içermesi ve anlaşılması için çok karmaşık olsa bile, kesinlikle gelecekteki sonucun en iyi tahmincisini bulmaktır. Bu amaçla makine öğrenimini kullanıyoruz. Yayınlanan çok sayıda yayınlanmış örnek vardır [1], [2], [3], [4], ilaç hedefinin varlığının tedavi sonucunun iyi bir öngörücüsü olmadığını, dolayısıyla ayrımı göstermektedir.

Buna dayanarak, hedefin gelecekteki / daha önce görülmeyen gözlemlerin sonucunu kesin olarak öngördüğü durumlarda, makinenin öğrendiğini söylemek doğru olur. Amaç belirli bir fenomeni anlıyorsa, o zaman makine öğrenmesi değil, istatistiksel çıkarımdır. Diğerlerinin de belirttiği gibi, söz konusu yönteme bakılmaksızın bu geçerlidir.

Sorunuzu cevaplamak için: tanımladığınız özel araştırmada, bilim adamları model doğrusallıklarını karşılaştırmak yerine farklı doğrusal regresyon modellerinde faktör rollerini (ağırlıkları) karşılaştırıyorlardı. Bu nedenle, çıkarım makinesinin öğrenmesi demek doğru değildir.

[1] Messersmith WA, Ahnen DJ. Kolorektal Kanserde EGFR'yi Hedefleme. New England Tıp Dergisi; 2008; 359; 17.

[2] Pogue-Geile KL ve diğ. NSABP Yargılamasında Adjuvan Trastuzumab'dan Fayda Derecesi Tahmin Edilmesi B-31. J Natl Cancer Inst; 2013; 105: 1782-1788.

[3] Pazdur R. FDA Vemurafenib. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . 3 Temmuz 2013 tarihinde güncellenmiştir.

[4] Ray T. İki ASCO Çalışması, NSCLC İlaç Denemelerinde MET Sinyalleşmesinin Tahmini Belirteç Olarak Kullanılmasının Zorluğunu Göstermektedir. GenomeWeb, 11 Haziran 2014

Doğrusal regresyon makinesi öğrenmesi olarak adlandırmak faydalı olabilir, çünkü bunu yapmak genelde probleminizi nasıl çözeceğinizle ilgili birkaç önemli şey anlamına gelir:

1. Açıklayıcı değişkenlerin arkasındaki nedensel varsayımları ve önceki teoriyi kontrol etmenin gerekli olmadığına karar verdiniz. Modelinizin açıklamayı değil, öngörmeyi istediğini gösterir. Bu, örneğin, anahtar kelimelere dayalı e-posta spam'lerini tahmin etmek gibi pek çok ayar için oldukça uygundur. Kelimelerin spam'i öngördüğü pek fazla literatür yoktur ve her kelimenin teorik önemi ile düşünmenin bir anlamı yoktur.
2. Değişken önemini kontrol etmediniz veya p-değerleri kullanmadınız, ancak bunun yerine, örnek dışı öngörücü performansı değerlendirmek için bir bekleme setini veya çapraz onaylamayı seçtiniz. Bu, e-posta spam örneğine döndüğünüzde gerçekten önemsediğiniz tek şey, eğer önemsediğiniz tek şey spam'i etkili bir şekilde öngören bir model üretiyorsa, geleneksel önemlilik testlerini geçemeyen değişkenleri dahil etme pahasına olsa bile.

Bununla birlikte, modeliniz tahmin etmekten daha fazla açıklamayı amaçlıyorsa ve modelinizin teorik nedensel varsayımlarını vb. Sıkı bir şekilde kontrol ediyorsanız, evet, makine öğrenmesi olarak adlandırmak oldukça saçma.

Kuşkusuz, bu sorunun herhangi bir cevabı, nesnel gerçeğe göre daha fazla fikirdir, ancak cevabın neden asla olmadığını düşündüğümün mantığını ortaya koymaya çalışacağım . Herhangi bir makine öğrenme uzmanı veya öğretmeni olarak adlandırılan herhangi biri, yalnızca bu gibi doğrusal gerilemeyi temsil ederek cehaletlerini ortaya çıkarır.

Akademik disiplinlerin tasviri, toplulukların tasvip edilmesi yöntemlerinden daha fazladır. Bilimsel disiplinler, her zaman disiplinler arası yöntemleri ödünç alır. Ayrıca, 19. yüzyılda (doğrusal gerileme geliştirildiğinde) ve bundan önce, bilimsel disiplinler bugün olduğu gibi açıkça tanımlanmamıştır. Bu nedenle, özellikle 19. yüzyılda veya öncesinde yöntemler geliştirildiğinde, onları belirli bir disipline atamakta dikkatli olmalıyız.

Söylendiği gibi, bir disiplinin tarihine bakılabilir ve makul olan, belirli yöntemlerin bir disipline veya başka birine ait olduğu sonucuna varılabilir. Bugün hiç kimse, hesaplamanın fizik alanına ait olduğunu söyleyemez, matematiğin mucitlerinden biri olan Newton kesinlikle fiziğe uygulamaya çalışıyordu. Matematik, açıkça fizik değil, matematik disipline aittir. Bunun nedeni, hesabın, fizik bağlamı dışında tamamen kullanılabilecek genel bir matematiksel yöntem olmasıdır.

Aynı gerekçeyle, doğrusal regresyon, genel olarak makinenin öğrenmesi bağlamında bir modele verinin basit bir örnek olarak kullanılmasına rağmen, istatistik disipline aittir. Analizin fizik bağlamı dışında da kullanılması gibi doğrusal regresyon makine öğrenmesi bağlamı dışında da kullanılabilir (ve kullanılır).

Makine öğrenimi öğretmenleri , modern makine öğrenmesi nosyonunun ortaya çıkmasından çok önce 19. yüzyıl sonundan beri doğrusal regresyonun kullanıldığını belirtmek akıllıca olacaktır . Ayrıca, makine öğrenmesinin olasılık ve istatistikten ve ayrıca diğer disiplinlerden (örneğin bilgi teorisi) gelen birçok kavramı kullandığını vurgulamaları gerekir. Bununla birlikte, bu kavramların kendisi makine öğrenmesini veya makine öğrenmesinin bir "algoritmasını" temsil etmemektedir.

Makine, Aptal!

Ne istatistikçi ne de Büyük Veri (TM) uzmanı değilim. Ancak, temel ayrımın “makine öğrenmesi” nin “makine” gerektirdiğini söyleyebilirim. Özellikle, ajansı ima eder . Sonuç, bir insan tarafından yavaşça tüketilmeyecektir. Aksine, sonuç, otomatik bir sistemin performansını geliştirdiği kapalı bir çevrime girdi olacaktır.

Kapalı sistem

Bu, Sean Easter'ın cevabına çok uygun, ancak sadece ticari uygulamalarda, bir makinenin sonuçlara baktığını ve bunlara göre hareket ettiğini vurgulamak istiyorum . Klasik bir örnek Netflix Ödülünün hedefi olan CineMatch algoritmasıdır. Bir insan CineMatch'in çıktısına bakabilir ve film izleyiciler hakkında ilginç özellikler öğrenebilir. Ancak var olmasının nedeni bu değil. CineMatch’in amacı, Netflix’in bulunduğu bir mekanizma sağlamaktır. sunucularının müşterilere zevk alacakları filmler önerebilecekleri . İstatistiksel modelin çıktısı, bir kısmı CineMatch'in tavsiyesi üzerine seçilen, filmleri derecelendiren müşteriler olarak daha fazla girdi üreten danışman hizmetine giriyor.

Sistemi aç

Öte yandan, eğer bir araştırmacı diğer insanlara sunumunda sergilenen istatistiksel sonuçlar üretmek için bir algoritma kullanıyorsa, o zaman araştırmacı en kararıyla makine öğrenmesiyle meşgul olmaz . Bu, açıkça benim için, insan öğrenmesidir . Analiz, bir makine tarafından gerçekleştirilir, ancak kendi başına öğrenmeyi yapan bir makine değildir . Şimdi, bir insan beyninin tüm örnek girdilerini deneyimlemediği ve istatistiksel sonuçları "biyolojik olarak" elde ettiği ölçüde "makine öğreniyor". Ama ben buna "istatistik" derdim çünkü sahadakiler icat edildiğinden beri istatistikçilerin yaptığı tam olarak bu.

Sonuç

Böylece şu soruyu sorarak cevap verdim: "Sonuçları kim tüketiyor?" Cevap: "insanlar" ise, o zaman "istatistik". Cevap: "yazılım" ise, "makine öğrenmesi" demektir. Ve “yazılım sonuçları tüketiyor” dediğimizde, daha sonra alınması için bir yerde sakladığı anlamına gelmiyor. Sonuçların belirlediği bir davranışı kapalı bir döngüde gerçekleştirdiğini kastediyoruz .

Bence, bir makine bazı verileri kullanarak bir modelin parametrelerini gösterecek şekilde programlandığında, makine öğrenmesinden söz edilebilir.

Makine tarafından doğrusal bir regresyon yapılırsa, bu nedenle nitelendirir.

Elle yapılırsa, o zaman yapmaz.

Bazı ajanların (Excel gibi) ya da yinelemeli gelişmelerin (yukarıda Sean Easter'ın önerdiği gibi) yaygınlığına dayanan tanımlar , bir şekilde onu istatistiklerden ayırmaya çalışarak ya da sonuçlarla ne yapılacağına bağlı olarak , bence , sonuçların tutarsız olduğunu kanıtlayacaktır.