Bayesian: "Merhaba, Makine Öğrenicisi!"
Frequentist: "Merhaba, Makine Öğrenicisi!"
Makine Öğrenimi: "Sizlerin işinizde iyi olduğunu duydum. İşte bazı veriler."
F: "Evet, bir model yazalım ve sonra MLE'yi hesaplayalım."
n−1n
F: “Ah evet, hatırlattığın için teşekkürler. Sık sık MLE'yi her şey için kullanmam gerektiğini düşünüyorum, ancak tarafsız tahmincilerle ilgileniyorum ”.
ML: "Eh, bu felsefeğin nesi var? Bana yardımcı olur mu?"
÷(n−1)
ML: "Peki, neye önem veriyorsun?"
F: "Değerlendirme"
ML: "Bunun sesini seviyorum."
θθθ
ML: “Kulağa harika geliyor! Görünüşe göre frekansçılar pragmatik insanlar. Her kara kutuyu sonuçlarına göre yargılıyorsunuz. Değerlendirme çok önemli.”
F: "Gerçekten! Sizler de benzer bir yaklaşım benimsem anlıyorum. Çapraz doğrulama veya başka bir şey? Ama bu bana karışık geliyor."
ML: "Dağınık mı?"
F: "Tahmin edicinizi gerçek veriler üzerinde test etme fikri benim için tehlikeli görünüyor. Kullandığınız ampirik verilerde her türlü sorun olabilir ve değerlendirme için kararlaştırdığımız modele göre davranmayabilir."
θ
F: "Evet. Yönteminiz değerlendirmede kullandığınız bir veri setinde (tren ve test verilerinin bulunduğu veri kümesi) çalışmış olsa da, madenin her zaman çalışacağını kanıtlayabilirim."
ML: "Tüm veri kümeleri için mi?"
F: "Hayır"
ML: "Yani benim yöntemim bir veri setinde çapraz doğrulandı. Sizinkini herhangi bir gerçek veri setinde test etmediniz mi?"
F: "Doğru."
ML: “Bu beni o zaman öne çıkardı! Benim yöntemim sizinkinden daha iyi. O zamanın% 90'ını kanseri tahmin ediyor. 'Kanıtınız' ancak tüm veri seti sizin varsaydığınız modele göre davranırsa geçerlidir.”
F: "Emm, evet sanırım."
θ
F: "Doğru. Veriler gerçekten Normal (veya her neyse) tanımlanmadığı sürece, kanıtım işe yaramaz."
ML: “Yani benim değerlendirmem daha güvenilir ve kapsamlı mı? Sadece şimdiye kadar denediğim veri setleri üzerinde çalışıyor, ama en azından gerçek veri setleri, siğiller ve hepsi. Muhafazakâr olduğunu iddia etmeye çalışıyordun. 've' kapsamlı 've model kontrolü ve benzeri konularla ilgilendiğinizi. "
B: (araya giriyor) "Hey millet, Rahatsız ettiğim için özür dilerim. Belki başka meseleleri göstermek için adım atıp işleri dengelemek isterdim, ama sık sık meslektaşım kaçakçılığı izlemeyi çok seviyorum."
F: "Woah!"
ML: "Tamam, çocuklar. Her şey değerlendirme ile ilgiliydi. Bir tahminci kara bir kutu. Veriler içeri giriyor, veriler çıkıyor. Değerlendiricinin nasıl performans gösterdiğine bağlı olarak bir tahminciyi onaylıyor veya onaylamıyoruz." kullanılan 'tarif' veya 'tasarım ilkeleri' hakkında.
F: "Evet. Ancak hangi değerlendirmelerin önemli olduğu konusunda çok farklı fikirlerimiz var. ML gerçek veriler üzerinde eğitim ve test yapacak. Oysa daha genel bir değerlendirme yapacağım (çünkü genel olarak uygulanabilir bir kanıt içeriyor) ve ayrıca daha sınırlıdır (çünkü veri kümenizin değerlendirmemi tasarlarken kullandığım modelleme varsayımlarından gerçekten çekilip çekilmediğini bilmiyorum.) "
ML: "Hangi değerlendirmeyi kullanıyorsun, B?"
F: (araya giriyor) “Hey. Beni güldürme. Hiçbir şeyi değerlendirmiyor. Sadece öznel inançlarını kullanıyor ve onunla çalışıyor. Ya da bir şey.”
B: “Yaygın yorum. Ama Bayesianizmi tercih edilen değerlendirmelerle tanımlamak da mümkün. O zaman, hiçbirimizin kara kutuda ne olduğunu umursamayacağımız fikrini kullanabiliriz, sadece değerlendirmenin farklı yollarını önemsiyoruz.”
B devam ediyor: "Klasik örnek: Tıbbi test. Kan testinin sonucu ya Olumlu ya da Olumsuzdur. Bir sıklıkta, Sağlıklı insanlara, hangi oranın Olumsuz bir sonuç elde edeceği ile ilgilenilir. Olumlu Olurlar. Sık görüşmeci, bunları değerlendirilen her kan testi yöntemi için hesaplar ve ardından en iyi puan alan testi kullanmamızı önerir. "
F: "Kesinlikle. Daha fazla ne istersin?"
B: “Olumlu bir test sonucu olan kişiler hakkında ne düşünüyorsunuz? 'Olumlu bir sonuç alanların, ne kadarının hasta olacağını' bilmek isteyeceklerdir? ve 'Olumsuz sonuç alanların sayısı, Sağlıklı olan nedir?' "
ML: “Ah evet, sorulacak daha iyi bir çift soru gibi görünüyor.”
F: "HERESY!"
B: "İşte yine başlıyoruz. Bunun nereye gittiğini sevmiyor."
ML: "Bu 'öncelikler' ile ilgili, değil mi?"
F: "EVIL"
B: “Her neyse, evet, haklısınız ML. Hasta olan Olumlu sonuçlu kişilerin oranını hesaplamak için iki şeyden birini yapmanız gerekir. Bir seçenek, testleri birçok insan üzerinde yapmak ve sadece gözlemlemektir. örneğin, bu oranlardan kaç tanesi hastalıktan dolayı ölmeye devam ediyor? ”
ML: "Benim yaptığım gibi geliyor. Trenle ve test et."
B: "Ancak bu sayıları önceden hesaplayabilirsiniz, eğer popülasyondaki Hastalık oranı hakkında bir varsayım yapmak istiyorsanız, frekansçı da hesaplamalarını önceden yapar ancak bu popülasyon düzeyindeki Hastalık oranını kullanmadan yapar."
F: "DAHA FAZLA TEMEL OLMAYAN DEĞERLENDİRME."
B: "Ah çeneni kapat. Daha önce öğrendin. ML, hiç kimse gibi asılsız varsayımlara düşkün olduğunu keşfetti. 'Kanıtlanmış' kapsama olasılıkların, tüm varsayımların ayağa kalkmadığı sürece gerçek dünyada birikmeyeceğini keşfetti. Benim önceki varsayımım neden bu kadar farklı? Bana deli diyorsunuz, ancak varsayımlarınızın muhafazakar, sağlam, varsayımsız bir analizin işi olduğunu iddia ediyorsunuz. "
B (devam ediyor): "Her neyse, ML dediğim gibi. Bayesanlar farklı türden bir değerlendirme istiyor. Gözlemlenen veriler üzerinde koşullandırma ve tahmin edicimizin doğruluğunu hesaplayarak buna daha fazla ilgi duyuyoruz. Bu değerlendirmeyi kullanmadan yapamayız. Ancak, ilginç olan şey, bu değerlendirme biçimine karar verdiğimizde ve önceliğimizi seçtiğimizde, uygun bir tahminci oluşturmak için otomatik bir 'reçete' ye sahip olduğumuzdur. Karmaşık bir model için tarafsız tahmin edici, uygun bir tahminci inşa etmek için otomatik bir yolu yok. "
ML: "Sen de öyle mi? Otomatik olarak bir tahminci yapabilir misin?"
B: "Evet. Tarafsız bir tahminci oluşturmak için otomatik bir yolum yok, çünkü önyargının bir tahmin ediciyi değerlendirmek için kötü bir yol olduğunu düşünüyorum. Fakat verdiğim koşullu veri tahminini verdim. Tahmin ediciyi tahmin ediciyi bana verme olasılığını bağlayabilir. ”
ML: “Her neyse, hadi özetleyelim. Hepimizin yöntemlerimizi değerlendirmek için farklı yolları var ve muhtemelen hangi yöntemlerin en iyi olduğu konusunda asla hemfikir olamayız.”
B: "Eh, bu adil değil. Onları karıştırabilir ve eşleştirebiliriz. Eğer herhangi birimiz iyi bir etiketlenmiş eğitim verisine sahipse, muhtemelen buna karşı test etmeliyiz. Ve genellikle hepimiz olabildiğince fazla varsayımları test etmeliyiz. 'kanıtlar da eğlenceli olabilir ve varsayılan bazı veri üretimi modellerinde performansı öngörür.'
F: "Evet beyler. Değerlendirme konusunda pragmatik olalım. Ve aslında, sonsuz örneklem özelliklerine takıntılı olmayı bırakacağım. Bilim insanlarından bana sonsuz örnek vermelerini rica ediyorum, ama hala yapmadılar. benim için sonlu örneklere tekrar odaklanmamın zamanı geldi. "
ML: "Son bir sorumuz var. Yöntemlerimizi nasıl değerlendirebileceğimize , yöntemlerimizi nasıl yaratacağımıza dair çok şey tartıştık ."
B: “Ah. Daha erken yaşta başladığım gibi, biz Bayezyalılar daha güçlü bir genel yönteme sahibiz. Karmaşık olabilir, ancak posteriorumuzdan örnek alacağımız bir tür algoritma (belki de saf bir MCMC şekli) yazabiliriz. "
F (araya girdi): “Ancak önyargılı olabilir.”
B: "Öyleyse yöntemleriniz olabilir. Size MLE'nin önyargılı olduğunu hatırlatmama gerek var mı? Bazen, tarafsız tahmin edicileri bulmakta büyük zorluk çekiyorsunuz ve hatta ne zaman aptal bir tahminciniz olsa bile (gerçekten karmaşık bir model için) sapma negatif. Ve siz buna tarafsız diyorsunuz. Tarafsız, evet. Ama faydalı, hayır! "
ML: "Tamam beyler. Tekrar bağırıyorsunuz. Size bir soru sormama izin verin. F. İkiniz de aynı sorun üzerinde çalışırken, yönteminizin önyargısını B'nin önyargısıyla karşılaştırdınız mı?"
F: “Evet. Aslında itiraf etmekten nefret ediyorum ama B'nin yaklaşımı bazen tahmin edicimden daha düşük önyargıya ve MSE'ye sahip!”
ML: "Buradaki ders, değerlendirmeye biraz katılmamakla birlikte, hiçbirimizin istediğimiz özelliklere sahip tahmin ediciyi nasıl oluşturacağımız konusunda tekelimiz olmadığı" dır.
B: "Evet, birbirimizin çalışmasını biraz daha okumalıyız. Tahminciler için birbirimize ilham verebiliriz. Diğerlerinin tahmincilerinin kendi başımıza sorunlarımızla harika çalıştığını görebiliriz."
F: "Ve önyargıya ilişkin takıntıyı da bırakmalıyım. Tarafsız bir tahmincinin saçma sapması olabilir. Tahmin edeceğimiz seçimler ve tahmincilerimizde görmek istediklerimiz için hepimizin 'sorumluluk alması gerekiyor'. Bir felsefenin ardında duramayız. Yapabileceğiniz tüm değerlendirmeleri deneyin. Ve tahminciler için yeni fikirler edinmek için Bayesian literatürüne bakmaya devam edeceğim! "
B: “Aslında birçok insan kendi felsefesinin ne olduğunu gerçekten bilmiyor. Kendimden bile emin değilim. Eğer bir Bayesian tarifi kullanırsam ve sonra da güzel bir teorik sonucu kanıtlarsam, bu ben demek değil. Bir frekansçı mı? Bir frekansçı performansla ilgili yukarıdaki kanıtlara önem veriyor, yemek tarifleri umursamıyor.Ayrıca bazı eğitim ve testler yaparsam (ya da aynı zamanda), bu benim makine öğrenen olduğum anlamına mı geliyor? "
ML: “Öyle görünüyor ki, o zaman hepimiz oldukça benzeriz.