Sınıf Olasılıklarını Tahmin Etmek İçin Makine Öğrenmesi

Örneklerin iki sınıftan birine ait olma olasılıklarını ortaya çıkaran sınıflandırıcılar arıyorum.

Lojistik regresyon ve saf Bayes'i biliyorum, ama bana benzer şekilde çalışan diğerlerinden bahseder misiniz? Yani, örneklerin ait olduğu sınıfları değil, örneklerin belirli bir sınıfa uyma olasılığını tahmin eden sınıflandırıcılar?

Bu farklı sınıflandırıcıların (lojistik regresyon ve naif Bayes dahil) avantajları ve dezavantajları hakkında paylaşabileceğiniz herhangi bir düşünce için bonus puanlar. Örneğin, çok sınıflı sınıflandırma için bazıları daha mı iyidir?

SVM, lojistik regresyon ile yakından ilişkilidir ve hiper düzlemle olan mesafeye (her bir noktanın puanı) dayalı olarak olasılıkları tahmin etmek için de kullanılabilir. Bunu bir şekilde skor -> olasılık haritalaması yaparak yaparsınız, ki bu problem tek boyutlu olduğu için nispeten kolaydır. Bunun bir yolu verilere bir S-eğrisi (örneğin lojistik eğrisi veya eğimi) yerleştirmektir. Diğer bir yol, verilere daha genel bir kümülatif dağılım fonksiyonuna uyması için izotonik regresyon kullanmaktır.

SVM dışında, derin ağlar gibi gradyan tabanlı yöntemler kullanarak sığabileceğiniz herhangi bir yöntem için uygun bir kayıp işlevi kullanabilirsiniz.

Sınıflandırıcıları tasarlarken bugünlerde olasılıkları göz önünde bulundurmak bir şey değildir. Sınıflandırma performansından dikkati çeken bir ekstradır, bu yüzden atılır. Bununla birlikte, herhangi bir ikili sınıflandırıcıyı, " "Langford ve Zadrozny'nin azaltılması".

Başka bir olasılık, çapraz entropiyi sigmoidal çıkış üniteleri ile fonksiyonel olarak kullanırsanız sinir ağlarıdır. Bu, aradığınız tahminleri sağlayacaktır.

Sinir ağları ve lojistik regresyon, ayrımcı sınıflandırıcılardır, yani eğitim verileri üzerindeki koşullu dağılımı en üst düzeye çıkarmaya çalışırlar. Asimptotik olarak, sonsuz örneklerin sınırında, her iki tahmin de aynı sınıra yaklaşır.

Bu yazıda bu soruya ilişkin ayrıntılı bir analiz bulacaksınız . Hazır fikir, üretken modelin daha yüksek bir asimtotik hataya sahip olmasına rağmen, bu asimtotik hataya ayrımcı modelden çok daha hızlı yaklaşabileceğidir. Bu nedenle, hangisini alacağınız probleminize, eldeki verilere ve özel gereksinimlerinize bağlıdır.

Son olarak, koşullu olasılık tahminlerini kararları dayandıracağınız mutlak bir puan olarak değerlendirmek (eğer peşinde olduğunuz buysa) genel olarak fazla bir anlam ifade etmez. Önemli olan, somut bir örnek verildiğinde, sınıflandırıcı tarafından verilen en iyi aday sınıflarını dikkate almak ve ilişkili olasılıkları karşılaştırmaktır. En iyi iki puan arasındaki fark yüksekse, sınıflandırıcının cevabı hakkında çok emin olduğu anlamına gelir (mutlaka doğru değildir).

Çok fazla var - ve en iyi sonuç verilere bağlıdır. Hile yapmanın birçok yolu da vardır - örneğin, herhangi bir sınıflandırıcının çıktılarında, bir puanın bazı benzerini veren bir olasılık kalibrasyonu yapabilirsiniz (yani: ağırlık vektörü ve girdi arasında bir nokta ürün). Bunun en yaygın örneğine Platt'ın ölçeklenmesi denir.

Altta yatan modelin şekli de vardır. Verilerinizle polinom etkileşimleriniz varsa, vanilya lojistik regresyonu bunu iyi bir şekilde modelleyemez. Ancak, modelin verilere daha iyi uyması için lojistik regresyonun çekirdeklenmiş bir sürümünü kullanabilirsiniz. Bu aynı zamanda olasılık çıktılarının "iyiliğini" arttırır, çünkü siz de sınıflandırıcının doğruluğunu arttırırsınız.

Genel olarak, olasılık veren çoğu model genellikle bir lojistik işlev kullanır, bu yüzden karşılaştırmak zor olabilir. Sadece pratikte iyi çalışma eğilimindedir, Bayes ağları bir alternatiftir. Naive Bayes, olasılıklarının iyi olması için çok basit bir varsayım yapar - ve bu, makul büyüklükteki herhangi bir veri setinde kolayca gözlemlenir.

Sonunda, verileri daha iyi temsil edebilecek modeli seçerek olasılık tahminlerinizin kalitesini artırmak genellikle daha kolaydır. Bu anlamda, olasılıkları nasıl elde ettiğiniz çok önemli değil. Lojistik regresyon ile% 70 ve bir SVM ile% 98 doğruluk elde ederseniz - sadece "tam güven" olasılığı vermek, gerçekten olasılık olmasa bile, çoğu puanlama yöntemiyle sonuçları "daha iyi" yapacaktır (ve daha önce bahsettiğim kalibrasyonu daha iyi hale getirebilirsiniz).

Doğru bir sınıflandırıcı alamama bağlamındaki aynı soru daha ilginç, ancak böyle bir senaryoda anyonların çalıştığından / karşılaştırıldığından emin değilim.