Test: Sınıflandırıcıya karar sınırını söyleyin

Aşağıdaki 6 karar sınırı verilmiştir. Karar sınırları violett çizgileridir. Noktalar ve çarpılar iki farklı veri kümesidir. Hangisinin bir olduğuna karar vermeliyiz:

• Doğrusal SVM
• Çekirdek SVM (2. sıra polinom çekirdeği)
• Algılayıcı
• Lojistik regresyon
• Sinir Ağı (10 düzeltilmiş doğrusal birim içeren 1 gizli katman)
• Sinir Ağı (10 tanh birimli 1 gizli katman)

Çözümlere sahip olmak istiyorum. Ama daha da önemlisi, farklılıkları anlayın. Örneğin c) doğrusal bir SVM olduğunu söyleyebilirim. Karar sınırı doğrusaldır. Ancak, doğrusal SVM karar sınırının koordinatlarını da homojenize edebiliriz. d) Polinom sırası 2 olduğu için çekirdeklenmiş SVM. f) "pürüzlü" kenarlar nedeniyle sinir ağını düzeltti. Belki a) lojistik regresyon: Aynı zamanda doğrusal sınıflandırıcıdır, fakat olasılıklara dayanır.

Gerçekten bu soru gibi!

Akla gelen ilk şey doğrusal ve doğrusal olmayan sınıflandırıcılar arasındaki ayrımdır. Üç sınıflandırıcı doğrusaldır (doğrusal svm, algılayıcı ve lojistik regresyon) ve üç parsel doğrusal bir karar sınırı ( A , B , C ) göstermektedir. Yani onlarla başlayalım.

Doğrusal

En göze çarpan doğrusal çizim B eğimidir, çünkü eğimli bir çizgiye sahiptir. Bu, lojistik regresyon ve svm için tuhaftır, çünkü düz bir çizgi (yani noktalardan (tüm)) uzakta olmak suretiyle kayıp fonksiyonlarını daha fazla geliştirebilirler. Dolayısıyla, çizim B algılayıcıdır. Algılayıcı çıkış 0 veya 1 olduğundan, bir sınıfı diğerinden ayıran tüm çözümler eşit derecede iyidir. Bu yüzden daha fazla gelişmiyor.

_A) grafiği ile C arasındaki fark daha belirgindir. Karar sınır arsa içinde biraz daha düşüktür A . Lojistik regresyonun kayıp fonksiyonu tüm noktalar belirlenirken sabit sayıda destek vektörü olarak bir SVM. Mavi noktalardan daha fazla kırmızı haç olduğu için lojistik regresyon kırmızı noktalardan mavi noktalardan daha fazla kaçınır. Doğrusal SVM, mavi destek vektörlerinden olduğu kadar kırmızı destek vektörlerinden uzakta olmaya çalışır. İşte bu yüzden A grafiği lojistik regresyonun karar sınırıdır ve C grafiği doğrusal bir SVM kullanılarak yapılır.

Doğrusal olmayan

Doğrusal olmayan grafiklerle ve sınıflandırıcılarla devam edelim. En keskin sınırlara sahip olduğu için F planının muhtemelen ReLu NN olduğunu gözlemlemenize katılıyorum . Bir ReLu ünitesi çünkü aktivasyon 0'ı aşarsa bir kerede etkinleştirilir ve bu da çıkış ünitesinin farklı bir doğrusal çizgiyi takip etmesine neden olur. Gerçekten çok iyi bakarsanız, hatta yaklaşık 8 yön değişikliğini tespit edebilirsiniz, böylece muhtemelen 2 ünitenin nihai sonuç üzerinde çok az etkisi vardır. Yani F çizimi ReLu NN'dir.

Son iki kişi hakkında pek emin değilim. Hem tanh NN hem de polinom çekirdekli SVM'nin birden fazla sınırı olabilir. Parsel D açıkçası kötü sınıflandırılır. Bir tanh NN, eğrileri farklı bükerek ve dış bölgeye daha fazla mavi veya kırmızı nokta koyarak bu durumu iyileştirebilir. Ancak, bu arsa biraz garip. Sanırım sol üst kısım kırmızı, sağ alt kısım mavi olarak sınıflandırıldı. Fakat orta kısım nasıl sınıflandırılır? Kırmızı veya mavi olmalıdır, ancak daha sonra karar sınırlarından biri çizilmemelidir. Dolayısıyla tek seçenek, dış kısımların bir renk, iç kısmın diğer renk olarak sınıflandırılmasıdır. Bu garip ve gerçekten kötü. Bu yüzden bundan emin değilim.

E çizimine bakalım . Hem kavisli hem de düz çizgilere sahiptir. Derece 2 çekirdekli SVM için, kare mesafenin kademeli olarak 2 sınıftan 1'ini desteklediği için düz çizgi karar sınırına sahip olmak zordur (imkansız olana yakın). Tanh aktivasyon fonksiyonları, gizli durum 0'lardan ve 1'lerden oluşacak şekilde doygun hale gelebilir. O zaman sadece 1 ünite daha sonra durumunu 5 olarak değiştirir. Doğrusal bir karar sınırı elde edebilirsiniz. Yani E grafiğinin tanh NN olduğunu ve bu nedenle D grafiğinin çekirdekleştirilmiş bir SVM olduğunu söyleyebilirim. Zavallı eski SVM için kötü olsa.

Sonuçlar

A - Lojistik Regresyon
B - Perceptron
C - Doğrusal SVM
D - Çekirdeklenmiş SVM (2. sıra polinom çekirdeği)
E - Sinir Ağı (10 tanh üniteli 1 gizli katman)
F - Sinir Ağı (10 düzeltilmiş doğrusal üniteli 1 gizli katman)