Sınıflandırma problemlerinde sınıf ayrılabilirliğinin ölçüleri

11

Doğrusal ayrımcı öğrenicilerde sınıf ayrılığının iyi bir ölçüsünün bir örneği Fisher'in doğrusal ayrımcı oranıdır. Özellik kümelerinin hedef değişkenler arasında iyi bir sınıf ayrımı sağlayıp sağlamadığını belirlemek için başka yararlı metrikler var mı? Özellikle, hedef sınıfı ayırmayı en üst düzeye çıkarmak için iyi çok değişkenli girdi öznitelikleri bulmakla ilgileniyorum ve iyi ayrılırlık sağlayıp sağlamadıklarını hızlı bir şekilde belirlemek için doğrusal olmayan / parametrik olmayan bir ölçüme sahip olmak güzel olurdu.

— sıvazlama
kaynak

Ben Karhunen Loeve genişleme özellik çıkarma için sınıf bilgileri kullanımına izin hakkında okudum. Ayrıca, PCA'nın, küresel bir matris yerine ağırlıklı ortalama sınıf kovaryans matrislerini kullanma gibi uzantıları vardır. Bu bilgilerin yanı sıra, sorunuzun olası cevaplarıyla da ilgileniyorum.

— Zoran

1

Rastgele Ormanlardan Değişken Önem Ölçüleri (VIM'ler) aradığınız şey olabilir. Bunlardan ikisine kısa bir genel bakış bir makalede verilmiştir . Rastgele Orman Metodolojisine Genel Bakış ve Hesaplamalı Biyoloji ve Biyoinformatik Vurgulanan Pratik Rehberlik, Boulesteix ve ark.

Gini VIM'in fikri, rastgele bir ormanın bölme kriteri olarak belirli bir özelliği ne sıklıkta kullandığına dair bazı istatistikler elde etmenizdir. Bilgilendirici özellikler burada daha sık seçilir.

Permütasyon VIM RF-Sınıflandırıcının hatasız tahminleri arasında karşılaştırılır fikrine dayanır

orijinal veri kümesi ve
ONE özniteliği değerlerine izin verilen yapay bir veri kümesi.

Ortaya çıkan hata-tahmin-farkı önemli özellikler için büyük olacaktır.

Hatırladığım kadarıyla, VIM'ler özellikler arasındaki bağımlılıkları bulmak için de kullanılabilir.

— Damian
kaynak

0

En uygun özellikleri bulmak oldukça hesaplı olabilir. Mevcut çözümlerin ana kategorileri iki grupta toplanabilir: belirli bir sınıflandırıcıya (Sarmalayıcılar) bağlanma veya bazı kriterlere göre basit özellik sıralaması (Filtre yöntemleri).

Gereksinimlerinize bağlı olarak (hızlı / parametrik olmayan / doğrusal olmayan) muhtemelen Filtre yöntemlerinden adaylara ihtiyacınız vardır. Literatürde tarif edilenlerden birkaç örnek vardır . Örneğin Bilgi Kazancı - sınıfa göre bilgi kazancını ölçerek bir niteliğin değerini değerlendiren; veya Özellik ile sınıf arasındaki korelasyona dayanarak bir niteliğin değerini değerlendiren Korelasyon.

Sarma yöntemleri bir sınıflandırıcıya bağlanır ve ilgilenilen sınıflandırıcı için daha iyi bir özellik kümesine ulaşabilir. Doğası gereği (her yinelemede tam eğitim / test) hızlı veya parametrik olmayan olarak düşünülemezler, ancak doğrusal olmayan özellik ilişkileriyle (3. gereksiniminiz) ilgilenebilirler. Bir örnek, SVM'lere dayalı Yinelemeli Özellik Eliminasyonu olabilir, bu nedenle sınıflar arasındaki marjı en üst düzeye çıkarmayı ve özelliklerin doğrusal olmayan ilişkileriyle (doğrusal olmayan bir çekirdek kullanarak) ilgilenmeyi hedefler.

— iliasfl
kaynak