Veri kümesinin ne zaman sınıflandırılamadığını söyleyebiliriz?

Birçok kez üzerinde gerçekten hiçbir sınıflandırma yapamadığım bir veri kümesini analiz ettim. Bir sınıflandırıcı alıp alamayacağımı görmek için genellikle aşağıdaki adımları kullandım:

1. Sayısal değerlere karşı etiket kutu grafikleri oluşturun.
2. Sınıfların ayrılabilir olup olmadığını görmek için boyutsallığı 2 veya 3'e düşürün, bazen LDA'yı da denedim.
3. SVM'lere ve Rastgele Ormanlara zorla uymaya çalışın ve özelliklerin herhangi bir anlam ifade edip etmediğini görmek için özellik önemine bakın.
4. Sınıf dengesizliğinin sorun olup olmadığını kontrol etmek için yetersiz örnekleme ve aşırı örnekleme gibi sınıfların ve tekniklerin dengesini değiştirmeye çalışın.

Düşünebildiğim, ancak denemediğim birçok yaklaşım var. Bazen bu özelliklerin iyi olmadığını ve tahmin etmeye çalıştığımız etiketle hiç ilgili olmadığını biliyorum. Daha sonra bu iş sezgisini egzersize son vermek için kullanıyorum, daha iyi özelliklere veya tamamen farklı etiketlere ihtiyacımız olduğu sonucuna varıyorum.

Sorum, bir Veri Bilimcisi'nin bu özelliklerle sınıflandırmanın yapılamayacağını nasıl bildirdiği. Bunu bildirmenin veya önce verileri farklı algoritmalara sığdırmanın ve doğrulama metriğine bakmak en iyi seçenek olarak herhangi bir istatistiksel yol var mı?

Verilerinize bağlıdır. İnsan seviyesinde hata denen bir şey var. Basılı kitapları okumak gibi görevleri varsayalım, insanlar okumak için uğraşmazlar ve baskı kalitesinin kötü olmasından dolayı bir hata yapmak olmayabilir. Elle yazılmış el yazmaları okumak gibi durumlarda, yazarın yazı tipinin okuyucuya garip olması durumunda tüm kelimeleri anlamamak çok şey olabilir. İlk durumda, insan seviyesi hatası çok düşüktür ve öğrenme algoritmaları aynı performansa sahip olabilir, ancak ikinci örnek, bazı durumlarda insan seviyesi hatasının çok yüksek ve olağan bir şekilde (aynı şeyi kullanırsanız) insanlar gibi özellikler) öğrenme algoritmanız çok fazla hata oranına sahip olacaktır.

İstatistiksel öğrenmede, Bayes Errorsınıfların dağılımı çakıştığında hata oranı büyüktür. özellikleri değiştirilmeden, mevcut dağıtımların Bayes hatası en iyi performanstır ve hiç azaltılamaz.

Ayrıca burada okumanızı da öneririm . Atanan özelliklerle ilgili çok sayıda Bayes hatasıyla ilgili sorunlar , bu özelliklerin alanında sınıflandırılamaz olarak kabul edilir . Başka bir örnek olarak, ışıkları açık olan arabaları sınıflandırmak istediğinizi varsayalım. Bunu sabah yapmaya çalışırsanız, kendinizde çok fazla hata olabilir ve öğrenme algoritmasını eğitmek için aynı görüntüleri kullanırsanız, bu da olabilir.

Ayrıca sınıflarınızın dağılımını değiştirmemenizi tavsiye ederim. Bu gibi durumlarda, sınıra yakın sınıflandırıcının sonucu tamamen rastgele olacaktır. Makine öğrenme algoritmanızı eğitmek için verilerin dağılımı değiştirilmemeli ve gerçek durumda olduğu gibi olmalıdır.

Bir sınıftan örnek eleman ve diğer sınıftan örnek eleman alın. Bu iki elemanın tam olarak aynı özellik vektörüne sahip olması mümkün müdür? O Eğer şimdiye sonra ne iki sınıfları (sınıflandırma kararı verilen bir elemanı için özellik vektörü tamamen dayanır beri) mevcut özellik vektörleri kullanılarak tamamen ayrılabilen değildir.

Öte yandan, bir sınıftaki * every "öğesinin diğer sınıfta, iki öğenin aynı özellik vektörlerine sahip olacağı şekilde karşılık gelen bir öğesi varsa, iki sınıf geçerli özellik vektörleriniz kullanılarak ayırt edilemez.

Ayrıca, bu koşul yalnızca bazı öğeleriniz için geçerliyse, diğerleri için geçerli değilse, aradaki bir yerdesiniz ve bunu, bir sınıflandırıcının mevcut özellik kümenizi kullanarak ne kadar iyi performans göstermesini umabileceğinizi ölçmek için kullanabilirsiniz.

Tüm bu değerlendirmeler, daha fazla özellik ayıklamanız gereken değişken derecelerde tartışmak için kullanılabilir.