Makine Öğrenmesinde dengesiz veriler ne zaman bir problemdir?

Lojistik regresyon , SVM , karar ağaçları , torbalama ve benzeri pek çok başka soru kullanırken dengesiz veriler hakkında çoktan sorularımız vardı , bu da onu çok popüler bir konu haline getirdi! Maalesef, soruların her biri algoritmaya özgü görünüyor ve dengesiz verilerle ilgilenmek için genel bir kılavuz bulamadım.

Dengesiz verilerle ilgilenen Marc Claesen tarafından verilen cevaplardan birinden alıntı

(...) büyük ölçüde öğrenme yöntemine bağlıdır. Çoğu genel amaçlı yaklaşım, bununla baş etmenin bir (veya birkaç) yoluna sahiptir.

Ancak dengesiz veriler hakkında tam olarak ne zaman endişelenmeliyiz? Hangi algoritmalar daha çok etkilenir ve hangileri ile başa çıkabilir? Verileri dengelemek için hangi algoritmalara ihtiyacımız var? Algoritmaların her birini tartışmanın bunun gibi bir soru-cevap sitesinde imkansız olacağının farkındayım, bunun ne zaman sorun olacağı konusunda genel bir rehber arıyorum.

Doğrudan bir cevap değil, ancak istatistiksel literatürde, dengesiz verilere karşı önyargının bazılarının tarihsel köklere sahip olduğuna dikkat çekmek önemlidir.

Birçok klasik model, özellikle deneysel tasarımla yakından ilgili olan ANOVA gibi istatistiksel yöntemlerin geliştirilmesi için geleneksel / orijinal bir motivasyon yöntemi olan, dengeli veri varsayımı altında düzgünce sadeleştirilir.

Fakat istatistiksel / olasılıksal aritmetik dengesiz verilerle oldukça çirkin, çok hızlı bir şekilde olur. Bilgisayarların yaygın olarak benimsenmesinden önce, elle yapılan hesaplamalar o kadar genişti ki, dengesiz veriler üzerinde tahmin yapmak neredeyse imkansızdı.

Tabii ki, bilgisayarlar temel olarak bunu bir sorun haline getirmiştir. Benzer şekilde, büyük veri kümeleri üzerindeki modelleri tahmin edebilir, yüksek boyutlu optimizasyon problemlerini çözebilir ve hepsi elli yıl önce olduğu gibi fonksiyonel olarak imkansız olan analitik olarak etkilenemeyen ortak olasılık dağılımlarından örnekler alabiliriz.

Bu eski bir problem ve akademisyenler problem üzerinde çalışmak için çok zaman harcadılar ... bu arada, birçok uygulamalı problem bu araştırmayı geride bıraktı / engelledi, fakat eski alışkanlıklar zor ölüyor ...

Eklemek için düzenleyin:

Dışarı çıkmadığımı ve sadece şunu söylediğimi farkettim: dengesiz veri kullanımıyla ilgili düşük düzeyde bir sorun yok. Tecrübelerime göre, "dengesiz veriden kaçınma" tavsiyesi ya algoritmaya özgü ya da kalıtımsal bilgeliktir. Genel olarak, dengesiz verilerin iyi tanımlanmış bir model için kavramsal bir sorun teşkil etmediğini AdamO ile katılıyorum.

WLOG dengesizliğe odaklanarak, daha ayrıntılı bir "veri sparitesi" kavramı veya küçük hücre sayımı yerine tek bir faktörde odaklanabilirsiniz.

İstatistiksel analizlerde değil öğrenme odaklı, sık sık eğilimidir puanlarını kullanırken o benzer veya daha iyi güç sağladığı bulmak eşleşecek büyük gruba küçük bir grup. Bunun nedeni kısmen eşleşmenin, grup üyeliğinin belirleyicilerini “dengelemek” ve böylece kafa karıştırıcı etkilerini engellemek için ayarlamalar yapmak için benzer bir amaca hizmet etmesidir. Çok değişkenli bir analizde muhtemelen ayarlanacak karıştırıcı sayısının gerekçesi örneklem büyüklüğüne bağlıdır. Bazı kurallar, her 10 ila 20 gözlem için bir değişken olduğunu söyler. Dengesiz verilerde, doğal olarak verilerinizin yeterince büyük olduğuna inanırsınız, ancak daha nadir durumda olan az sayıda insanla: varyans enflasyonu gücü önemli ölçüde azaltır. Aslında, fazla ayar yaptınız.

Bu nedenle, en azından regresyonda (ama her koşulda şüpheleniyorum), dengesiz verilerle ilgili tek sorun, etkili bir şekilde küçük örneklem büyüklüğüne sahip olmanızdır . Herhangi bir yöntem daha nadir sınıftaki insan sayısına uygunsa, oran üyeliğinin dengesiz olması durumunda herhangi bir sorun olmamalıdır.

Dengesiz veriler yalnızca uygulamanıza bağlı olarak bir sorundur. Örneğin, verileriniz A'nın zamanın% 99.99'u olduğunu ve B zamanının% 0.01'i olduğunu gösterir ve algoritmanızın muhtemelen her zaman A olduğunu söyleyeceğiniz kesin bir sonuç tahmin etmeye çalışırsınız! Yöntemin% 99,99'dan daha iyi bir tahmin doğruluğu elde etmesi olası değildir. Bununla birlikte, birçok uygulamada sadece tahminin doğruluğu ile değil, B'nin bazen neden olduğu ile de ilgileniyoruz. Bu, dengesiz verilerin problem yarattığı yerdir. Çünkü yönteminizi% 99,99'dan daha iyi tahmin edebileceğine ikna etmek zordur. Yöntem doğru ama sorunuz için değil. Bu nedenle, dengesiz veriyi çözmek, temel olarak kasıtlı olarak, doğru sonuçlar yerine ilginç sonuçlar elde etmek için verilerinizi saptırıyor.

Genel olarak üç vaka vardır:

1. tamamen doğru tahminle ilgileniyorsanız ve verilerinizin güven verici olduğunu düşünüyorsunuz. Bu durumda hiç düzeltmek zorunda değilsiniz,% 99,99 oranında doğru tahminlerin şerefine bask :).

2. Tahminle ilgileniyorsunuz ama verileriniz adil bir örneklemden geliyor, ancak bir şekilde birçok gözlem kaybettiniz. Eğer gözlemleri tamamen rastgele bir şekilde kaybettiyseniz, hala iyisinizdir. Onları önyargılı bir şekilde kaybettiyseniz, ancak önyargılı olduğunu bilmiyorsanız, yeni verilere ihtiyacınız olacaktır. Ancak bu gözlemler sadece bir karakteristik temelde kaybedilirse. (örneğin, sonuçları A ve B olarak sıraladınız ancak başka bir şekilde değil, B'nin yarısını kaybettiniz) Ypu verilerinizi önyükleyebilir.

3. Doğru küresel tahminle ilgilenmiyorsunuz, ancak sadece nadir bir durumda. Bu durumda, verileri önyükleyerek veya diğer davaların yol verilerini atmaya yetecek veriye sahipseniz, bu vakanın verilerini şişirebilirsiniz. Bunun verilerinizi ve sonuçlarınızı önyargılı hale getirdiğine ve bu nedenle şansın ve bu tür sonuçların yanlış olduğuna dikkat edin!

Genelde hedefin ne olduğuna bağlıdır. Bazı hedefler, diğerlerinin yapmadığı dengesiz verilerden muzdariptir. Tüm genel tahmin yöntemleri bundan muzdarip çünkü aksi takdirde genel olarak korkunç sonuçlar verecektir.

İki sınıfımız olduğunu varsayalım:

• A , nüfusun% 99,99'unu temsil ediyor
• B , popülasyonun% 0.01'ini temsil eder

Nadir bir hastalık veya sahtekarlıktan etkilenen bireyler olabilen B sınıfı elementleri tanımlamakla ilgilendiğimizi varsayalım.

Sadece tahmin ederek A öğrenenler kayıp fonksiyonlarında yüksek puanlar alırlardı ve çok az yanlış sınıflandırılan elemanlar, iğnenin (bu durumda bir samanlıkta) sayısal olarak hareket etmeyebilirdi. Bu örnek, sınıf dengesizliği sorununu hafifletmek için "hileler" den birinin ardındaki sezgiyi getiriyor: maliyet işlevini değiştirmek.

Modeller sıfıra yakın hassasiyet ve bir özelliğe yakınlık gösterdiğinde, dengesiz verilerin bir sorun olduğunu hissediyorum. Bu makaledeki "Sorunu yok sayma" bölümündeki örneğe bakın .

Sorunların genellikle bir çözümü vardır. Yukarıda belirtilen numaraların yanı sıra, başka seçenekler de var . Bununla birlikte, bir bedeli var: model ve hesaplama karmaşıklığında bir artış.

Soru, hangi modellerin sıfıra yakın hassasiyete ve bir özelliğe yakınlığa yatkın olma ihtimalinin daha yüksek olduğunu soruyor. Bunun birkaç boyuta bağlı olduğunu hissediyorum:

• Her zamanki gibi daha az kapasite.
• Bazı maliyet fonksiyonları diğerlerinden daha fazla zorlanabilir: ortalama hata karesi (MSE) daha az maruz kalması, Huber - MSE yanlış sınıflandırılmış doğru daha sevimsiz olmalıdır B sınıfı elemanları.

Bunu düşünürseniz: Tamamen ayrılabilir, yüksek oranda dengesiz bir veri setinde, neredeyse her algoritma hatasız olarak çalışacaktır.

Bu nedenle, verideki gürültü sorunu daha fazladır ve belirli bir algoritmaya daha az bağlıdır. Ve hangi algoritmanın belirli bir gürültü türünü en iyi şekilde telafi ettiğini bilmiyorsunuz.

Sonunda sadece farklı yöntemler denemek ve çapraz doğrulama ile karar vermeniz gerekir.