Sabit olmayan kategorik verilerle nasıl sınıflandırma yapabilirim?

Hem kategorik hem de sayısal verilerle bir sınıflandırma problemim var. Karşılaştığım sorun, kategorik verilerimin sabit olmaması, yani etiketini tahmin etmek istediğim yeni adayın önceden gözlemlenmeyen yeni bir kategoriye sahip olabileceği anlamına geliyor.

Örneğin, kategorik verilerim sexolsaydı female, mümkün olan tek etiket maleve otherne olursa olsun olurdu . Ancak, kategorik değişkenim, citytahmin etmeye çalıştığım kişinin sınıflandırıcısının hiç görmediği yeni bir şehre sahip olması olabilir.

Sınıflandırmayı bu terimlerle yapmanın bir yolu olup olmadığını veya bu yeni kategorik verileri dikkate alarak eğitimi tekrar yapmam gerekip gerekmediğini merak ediyorum.

Çok iyi bir soru; Aslında bu sorun bir süredir var ve henüz mükemmel çözümü bulamadım. Ancak deneyimlerimi paylaşmaktan mutluluk duyuyorum:

• Bir-sıcak kodlamadan mümkün olduğunca kaçının (yukarıda önerilenin aksine). Sebep, işe yaramayacağıdır. Tekli sıcak kodlama özelliklerine sahip bir model, yalnızca eğitim verilerinde tüm bu alt düzeyler mevcut olduğunda çalışır. Bir şekilde manuel olarak ayarlanmadığı sürece model tahmin yapamaz. Arama yaparsanız, birçok kişi verilerini tren / teste böldüğünde bu sorunla karşılaştı ve eğitim bölümünde belirli bir özelliğin bazı alt düzeyleriyle karşılaşılmadığını ve daha sonra testte tahmin yapamadığını göreceksiniz. Bir kenara, çok yüksek kardinal özelliklere sahipseniz (belki de 200 şehir adıyla şehriniz gibi), verilerinizin boyutsallığını gereksiz yere artıracaktır! Bazı nedenlerden ötürü bir sıcak kodlama yapmanız gerekebilir, bunları aklınızda bulundurun.

• Diğer Kodlama Yöntemlerini Kullanın . Belki de en azından hedef tabanlı kodlama, karma gibi bu konu için sağlam olan diğer yöntemler hakkında daha fazla bilgi edinmeyi deneyin (aşağıdaki bazı referanslara bakın). Python ile iseniz güzel bir paket teklif mant kodlama seçenekleri vardır. Diğer basit yöntemlerin genellikle iyi çalıştığını görünce şaşırabilirsiniz.

• Modelinizi yeniden eğitin . Teorik olarak, treninizi / setinizi öğrenirken aynı dağılıma sahip olmalıydı (çoğunlukla bu hedef dağılım olarak düşünülür, ancak değişkenler için de doğru olabilir). Şimdi yeni öğeler devreye girdiğinde, test (görünmeyen) veri dağıtımınız değişti. O zaman bu yeni şehirlerin hesaba katılması için modeli tekrar eğitmek en iyisidir .

• Yeni Eklenen Alt Kategorileri (ve en az sık olanları) Diğerlerine koyun . Teorik olarak daha önceki nokta doğru olmakla birlikte, test dağılımının (belirli bir kategorinin) çoğu durumda, örneğin çok az sayıda öğe, eğitim setindeki kategorilerin üstünde yer almasını büyük ölçüde değiştirmeyecektir. Belki de sizin durumunuzda olduğu gibi, şehir özelliğinde 100 şehre sahip olabilirsiniz ve zamanla çok az yeni şehir gelir. Ne düşünürdüm o kategorinin X-quantile edelim ve en az sıklıkla Diğerleri alt kategorisine koymak olacaktır . Yeni eklenen veri noktanızın çok az olduğunu varsayarsak, diğerlerine çok girecekgrubudur. Bunu yaparak kesinlikle bir ayrıntı düzeyi kaybedeceksiniz, ancak bir kez daha öğrenme noktası, sadece modelinizin eğitim verilerini öğrenmesi değil, en önemlisi görünmeyen veriler ve bu yeni eklenen kategoriler hakkında çok iyi genelleme yapabilmesidir. çok veri noktalarıysa, bunları tamamen Diğerleri grubunda gruplandırmak incitmez.

• Cat2Vec (NLP'den Word2Vec'ten ödünç alınmıştır) veya Benzerlik Kodlaması gibi Diğer Henüz Olgun Olmayan Çözümler . Bunlar, çok yeni olan kontrol kağıdı eski ve için github ve bir (Word2Vec dayanarak) Örneğin Kaggle içinde ve bu kağıdı ikincisi ve için uygulanması . Birincisinin fikri kategorileri vektörlere dönüştürmektir. Söylemek zorunda olduğum kadarıyla çalışmak gerçekten mantıklı, ama bunu kullanma konusunda hiçbir deneyimim yok. İkincisi, dirty_cat olarak adlandırılan , oldukça umut verici ve kullanımı kolay görünüyor. Test verilerinizde görünmeyen kardinal kategoriye sahip olmanın sağlam olup olmadığı benim için açık değil!

Not: İlk yorumda verilen coğrafi bir konuma şehir fikrinin gerçekten güzel olduğunu eklemek isterim ve aslında bunu yapmanıza izin veren birçok Python API'sı olduğu için karmaşık değildir. Ancak bunun sadece yeni özellikleri tasarlamanın ve kesinlikle şehir özelliğinin yerini almamasının bir yolu olduğu belirtiliyor.

Birinci , ikinci , üçüncü , dördüncü kontrol etmek için ilginç referanslar (özel bir sipariş yok!)

Yukarıda belirtilen tüm noktalar, teorik olarak doğru ve kesinlikle daha fazla tartışmaya tabi olan pratik çözümlerdir. Daha fazlasını öğrenmek beni mutlu ediyor.

Yapılacak en basit şey (genellikle başlamak için iyi bir yer), her şehrin tek bir özellik haline geldiği ve 1 (kişi o şehirden) veya 0 (değil) bu şehir). Eğitim setinde bulunmayan bir test setinde yeni bir şehir belirirse, o kişi eğitim setindeki tüm şehirler için 0'a sahip olacaktır. Bu garip gelebilir, ancak eğer o şehir eğitim setinde değilse, o şehirden gelen bir kişinin ağırlığı olmamalıdır.

Bir sonraki adım, Muhammed Athar'ın önerdiği şeyler boyunca bir şey olacak ve eğitim setinizdeki diğer şehirlere coğrafi yakınlık hakkında bir fikir edinebilirsiniz. Bu çok daha karmaşık olacak, bu yüzden başka birinin yorum yapmasına izin vereceğim.

Bir karma hile ve uyarlanabilir öğrenme oranları kullanarak çok güzel yeni özellikleri işleyen Vowpal Wabbit'e göz atmalısınız .

Yeni özellikler göründüğünde (trende veya test zamanında) çökmekle kalmaz, aynı zamanda üzerindeki ağırlıkları da güncellemeye başlar. Üstüne kötü hızlı. Yine de sadece doğrusal modelin varyantlarını uygular, bu yüzden o tarafta kısıtlısınız. Bilmeniz için çok güçlü bir araç