Metin kategorizasyonu: farklı türdeki özellikleri birleştirme

Ele aldığım sorun kısa metinleri birden çok sınıfa ayırmak. Şu anki yaklaşımım tf-idf ağırlıklı terim frekanslarını kullanmak ve basit bir lineer sınıflandırıcıyı (lojistik regresyon) öğrenmek. Bu gayet iyi çalışıyor (test setinde yaklaşık% 90 makro F-1, eğitim setinde yaklaşık% 100). Büyük bir sorun görünmeyen kelimeler / n-gramdır.

Diğer özellikleri, örneğin dağıtım benzerlikleri (word2vec tarafından hesaplanan gibi) veya örneklerin diğer kategorik özellikleri kullanılarak hesaplanan sabit boyutlu vektör ekleyerek sınıflandırıcı geliştirmeye çalışıyorum. Benim fikrim sadece sözcüklerin çantasından seyrek giriş özelliklerine eklemek oldu. Ancak bu, test ve eğitim setinde daha kötü performansa neden olur. Ek özellikler kendi başlarına test setinde yaklaşık% 80 F-1 verir, bu yüzden çöp değildirler. Özelliklerin ölçeklendirilmesi de yardımcı olmadı. Şu anki düşüncem, bu tür özelliklerin (seyrek) kelime özellikleri ile iyi karışmamasıdır.

Yani soru şu: Ek özelliklerin ek bilgi sağladığını varsayarsak, bunları birleştirmenin en iyi yolu nedir? Ayrı sınıflandırıcıları eğitmek ve bir grup topluluk çalışmasında birleştirmek mümkün olabilir (bu muhtemelen farklı sınıflandırıcıların özellikleri arasında herhangi bir etkileşimin yakalanamaması dezavantajı olacaktır)? Dikkate almam gereken daha karmaşık modeller var mı?

Doğru anlarsam, modelleriniz için iki tür özelliğiniz vardır. (1) Seyrek bir kelime torbası olarak temsil ettiğiniz metin verileri ve (2) daha geleneksel yoğun özellikler. Durum buysa, 3 ortak yaklaşım vardır:

1. TruncatedSVDSeyrek verilerinizde boyutsal küçültme (LSA yoluyla ) gibi yoğun hale getirin ve model (ler) inizi eğitmek için özellikleri tek bir yoğun matriste birleştirin.
2. hstackModel (ler) inizi eğitmek için scipy's gibi bir şeyi tek bir seyrek matriste kullanarak seyrek matrisinize birkaç yoğun özelliğinizi ekleyin .
3. Yalnızca seyrek metin verilerinizi kullanarak bir model oluşturun ve ardından bir model oluşturmak için tahminlerini (sınıflandırma ise olasılıklar) yoğun bir özellik olarak birleştirin (yani: istifleme yoluyla birleştirme). Bu rotaya giderseniz, CV tahminlerini sadece modelinizi eğitmek için özellikler olarak kullanmayı unutmayın, aksi takdirde oldukça kötü bir şekilde fazla giyeceksiniz (eğer isterseniz bunu tek bir sınıfta yapmak için oldukça sınıf yapabilirsiniz Pipeline).

Her üç yaklaşım da geçerlidir ve kendi artıları ve eksileri vardır. Şahsen, (1) 'in tipik olarak en kötü olduğunu düşünüyorum, çünkü nispeten konuşursak, son derece yavaş. Ayrıca (3) 'ün hem en iyisi olduğunu hem de yeterince hızlı olduğunu ve çok iyi tahminlerle sonuçlandığını düşünüyorum. Daha kapsamlı bir gruplaşma yapmak istiyorsanız, bunların bir kombinasyonunu da yapabilirsiniz.

Kullandığınız algoritmalara gelince, hepsi bu çerçeveye sığabilir. Lojistik regresyon çoğu zaman şaşırtıcı bir şekilde iyi performans gösterir, ancak diğerleri eldeki probleme ve bunları ne kadar iyi ayarladığınıza bağlı olarak daha iyi olabilir. Ben kendim GBMs kısmi, ama sonuçta istediğiniz kadar algoritma deneyebilirsiniz ve hatta tahminlerinin basit ağırlıklı toplulukları yapmak neredeyse her zaman daha iyi bir genel çözüm yol açacaktır.

Doğrusal modeller, özelliklerini karşılık gelen ağırlıklarla çarparak basitçe ekler. Örneğin, her örnekte yalnızca 3 veya 4'ü aktif 1000 seyrek özelliğiniz varsa (ve diğerleri sıfırdır) ve tümü sıfır olmayan 20 yoğun özelliğe sahipseniz, yoğun özelliklerin çoğunu yapması muhtemeldir. seyrek özellikler ise etkisi sadece küçük bir değer katacaktır. Birkaç örnek için özellik ağırlıklarına ve bunların sonuçtaki toplamı nasıl etkilediğine bakarak bunu kontrol edebilirsiniz.

Bunu düzeltmenin bir yolu, katkı modelinden uzaklaşmaktır. İşte birkaç aday model.

SVM hiperplanları ayırmaya dayanır. Hiper düzlem doğrusal model olmasına rağmen, SVM parametrelerini özetlemez, bunun yerine özellik alanını en iyi şekilde bölmeye çalışır. Özelliklerin sayısı göz önüne alındığında, doğrusal SVM'nin iyi çalışması gerektiğini söyleyebilirim, ancak daha karmaşık çekirdekler verileri geçersiz kılabilir.

İsmine rağmen, Naive Bayes metin sınıflandırması için iyi sonuçlar veren oldukça güçlü bir istatistiksel modeldir. Ayrıca, seyrek ve yoğun özelliklerin frekansındaki dengesizliği yakalamak için yeterince esnektir, bu yüzden kesinlikle denemelisiniz.

Son olarak, rastgele ormanlar bu durumda iyi bir topluluk yöntemi olarak çalışabilir. Rasgeleleştirme, farklı ağaçlarda farklı türde özelliklerin (seyrek / yoğun) birincil karar düğümleri olarak kullanılmasını sağlayacaktır. RF / karar ağaçları da özellikleri kendileri denetlemek için iyidir, bu nedenle yapılarını yine de not etmeye değer.

Tüm bu yöntemlerin sizin durumunuzda onları çöp haline getirebilecek dezavantajları olduğunu unutmayın. Seyrek ve yoğun özelliklerin taranması gerçekten iyi çalışılmış bir görev değildir, bu nedenle bu yaklaşımlardan hangisinin durumunuz için en iyi olduğunu bize bildirin.