Seyrek öngörücüler ve yanıtlar kullanan CART benzeri yöntemler için kullanılabilir kitaplık var mı?

R'deki gbm paketini kullanarak bazı büyük veri kümeleri ile çalışıyorum. Hem yordayıcı matrisim hem de yanıt vektörüm oldukça seyrek (yani çoğu giriş sıfır). Burada yapıldığı gibi, bu seyreklikten yararlanan bir algoritma kullanarak karar ağaçları oluşturmayı umuyordum ). Bu makalede, benim durumumda olduğu gibi, çoğu öğe birçok olası özellikten sadece birkaçına sahiptir, bu nedenle veriler açıkça aksi belirtilmedikçe, öğelerinin belirli bir özellikten yoksun olduğunu varsayarak çok fazla boşa hesaplamadan kaçınabildiler. Umarım bu tür bir algoritma kullanarak benzer bir hızlanma elde edebilirim (ve sonra tahminsel doğruluğumu geliştirmek için etrafına bir yükseltme algoritması sararak).

Kodlarını yayınlamadıkları için, bu durum için optimize edilmiş açık kaynaklı paketler veya kütüphaneler (herhangi bir dilde) olup olmadığını merak ediyordum. İdeal olarak, doğrudan R'nin Matrixpaketinden seyrek bir matris alabilecek bir şey istiyorum , ancak alabileceğimi alacağım.

Etrafa baktım ve bu tür şeyler orada olmalı:

• Kimyagerler bu konuya çok fazla giriyor gibi görünüyor (yukarıda bağlantılı olduğum makale yeni ilaç bileşikleri bulmayı öğrenmekle ilgiliydi), ancak bulabildiğim uygulamalar ya kimyasal analiz için özel ya da son derece uzmanlaşmıştı. Yine de bunlardan birinin yeniden tasarlanması mümkündür.

• Belge sınıflandırması, seyrek özellik alanlarından öğrenmenin yararlı olduğu bir alan gibi görünmektedir (belgelerin çoğu kelime içermez). Örneğin, bu makalede C4.5'in (CART benzeri bir algoritma) seyrek uygulanmasına eğik bir referans var , ancak kod yok.

• Göre posta listesine WEKA seyrek veri kabul edebilir, ancak yukarıda bağlantılı gazetede metodunun aksine, WEKA aslında boşa CPU döngülerini kaçınarak açısından yararlanmak üzere optimize edilmemiştir.

Şimdiden teşekkürler!

Rf'lerde kullanılan modern bir CART uygulamalarına karşı seyrek uygulamalarının bir ölçütünü görmek istiyorum. Bu makale bu alandaki ilerlemeler açısından oldukça eskidir ve hala önemli bir hızlanma sağladığında şaşırırdım.

Bunun nedeni, bölünmüş aramada Quicksort gibi akıllı bir sıralama algoritmasının kullanılması, neredeyse sabit özellikler (seyrek olanlar dahil) için O (n) 'ye yakın performans sağlayabilmesidir. Hızlı uygulamalar ayrıca bir özelliğin bir ağaç dalı içinde sabit hale geldiğini ve artık incelenmemesi gerektiğini de izler. Yoğun özellik gösterimleri, cpu önbellek dostu bir şekilde hızlı görünüm sağlar, böylece cpu döngülerinde kazanmak için gerçekten akıllı bir seyrek temsile ihtiyacınız olacaktır.

Bu, burada , burada , burada tartışılmaktadır .

Aslında benim rf paket CloudForest bir noktada veri seyrek veri temsili uyguladım ama veri yavaş bir temsil sonra yavaş olduğunu bulundu ve bazı bellek avantajları sağlasa da terk etti.

Benim tavsiyem scikit öğrenmeyi ya da cloudforest'i bir şeyleri arttırmak için inşa etmek ve yeterince hızlı olup olmadığını görmek olacaktır. Standart olmayan bir şey yapmak istiyorsanız her ikisi de özel yükseltme ölçütleriyle genişletilebilir. (Aslında aslında bulut ormanını, tanımladığınız şeye çok benzeyen büyük, oldukça boyutlu genetik veri kümeleriyle çalışmak için yazdım).

Muhtemelen bundan faydalanacak herhangi bir kod için küçük bir şans var - kendi başınıza bir şeyler yazmayı tercih edersiniz.
Bununla birlikte, diğer seçenek, gereksiz bilgileri kaldırarak verilerinizin boyutunu azaltmak için verilerinizi dönüştürmektir. Verileriniz hakkında bilgi olmadan nasıl olduğunu söylemek zordur, ancak belki örtüşmediğini, PCA bölümlerini veya bazı tanımlayıcıların temsilini değiştirmediğini bildiğiniz bazı özellikleri birleştirebilirsiniz? Ayrıca, yanıtınızın da seyrek olduğunu söylüyorsanız, yanıt olarak 0 olan nesnelere örnek almanız makul olabilir?

R'deki caretpakete baktınız mı ? rpart, ctreeVe gibi özyinelemeli bölümleme için bazıları da dahil olmak üzere çeşitli modellerin kullanımını kolaylaştıran bir arayüz sağlar ctree2.