Bir sınıfı 24.000 kategoriyle nasıl kodlayabilirim?

Şu anda genomik için lojistik regresyon modeli üzerinde çalışıyorum. Ortak değişken olarak dahil etmek istediğim girdi alanlarından biri genes. Bilinen 24.000 civarında gen vardır. Hesaplamalı biyolojide bu değişkenlik düzeyine sahip birçok özellik vardır ve yüz binlerce örneğe ihtiyaç vardır.

• Eğer LabelEncoder()bu 24K genleri
• ve sonra OneHotEncoder()onlar ...

24.000 sütun keras eğitim sürelerimi 2.2 GHz dört çekirdekli i7 CPU için mantıksız hale getirecek mi?

Eğer öyleyse, bununla alabileceğim kodlamaya farklı bir yaklaşım var mı?

Bir şekilde modelimin bir katmanını bu özelliğe ayırmaya çalışmalı mıyım?

Bu 24K giriş düğümlerine ihtiyacım olduğu anlamına mı geliyor?

Evet, 24k özelliklerde tek etkin kodlamanın kullanılması 24k giriş düğümlerini gerektirir. Ancak bu Keras (veya başka bir derin öğrenme kütüphanesi) için bir sorun olmamalıdır. Doğal dil işleme, aynı ballparkta kelime büyüklüğüne sahip kelimeler üzerinde genellikle sıcak kodlama kullanır.

"Derin" bir model kullanıyorsanız, gizli katmanlarınızdan birinin verilerinizin boyutsallığını azaltmaya özen göstermesi gerekir. Genellikle ayrı bir ön işleme aşamasına gerek yoktur.

Eğitim süresi makul olmamalıdır.

Kategorik Değişkenler için Varlık Gömme ( orijinal çağrı cihazı ) burada çok uygun bir yaklaşım olacaktır. Burada veya burada okuyun . Aslında oradan buraya kod parçaları koydum ve tam bir çalışan uygulama yaptım, bakın git repo'ya bakın. Bu, sinir ağlarını kullanarak çok yüksek kardinal kategorik değişkenleri kolayca işler. OHE'nin artılarını ve eksilerini listelemeyeceğim, sadece Google'ı, ancak ana dezavantajlarından birini esp. çok yüksek bir kardinal kategorik değişkene sahip olduğunuzda, özellik alanınızı gereksiz yere önemli ölçüde arttırıyor, bence ideal değil. Ve daha da önemlisi OHE, bence, böyle bir ilişki varsa kategoriler arasındaki anlamsal ilişkiyi açıklamaz! Ancak, Varlık Gömme NLP'de Sözcük Gömme için bir kavramdır, kategorileri kodlamak için öğrenilen ağırlıklar potansiyel olarak kategori içi ilişkileri yakalayabilir.

Genel olarak, bu gen sayısı çok daha küçük anlamlı özelliklere indirgenmelidir. Daha sonra, azaltılmış özellik seti modelde kullanılabilir. Örneğin, Temel Bileşen Analizi (PCA) en yaygın indirgeme tekniklerinden biridir ve gen ekspresyon verileri için kullanılmıştır .

" Biyoloji ve tıpta verileri entegre etmek için makine öğrenimi: İlkeler, uygulamalar ve fırsatlar" Zitnika ve ark. genler için çeşitli özellik mühendislik tekniklerini kapsar.