Anomali tespiti için otomatik özellik seçimi

Anomali tespiti için özellikleri otomatik olarak seçmenin en iyi yolu nedir?

Önemli olan çıkış: Ben normalde özellikleri insan uzmanlar tarafından seçilir bir algoritma olarak Anomali Detection tedavi aralık o kadar hatta birçok özellikleri ile siz - ( "anormal çıkış anormal giriş" gibi) olabilir birleştirerek çok daha küçük bir alt kümesi ile gelip özellikler.

Bununla birlikte, genellikle bir özellik listesinin çok büyük olabileceğini varsayarsak, bazen otomatik bir öğrenme bazen tercih edilebilir. Görebildiğim kadarıyla bazı girişimler var:

• Destek Vektör Verilerini genelleştiren "Anomali Tespiti için otomatik özellik seçimi" ( pdf )
• "Kaba Set Teorisi Kullanan Hızlı Ana Bilgisayar Tabanlı Saldırı Tespit Sistemi" (sanırım kaba Set Teorisini kullanan)
• İstatistiksel yaklaşım kullanan "Düşman Ağ Trafiğinin Anomali Tespiti için Öğrenme Kuralları" ( pdf , video )

Şimdi anlayabiliyorum merak ediyorum - anomali tespiti ve gerçekten büyük (yüzlerce?) Özellik seti varsayarak:

1. Bu devasa özellik setleri hiç mantıklı mı? Sadece birkaç düzine kadar ayarlanan özelliği azaltmamalı mıyız, hepsi bu mu?
2. Büyük özellik kümeleri mantıklıysa, yukarıdaki yaklaşımlardan hangisi daha iyi tahminler verebilir ve neden? Listelenmemiş çok daha iyi bir şey var mı?
3. Örneğin, kümelenme / sıralama / vb. Yoluyla boyutsallık azalması veya özellik inşasına kıyasla neden daha iyi sonuçlar vermeliler?

Pratik bir yaklaşım (en azından gözetimli öğrenme durumunda) olası tüm ilgili özellikleri dahil etmek ve düzenli (L1 ve / veya L2) bir (genelleştirilmiş) doğrusal model (lojistik regresyon, doğrusal svm vb.) Kullanmaktır. Bu tür modeller için trilyonlarca örnek / özellik kombinasyonuyla başa çıkabilen açık kaynaklı araçlar (örn. Vowpal Wabbit) vardır, bu nedenle ölçeklenebilirlik bir sorun değildir (ayrıca, her zaman alt örnekleme kullanılabilir). Düzenleme, özellik seçimiyle başa çıkmanıza yardımcı olur.