Çapraz doğrulamadan önce denetimsiz özellik seçimi yapmak gerçekten iyi mi?

In İstatistiksel Öğrenme Elements , ben aşağıdaki ifadeyi buldum:

Bir nitelik vardır: ilk denetimsiz tarama adımları numuneler dışarıda bırakılmadan önce yapılabilir. Örneğin, çapraz validasyona başlamadan önce 50 numunenin hepsinde en yüksek varyansa sahip 1000 öngörücüyü seçebiliriz. Bu filtreleme sınıf etiketlerini içermediğinden, öngörücülere haksız bir avantaj sağlamaz.

Bu gerçekten geçerli mi? Yani, nitelikleri önceden filtreleyerek, eğitim verilerini / yeni veri ortamını taklit etmiyoruz - bu nedenle gerçekleştirdiğimiz filtrelemenin denetlenmemesi önemli mi? Tüm önişleme adımlarını çapraz doğrulama sürecinde yapmak daha iyi değil mi? Durum böyle değilse, o zaman özellik normalizasyonu / PCA vb. Dahil olmak üzere tüm denetimsiz önişlemlerin önceden gerçekleştirilebileceği anlamına gelir, ancak bunları tüm eğitim setinde yaparak aslında eğitim setine bazı veriler sızdırıyoruz. Nispeten kararlı veri kümesi ile bu farklılıkların büyük olasılıkla çok küçük olması gerektiği konusunda hemfikir olabilirim - ama bu onların var olmadığı anlamına gelmez, değil mi? Bunu düşünmenin doğru yolu nedir?

Çapraz doğrulamadan önce yapılan bir aşama olarak, denetimsiz özellik seçimi, özellik normalleştirmesine biraz benzer:

1. Çapraz validasyonda belirli bir katlamanın bakış açısından, tren verileri test verilerine göz attı (sadece bağımsız değişkenlerde de olsa).

2. Bu gözetleme nispeten hafiftir.

Çapraz doğrulamadan önce özellik normalizasyonu bu soruda tartışılmıştır . Cevabı orada Dikran Marsupial'dan alıntı

Çapraz doğrulama en iyi şekilde, istatistiksel bir modelden ziyade bir istatistiksel prosedürün performansını tahmin etmek için bir yöntem olarak görülür. Bu nedenle, tarafsız bir performans tahmini elde etmek için, bu prosedürün her öğesini, normalleştirmeyi içeren çapraz doğrulamanın her katında ayrı ayrı tekrarlamanız gerekir.

Dolayısıyla, kaynakları yedekleyebiliyorsanız, en iyi şey, her çapraz doğrulama katlamasının sıfırdan veriye bağlı herhangi bir işlem yapmasıdır.

Bununla birlikte, bu sorunun cevaplarının söylediği gibi, pratikte, düzeni tersine çevirmek muhtemelen işleri çok fazla değiştirmeyecektir. Kesinlikle önemli haksız avantaj olduğunu yoktur bağımlı özellik seçimi sergiler. IMHO, İstatistiksel Öğrenmenin Unsurları'ndan alıntı yorumu .$y$

Bu soruda @ AmiTavory'nin görüşü ve İstatistiksel Öğrenme Unsurları ile farklılaşmaya yalvarıyorum.

Çok düşük numune boyutlarına sahip uygulamalı bir alandan geldiğimde, denetimsiz ön işleme adımlarının ciddi önyargılara neden olabileceği deneyimim var.

Benim alanımda bir sınıflandırıcı eğitilmeden önce boyutsal azalma için en sık PCA olurdu. Burada verileri gösteremesem de, PCA + (çapraz doğrulanmış LDA) ve çapraz doğrulanmış (PCA + LDA) ile hata oranını yaklaşık bir büyüklük düzeyinde küçümsediğini gördüm . (Bu genellikle PCA'nın kararlı olmadığının bir göstergesidir.)

Elementlerin "haksız avantaj" argümanlarına gelince, taining + test vakalarının varyansı incelenirse, hem eğitim hem de test vakalarıyla iyi çalışan özellikler elde ederiz. Böylece, aşırı aktiflik yanlılığının nedeni olan, kendini gerçekleştiren bir kehanet yaratıyoruz. Oldukça rahat numune boyutlarınız varsa bu sapma düşüktür.

Bu yüzden Elementlerden biraz daha muhafazakar bir yaklaşım öneriyorum:

• Birden fazla vakayı dikkate alan önişleme hesaplamaları validasyona dahil edilmelidir: yani bunlar sadece ilgili eğitim setinde hesaplanır (ve daha sonra test verilerine uygulanır)
• her vakayı tek başına ele alan önişleme adımları (ben spektroskopik: örnekler taban çizgisi düzeltmesi ve sıralı bir normalizasyon olan yoğunluk normalizasyonu olacaktır) ilk adımdan önce olduğu sürece çapraz doğrulamanın dışına çıkarılabilir birden çok durum için hesaplar.

Bununla birlikte, çapraz validasyon, uygun bir validasyon çalışması yapmak için sadece bir kısayoldur. Böylece, pratiklikle tartışabilirsiniz:

• Söz konusu ön işlemenin kararlı sonuçlar verip vermediğini kontrol edebilirsiniz (bunu örneğin çapraz doğrulamayla yapabilirsiniz). Zaten daha düşük numune boyutları ile mükemmel bir şekilde stabil olduğunu fark ederseniz, IMHO, çapraz doğrulamanın dışına çekilerek çok fazla önyargı ortaya çıkmayacağını iddia edebilirsiniz.

• Ancak, önceki bir amirden alıntı yapmak için: Hesaplama süresi bilimsel bir argüman değildir.
  Sık sık tüm kodun (sonuçların özeti / grafikleri dahil) emin olmak için birkaç katlama ve birkaç doğrulama ve birkaç yinelemeden oluşan bir "gizli önizleme" ye giderim ve daha sonra gece boyunca veya hafta sonu boyunca sunucuda daha ince taneli çapraz doğrulama.