Beyazlatma her zaman iyi midir?

Makine öğrenme algoritmaları için ortak bir ön işleme adımı verilerin beyazlatılmasıdır.

Verileri birbirinden ayırdığı için modellemeyi basitleştirdiği için beyazlatma yapmak her zaman iyidir.

Beyazlatma ne zaman önerilmemektedir?

Not: Verilerin ilişkisizleştirilmesine atıfta bulunuyorum.

Ön-beyazlatma özelliği, dönüştürülmüş bir giriş kovaryans matrisine karşı dönüştürerek girişi bağımsız kılan özellik normalizasyonunun bir genellemesidir. Bunun neden kötü bir şey olabileceğini anlayamıyorum.

Bununla birlikte, hızlı bir arama "Hava Radarının Performansını Artırmak İçin Veri Beyazlatmanın Fizibilitesini" ( pdf ) ortaya koydu :

Özellikle beyazlatma, üstel ACF durumunda (Monakov'un sonuçlarına uygun), ancak Gaussian durumunda daha iyi sonuç verdi. Sayısal deneylerden sonra, Gaussian davasının Gauss kovaryansı matrisi için koşul sayısının (maksimal - minimum özdeğer oranı) son derece büyük olması anlamında sayısal olarak şartlandırıldığını tespit ettik.

Bu konuda yorum yapacak kadar eğitimli değilim. Belki de sorunuzun cevabı, beyazlamanın her zaman iyi olduğu, ancak bazı sonuçların olduğudır (örneğin, rastgele verilerle, Gaussian otokorelasyon fonksiyonu ile yapıldığında iyi sonuç vermeyecektir).

Öncelikle, ilişkisizleştirmenin ve beyazlatmanın iki ayrı prosedür olduğunu düşünüyorum.

Verileri birbiriyle ilişkilendirmek için, onu dönüştürmemiz gerekir, böylece dönüştürülen veriler bir köşegen kovaryans matrisine sahip olur. Bu dönüşüm özdeğer problemini çözerek bulunabilir. Çözücü matrisinin özvektörlerini ve özdeğerlerini çözerek buluruz.${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

burada diagonal elemanlar olarak öz sahip olan bir köşegenel matristir.${\bf \Lambda}$

Böylece matrisi, kovaryans matrisini köşegenleştirir . sütunları , kovaryans matrisinin özvektörleridir.${\bf \Phi}$${\bf X}$${\bf \Phi}$

Köşegenleştirilmiş kovaryansı şu şekilde de yazabiliriz:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

Böylece, tek bir vektörü ilişkilendirmek için yaparız:${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

içindeki köşegen öğeler (özdeğerler) aynı veya farklı olabilir. Hepsini aynı yaparsak, buna veriyi beyazlatma denir. Her bir özdeğer, ilgili özvektörünün uzunluğunu belirlediği için, kovaryans, veriler beyazlatılmadığında bir elips ve veri beyazlatıldığında bir küreye (tüm uzunlukları aynı boyda veya tek biçimli) karşılık gelir. Beyazlatma aşağıdaki gibi yapılır:${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

Aynı şekilde, , yazıyoruz:$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

Böylece, bu beyazlatma dönüşümünü uygulamasına uygulamak için, bu ölçek faktörü ile çarparak beyazlatılmış veri noktasını elde ederek :${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

Şimdi kovaryansı sadece çapraz değil, aynı zamanda tek tip (beyaz), çünkü , kovaryansı . x † i e ( x † i x † i ' )=${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

Bundan sonra, bunun faydalı olamayacağı iki durum görüyorum. Birincisi oldukça önemsizdir, veri örneklerinin ölçeklendirilmesinin, bakmakta olduğunuz çıkarım probleminde bir şekilde önemli olduğu anlaşılabilir. Elbette, özdeğerleri, bunun üstesinden gelmek için ek bir dizi özellik olarak yapabilirsiniz. İkincisi, hesaplamalı bir sorundur: ilk önce binlerce özellik varsa) belleğe sığmayacak kadar büyük olabilen (binlerce özelliğe sahipseniz) kovaryans matrisini ) hesaplamanız gerekir; ikinci olarak, özdeğer ayrışımı pratikte O (n ^ 3) 'dur ve bu da çok sayıda özelliğe sahip olan oldukça korkunçtur.${\bf \Sigma}$

Ve son olarak, insanların dikkat etmesi gereken ortak bir “yakalanma” var. Egzersiz verilerinde ölçeklendirme faktörlerini hesaplarken dikkatli olmalısınız ve sonra aynı ölçeklendirme faktörlerini test verilerine uygulamak için denklemleri (2) ve (3) kullanmalısınız, aksi halde fazla uyarma riski altındasınızdır ( eğitim sürecinde belirlenen testten bilgi).

Kaynak: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

Gönderen http://cs231n.github.io/neural-networks-2/

Bu dönüşümün bir zayıf yanı, verideki gürültüyü büyük ölçüde abartmasıdır, çünkü tüm boyutları (çoğunlukla gürültü olan küçük değişkenliğin alakasız boyutları da dahil olmak üzere) girdi içinde eşit boyutta olacak şekilde gerer. Bu pratikte daha güçlü yumuşatma ile hafifletilebilir ...

Maalesef bu konuda daha fazla yorum yapacak kadar eğitimli değilim.