Boyutsal azalmanın tersine bir yöntem var mı?

Makine öğrenimi alanında yeniyim ancak sinyal işleme konusunda payımı aldım. Bu sorunun yanlış etiketlenmiş olup olmadığını lütfen bize bildirin.

En az üç değişkenle tanımlanan iki boyutlu verilerim var, oldukça doğrusal olmayan model benzetmek için çok karmaşık.

PCA ve ICA (python kütüphanesi Scikit-Learn) gibi yöntemleri kullanarak verilerden iki ana bileşeni ayıklamada çeşitli başarı düzeylerine sahibim, ancak bu yöntem (veya en azından yöntemlerin bu şekilde uygulanması) sınırlı görünüyor verilerde boyutlar olduğu kadar çok bileşenin çıkarılması, örneğin bir 2D nokta bulutundan 2 bileşen.

Verileri çizerken, eğitilmiş göz için üç farklı doğrusal eğilim olduğu açıktır , üç renk çizgisi yönleri gösterir.

PCA kullanılırken, ana bileşen renk çizgilerinden birine hizalanır ve diğeri beklendiği gibi 90 ° 'dir. ICA kullanılırken, birinci bileşen mavi çizgi ile hizalanır ve ikincisi kırmızı ve yeşil olanlar arasında bir yerdedir. Sinyalimdeki her üç bileşeni de yeniden üretebilecek bir araç arıyorum.

EDIT, Ek bilgi: Ben burada daha büyük bir faz düzleminin küçük bir alt kümesinde çalışıyorum. Bu küçük alt kümede, her giriş değişkeni düzlemde doğrusal bir değişiklik üretir, ancak bu değişikliğin yönü ve genliği doğrusal değildir ve tam olarak çalıştığım daha büyük düzlemde nereye bağlı olduğuna bağlıdır. Bazı yerlerde, değişkenlerin ikisi dejenere olabilir: aynı yönde değişim üretir. örneğin, modelin X, Y ve Z'ye bağlı olduğunu varsayalım. X değişkenindeki bir değişiklik mavi çizgi boyunca bir varyasyon üretecektir; Y yeşil çizgi boyunca bir değişikliğe neden olur; Z, kırmızı olan boyunca.

Kısa cevap evet.

Aslında bir tür özellik mühendisliği yapacaksınız. Bu, verilerinizin bir dizi işlevini oluşturmak anlamına gelir, genellikle:

$\phi_j(x): \mathbb R^p \rightarrow \mathbb R \ ,\ \ j=1,...,K$

Bu, birbirine bağlanmış, dönüştürülmüş bir veri vektörünü tanımlar $\boldsymbol \phi(x)$uzunluğu .$K$

Bunu yapmanın daha iyi ve daha kötü birkaç yolu vardır. Aşağıdaki gibi terimleri aramak isteyebilirsiniz:

1. Kamalar ve genelleştirilmiş katkı modelleri.
2. Çekirdek hilesi ( bir modeli nasıl yapılır ).$K\rightarrow \infty$
3. Özellik mühendisliği (manuel çeşitliliğin örn . Verilerinize sütunu ekleme ).$x^2$
4. Derin öğrenme, temsili öğrenme

Böyle çeşitli tekniklerden tahmin edebileceğiniz gibi, bu geniş bir alandır. Gerçekten söylemeye gerek yok ama aşırı takılmayı önlemek için özen gösterilmelidir.

Bu sunum Temsili Öğrenme: Bir Gözden Geçirme ve Yeni Perspektifler , derin bir öğrenme perspektifinden belirli bir özellik setini 'iyi' yapan şeylerle ilgili bazı konuları ele almaktadır.

Sanırım yeni özellikler çıkaran özellikler arıyorsun. Veri kümesini en iyi temsil eden özellik. Bu durumda, böyle bir yöntem "özellik çıkarma" diyoruz.