Derin öğrenme kullanarak özellik seçimi?


9

Her bir modelin önemini derin model kullanarak hesaplamak istiyorum.

Ancak derin öğrenme - derin özellik seçimi kullanarak özellik seçimi hakkında yalnızca bir makale buldum . İlk gizli katmandan önce, her bir özelliğe doğrudan bağlı bir düğüm katmanı eklerler.

Derin inanç ağının (DBN) da bu tür işler için kullanılabileceğini duydum. Ama bence, DBN sadece PCA gibi özelliklerin soyutlamalarını (kümelerini) sağlar, bu yüzden boyutu etkili bir şekilde azaltabilmesine rağmen, her özelliğin önemini (ağırlığını) hesaplamanın mümkün olup olmadığını merak ediyorum.

DBN ile özellik öneminin hesaplanması mümkün müdür? Ve derin öğrenme kullanarak özellik seçimi için bilinen başka yöntemler var mı?

Yanıtlar:


10

Hemen hemen her tahmin modeli için alabileceğiniz bir yaklaşım, önce modelinizi eğitmek ve doğruluğunu bulmaktır, daha sonra bir giriş için ona biraz gürültü ekleyin ve doğruluğu tekrar kontrol edin. Bunu her giriş için tekrarlayın ve gürültünün tahminleri nasıl kötüleştirdiğini gözlemleyin. Bir giriş önemliyse, gürültüden kaynaklanan ekstra belirsizlik zararlı olacaktır.

Gürültünün varyansını, söz konusu girişin varyansı ile orantılı olacak şekilde ayarlamayı unutmayın.

Tabii ki gürültü rastgele ve rastgele etkiler nedeniyle bir girdinin önemsiz görünmesini istemiyorsunuz. Çok az egzersiz örneğiniz varsa, her seferinde yeni bir gürültü ekleyerek her egzersiz örneği için doğruluktaki değişikliği tekrar tekrar hesaplamayı düşünün.

Yorumlara yanıt olarak:

Bu analiz, bir değişkeni tamamen kaldırarak da yapılabilir, ancak gürültü eklemeye kıyasla bunun bazı dezavantajları vardır.

  • Girdilerinizden birinin sabit olduğunu varsayalım, önyargı terimi gibi davranır, bu nedenle tahminde bir rol oynayabilir, ancak bilgi eklemez. Bu girişi tamamen kaldırırsanız, algılamalar yanlış önyargılar aldığından tahmin daha az doğru olur. Bu, girdiyi bilgi eklemese bile tahmin için önemli gibi gösterir. Gürültü eklemek bu soruna neden olmaz. Tüm girdileri sıfır ortalamaya standartlaştırdıysanız, bu ilk nokta sorun değildir.

  • İki giriş ilişkilendirilirse, bir giriş hakkındaki bilgi diğeri hakkında bilgi verir. İlişkili girdilerden yalnızca birini kullandıysanız bir model iyi eğitilebilir, böylece analizin bir girdinin yararlı olmadığını bulmasını istersiniz. Girdilerden birini yeni çıkardıysanız, yapılan ilk nokta gibi, tahmin doğruluğu çok azalır ve bu da önemli olduğunu gösterir. Ancak, gürültü eklemek bu soruna neden olmaz.


2
Hugh, özelliği kaldırarak bunu biliyorum. Özelliğin gürültüyle değiştirilmesinin avantajları nelerdir?
DaL

@Danimasyonun tamamen gürültü ile değiştirilmesi gerektiği anlamına gelmiyordu, sadece biraz gürültü eklenmeli. Bir özelliğin kaldırılması, sıfır olmayan ortalamalara sahip olmaları veya diğer değişkenlerle ilişkilendirilmeleri durumunda önemsiz özelliklerin önemli görünmesini sağlayabilir. Cevabımı açıklamak için düzenledim.
Hugh

Yorum için teşekkürler. Ama aslında bir dizi özellik setim (girdiler) var ve bunların çoğu birbiriyle ilişkili. Bu durumda, hesaplama süresi n'ye yakın olacaktır! kombinasyonları dikkate almam gerekiyor. Bu yüzden karmaşık özellik kombinasyonlarını düşünebilen derin öğrenme tabanlı model uygulamak istiyorum.
z991

Çok değişkenli lineer regresyonda @ z991, tam olarak korelasyonlu olmayan değişkenlerde aynı problem ortaya çıkabilir. Genellikle her bir değişkeni birer birer tanıtırız veya tüm değişkenleri kullanır ve birer birer kaldırırız. En iyi kombinasyonu hesaplamanın bir yolu yoktur. Bu doğrusal regresyon için çözülmediyse, NN'ler için bir çözüm bulamazsınız. Aynı yaklaşımı alıp değişkenleri birer birer kaldırabilir ve n'den kaçınabilirsiniz! hesaplama.
Hugh

1
@Huge Yorum için teşekkür ederim. Size katılıyorum. Ama gerçekten bilmek istediğim, derin öğrenme veya sinir ağı ile her özelliğin önemini nasıl hesaplayacağımdı. Birkaç özellik çıkarma (gizli katmanlar) kullandıklarından, özellik önemini analiz etmek benim için zor oldu. Her özelliğin tüm ağırlığını hesaplamak mümkündür, ancak oldukça karmaşık ve zaman alıcı gibi görünmektedir. Bağlantılı kağıt tek bir doğrusal katman kullandı ve bence bu iyi bir fikir. Ağdaki özellik önemini analiz etmek için başka daha iyi yöntemler bilmek istedim.
z991

2

Belki bu kağıdı kontrol edin: https://arxiv.org/pdf/1712.08645.pdf

Özellikleri sıralamak için çıkış kullanırlar.

... Bu çalışmada, giriş özelliği katmanında Bırakma kavramını kullanıyoruz ve karşılık gelen özellik bakımından bırakma oranını optimize ediyoruz. Her özellik stokastik olarak kaldırıldığından, yöntemimiz özellik torbalamaya benzer bir etki yaratır (Ho, 1995) ve ilişkili özellikleri LASSO gibi diğer torbalama yöntemlerinden daha iyi sıralamayı başarır. Yöntemimizi Rastgele Orman (RF), LASSO, Elastik Ağ, Marjinal sıralama ve Derin Özellik Seçimi ve çeşitli buluşsal yöntemler gibi DNN'de önem kazanmak için çeşitli tekniklerle karşılaştırıyoruz ...


Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.