Özellik mühendisliği neden çalışır?

Son zamanlarda, ML sorunlarına daha iyi çözümler bulmanın yollarından birinin özelliklerin oluşturulması olduğunu öğrendim. Örneğin iki özelliği toplayarak bunu yapabiliriz.

Örneğin, bir tür kahramanın iki “saldırı” ve “savunması” özelliğine sahibiz. Daha sonra "saldırı" ve "savunma" nın toplamı olan "toplam" adı verilen ek bir özellik oluştururuz. Şimdi bana garip görünen şey, zorlu "saldırı" ve "savunma" kelimelerinin bile "toplam" ile neredeyse mükemmel bir şekilde ilişkili olduğudur.

Bunun arkasındaki matematik nedir? Yoksa akıl yürütmem yanlış mı?

Ayrıca, bu kNN gibi sınıflandırıcılar için "toplam" ın her zaman "saldırı" veya "savunma" dan daha büyük olacağı bir sorun değil mi? Böylece, standartlaştırmadan sonra bile, farklı aralıklardan değerler içeren özelliklere sahip olacağız?

Başlığı soruyorsunuz ve içerik bana uymuyor gibi görünüyor. Doğrusal model kullanıyorsanız, saldırıya ek olarak toplam bir özellik ekleyin ve savunma işleri daha da kötüleştirecektir.

Öncelikle özellik mühendisliğinin neden genel olarak çalıştığını yanıtlayacağım.

Bir resim bin kelime değerinde bir olup. Bu şekil, özellik mühendisliği ve neden işe yaradığı hakkında bazı bilgiler verebilir (resim kaynağı ):

• Kartezyen koordinatlarındaki veriler daha karmaşıktır ve bir kural yazmak / iki türü sınıflandırmak için bir model oluşturmak nispeten zordur.

• Polar koordinatlarındaki veriler çok kolaydır :, iki türü sınıflandırmak için üzerine basit bir kural yazabiliriz .$r$

Bu bize verilerin temsilinin çok önemli olduğunu söylüyor. Belirli alanlarda, belirli görevleri yapmak diğer alanlara göre çok daha kolaydır.

Burada örneğinizde bahsedilen soruya cevap veriyorum (saldırı ve savunma toplamı)

Aslında, saldırı ve savunma örneğinin Bu meblağın belirtilen özellik mühendisliği, olacak değil böyle doğrusal model olarak birçok model için de işe ve bazı sorunlara neden olur. Bkz. Çoklu Doğrusallık . Öte yandan, bu özellik mühendisliği karar ağacı / rastgele orman gibi diğer modellerde de çalışabilir. Ayrıntılar için @ Imran'ın cevabına bakınız.

Bu nedenle cevap, kullandığınız modele bağlı olarak, bazı özellik mühendisliğinin bazı modellerde yardımcı olacağını, ancak diğer modellerde yardımcı olmayacağıdır.

Kullandığımız model türü, mevcut özelliklerin belirli kombinasyonlarını öğrenmede çok etkili olmayabilir.

Örneğin, özelliklerin nerede olduğu örneğinizi düşünün ave ised olan bir ikili sonucu tahmin etmek için bir karar ağacı kullanıyoruz ve ise olur .a + d < 0 1 a + d ≥ $0$$a+d<0$$1$$a+d\geq0$

Karar ağaçları sadece bireysel özellik eksenleri boyunca ayrılabileceğinden, modelimiz bir çizgiye uyacak bir merdiven inşa etmeye çalışacak ve bu da şöyle görünecektir:

Gördüğünüz gibi, bu yeni veriler için mükemmel bir genelleme olmayacak. Karar sınırımızın altında olan gerçek karar çizgisinin üzerinde daireler ya da haçlar için tersi olabilir.

Ancak, a+dbir özellik olarak eklersek , sorun bir karar ağacı için önemsiz hale gelir. Bireyi ave dözellikleri görmezden gelebilir ve sorunu tek bir a+d<0kararla çözebilir .

$a+d$

Özet olarak, kullandığınız modelin türüne bağlı olarak bazı ek özellikler yardımcı olabilir ve mühendislik özellikleri kullanılırken hem verileri hem de modeli dikkate almaya dikkat etmelisiniz.

totaltotalattackdefenseattackdefensetotalattacktotaldefense$\frac{1}{7}$

Ayrıca, bu kNN gibi sınıflandırıcılar için "toplam" ın her zaman "saldırı" veya "savunma" dan daha büyük olacağı bir sorun değil mi? Böylece, standartlaştırmadan sonra bile, farklı aralıklardan değerler içeren özelliklere sahip olacağız?

Tahmincilerinizi standartlaştırmak istiyorsanız, hepsi oluşturulduktan sonra yapmalısınız.

Genel bir cevap vermek için, çoğu durumda özellik mühendisliği verilerinizden anlamlı özellikler çıkarmakla ilgilidir, bu nedenle modelinize daha fazla bilgi verirseniz, daha iyi davranması gerekir. Verilerinizin 'name.surname@domain.country-code' biçimindeki e-posta adreslerinden oluştuğunu varsayalım. Bunları modelinizde olduğu gibi kullandıysanız, her kişi benzersiz bir e-posta ile karakterize edilir, bu yüzden bize fazla bir şey söylemez. Bize yalnızca bir e-postanın muhtemelen başka bir kişiye, diğerine ait olduğunu söyler. Özellik mühendisliği ile, bu tür adreslerden olası cinsiyet (isim), aile geçmişi ve etnik köken (soyadı), milliyet (alan adı) ve daha fazlası hakkında bilgi çıkarabilirsiniz - size oldukça fazla bilgi verir, değil mi?

"Özellik" toplamınızla neyi başarmaya çalışıyorsunuz ? Yalnızca kahramanları karşılaştırıyorsanız, saldırı ve savunma daha yararlı olabilir. Eğer yapı türünü (ne kadar saldırgan yönelime karşı, ne kadar savunmacı yönelimli) yararlı bulursanız, belki saldırı / savunma daha yararlı olacaktır. Ya da belki MyAttack - YourDefense daha faydalıdır.

Bu gerçekten hedefinize bağlıdır ve daha iyi cevaplar alabilmeniz için soruna ek bilgi enjekte etmenizle sınırlıdır. İnsanların etrafında atma duymuş olabilirsiniz log ve kare ve oran ve özellikleri yapabilir yollardan her türlü fakat alt çizgi "yararlı" elindeki işe bağlı olduğunu ve kararlar bir etki alanına sahip verileri dönüştüren içerir daha basit.