Ön düzelme daha iyi bir öngörücü model oluşturmaya yardımcı olur mu?

Yayık modelleme görevi için şunları düşünüyordum:

1. Veriler için k kümelerini hesaplama
2. Her küme için ayrı ayrı k modelleri oluşturun.

Bunun mantığı, kanıtlayacak hiçbir şeyin olmaması, alt kuruluşların nüfusunun homojen olmasıdır, bu nedenle veri üreten sürecin farklı "gruplar" için farklı olabileceğini varsaymak mantıklıdır.

Sorum şu, bu uygun bir yöntem mi? Herhangi bir şeyi ihlal ediyor mu yoksa bir nedenden dolayı kötü mü sayılıyor? Öyleyse neden?

Değilse, bu konuda en iyi uygulamaları paylaşır mısınız? Ve ikinci şey - model ağacından daha iyi önleme yapmak daha iyidir mi (Witten, Frank'te tanımlandığı gibi - yapraklardaki modellerle sınıflandırma / regresyon ağacı. idk "normal" kümelemeye göre herhangi bir avantajı varsa.).

Küme yönlü regresyon adı verilen ve benzer problemleri çözen bir yöntem vardır (önce verileri kümeler ve sonra da tahmin modellerini oluşturur). Örneğin buna bakınız .

Yorum yapmak için çok uzun olan iki nokta:

• saf kümeler (yani yalnızca bir sınıftaki vakaları içeren) kendiliğinden sorun değildir: tek sınıf sınıflandırıcılar olarak adlandırılan her sınıf diğerlerinden bağımsız olarak modellenir. Bununla mükemmel bir şekilde başa çıkabilirler.

• Bununla birlikte, veri kümeleri sınıfların birbirinden tamamen ayrılacağı şekilde, yani kümeler oldukça safsa, bu çok güçlü bir yapının olduğu, küme analizinin sınıf etiketleri tarafından yönlendirilmeden bulabildiği bir yapı anlamına gelir. Bu, küme analizi tarafından kullanılan aynı mesafe ölçüsüne dayanan en yakın komşu yöntemleri gibi belirli sınıflandırıcı türlerinin veriler için uygun olduğu anlamına gelir.

• Diğer olasılık, kümelerin saf olmadığı, ancak küme ve sınıflandırma yöntemlerinin bir kombinasyonunun iyi yapabileceği durumlar ağaçlar için uygundur. Ağaç kümelenmenin bir bölümünü yapacak (ve saf düğümler sorun olarak kabul edilmeyecektir.) İşte yapay bir örnek, XOR sorununun 2 küme sürümü:
  

• saf kümelere sahip olma riski olmadan küme bilgilerini eklemenin başka bir yolu, kümelemeyi bir özellik oluşturma adımı olarak kullanmak olacaktır: küme analizinin sonucunu veri matrisine yeni değişkenler olarak eklemek olacaktır.

• Bunun bir nedenden dolayı kötü olup olmadığını soruyorsunuz: bir tuzak, bu yaklaşımın birçok serbestlik derecesine sahip modellere yol açmasıdır. Fazla uymamaya özellikle dikkat etmelisiniz.

• Model tabanlı ağaçlara bir göz atın, örneğin mbq'ın cevabı burada Sanırım aradığınız iskeleye çok yakın bir konsept uyguluyorlar. Orman olarak da uygulanabilirler: örneğin R paketi mobForest .

Bugünlerde benzer bir problemle uğraşıyorum. Sınıflandırıcı oluşturmak için yüzlerce özelliğim var. Farklı modelleri denedikten sonra (ör: rastgele ormanlar, gradyan artırma vb.), Hala düşük hassasiyet / hatırlama elde ettim. Bu yüzden biraz kümeleme yapmaya çalışıyorum, sonra farklı gruplarda sınıflandırıcılar oluşturuyorum. Endişem, Anony-Mousse'nin dediği gibi, tüm bilgileri kümeleme sırasında kullanırsam sınıflandırıcıdan nasıl daha fazla bilgi edinebilirim? İşte bundan sonra yapacağım:

1. Kümeleme yapmak için bazı özellikleri (önceki bilgilere göre daha az) kullanın.
2. Sınıflandırıcıları eğitmek için diğer özellikleri (daha fazla) kullanın.

Ayrıca karmaşıklığı azaltmaya yardımcı olabileceğini düşünüyorum, yardımcı olmasını dilerim.

bina $k$ kümeler ve sonra $k$karşılık gelen modeller kesinlikle uygulanabilir. Kümelerin sonuç değişkenlerini mükemmel şekilde ayırdığı patolojik durum sınıflandırıcılar için zorluklar yaratacağı teorik bir problemdir, ancak bence pek olası değildir (özellikle yüksek boyutlu bir durumda). Dahası, bu tür kümeler oluşturabilirseniz, o zaman bu kümeleri tahmin için kullanabilirsiniz!

Ek olarak, eğer süreç başlarsa $N$ örnekler, sınıflandırıcılar sadece $N/k$örnekleri. Bu nedenle, daha güçlü bir yaklaşım, kümeleri bir regresyon karışımı kullanarak kümelerdeki heterojenliği içeren tek bir sınıflandırıcı yapımında kullanmak olacaktır. Model tabanlı kümelemede, verilerin bir karışım dağılımından üretildiği varsayılır$Y_i \sim N(\mu_i, \sigma_i^2)$ nerede $i=1$ olasılıkla $\pi$ ve $i=2$ olasılıkla $1-\pi$ ve $\mu_1 \neq \ \mu_2$ ve $\sigma_1^2 \neq \sigma_2^2$. Karışım regresyonu, verilerin ortak değişkenlere bağımlı olarak modellenmesini sağlayan bir uzantıdır;$\mu_i$ ile değiştirildi $\beta_i X_i$, nerede $\beta_i$tahmin edilmelidir. Bu örnek tek değişkenli, Gausslu bir durum için olsa da, çerçeve birçok veriyi barındırabilir (çok değişkenli logit kategorik değişkenler için uygun olacaktır). Flexmix paketi R için daha ayrıntılı bir açıklama sağlar ve ders nispeten kolay ve genişletilebilir bir şekilde bu yaklaşımı uygulamaktır.

Alternatif olarak, ayrımcı bir ortamda, seçim sınıflandırma algoritmasını (ör. NB, ANN, SVM, RF, vb.) Eğitmek için bir özellik olarak küme atamalarını (sert veya yumuşak) dahil etmeye çalışılabilir.

Kümeleriniz gerçekten iyiyse, sınıflandırıcılarınız saçmalık olacaktır. Çünkü eğitim verilerinde yeterince saptırma yok.

Kümelerinizin kusursuz, yani saf olduğunu varsayalım. Artık orada bir sınıflandırıcıyı düzgün bir şekilde eğitemezsiniz. Sınıflandırıcıların olumlu ve olumsuz örneklere ihtiyacı vardır!

Rastgele Orman tam tersini yapmada çok başarılı. Verilerin rastgele bir örneğini alırlar, bu konuda bir sınıflandırıcı eğitir ve daha sonra tüm eğitimli sınıflandırıcıları kullanırlar.

Ne kudreti çalışmaları her bir sınıflandırıcı eğitmek sonra kümeleme kullanın ve etmektir çifti , en azından yeterince katılmıyorum eğer, kümeler (a sınıfı bölünmüş iki kümeler halinde ise, yine bir sınıflandırıcı orada tren olamaz!)