Denetimsiz öğrenme problemlerinde boyut küçültme hakkında paylaşacağım birkaç düşüncem var. Yanıtlamada, ilginizin, yorumlamanın kasıtlı olarak vurgulandığı otomatik, anahtar teslimi, kara kutu ve "düşük dokunma" makine öğrenme yaklaşımının aksine "yüksek dokunuşlu" insan katılımı wrt küme yorumlaması olduğunu varsaydım. . İkincisi olsaydı, neden soruyu soruyorsun? Ayrıca, stratejik B2C pazarlama, B2B teknoloji arenaları ve eğitim politikası (kümelenme öğrencileri ve okulları) dahil olmak üzere yıllar boyunca çok çeşitli iş ortamlarında küme çözümleri çalıştırma konusunda bir ton deneyimim olduğunu unutmayın.
Öncelikle, "farklı veri gruplarını gruplandırma" hakkındaki yorumunuzla ilgili bir sorum var. Bununla ne kastettiğinizi veya yaklaşımı nasıl etkileyebileceğini bilmiyordum ve ayrıntılı olarak düşünmenizi umuyordum.
PCA tabanlı çözümlerin "yorumlanması zor" olduğu yukarıdaki 1 numaralı varsayımınıza meydan okumak istiyorum. Kümelemede bir ön adım olarak bir PCA çalıştırmanın nedenleri , çoğu kümeleme algoritması özellik fazlalığına duyarlı olduğu sürece, sonuçta ortaya çıkan çözümün hijyeni ile ilgilidir. PCA, bu fazlalığı yönetilebilir bir avuç bileşen haline getirir, böylece özellik seçimi ile ilgili not ettiğiniz zorlukları ve zorlukları en aza indirir. Bir PCA'dan çıkan bileşenlerin ayrı ayrı özelliklerin ayrıntı düzeyini ve özgüllüğünü bulanıklaştırdığı doğru olsa da, bu sadece güvendiğiniz bir sorundursonuçları analiz etmede bu bileşenler üzerinde. Başka bir deyişle, hiçbir şekilde yalnızca küme yorumlama bileşenlerini kullanmaya kilitlenmezsiniz. Sadece bu değil, faktör boyutlarının "ne anlama geldiğini" önemsemeniz bile gerekmez. Bunlar, eyleme geçirilebilir bir çözümü kolaylaştıran bir amaç için sadece ara ve (sonuçta) tek kullanımlık araçlardır. Ancak bu noktayı belirtirken, ekipler haftalarca dikkatlice "anlamlı" bir faktör çözümü oluşturabilir, isteyecek ve geçirecekleri için birçok uygulayıcıdan ayrıldım. Bana göre bu, müşteri zaman ve parasının verimsiz bir israfı.
Bu noktada ele alınması gereken bir kayık teknik kaygı olacaktır. Birincisi, PCA algoritmanız ölçeğe göre değişmez değilse (örneğin, OLS vs ML ise), sonuçta ortaya çıkan herhangi bir PCA çözümü bozulacak ve yüksek varyans özelliklerine daha fazla yüklenecektir. Bu durumlarda, bu varyansı düzleştirmek için özelliklerinizin önceden işlenmesi veya dönüştürülmesi gerekir. Burada ortalama standartlaştırma, aralık veya IQR standartlaştırma, ipsatif ölçekleme vb. Gibi çok sayıda olasılık vardır. En iyi, en yorumlanabilir çözümü sunarak bu dönüşümden yararlanın.
Bir küme çözümü oluşturulduktan sonra, yorum en iyi şekilde (deneyimlerime göre) bileşenleri göz ardı ederek ve doğrudan çözümde kullanılmayan ek açıklayıcı bilgilerle birlikte orijinal özelliklerine geri katlanarak motive edilir. Bu noktada, birkaç sezgisel tarama nitel içgörü için en iyi rehberlerdir. Bu, her özellik için ortalamalara veya medyanlara (sayfa satırları), her küme (sütunlar) için kümelerinizi profilleyen bir e-tablo oluşturmak kadar kolay olabilir ve ayrıca toplam örneğiniz için genel ortalamayı temsil eden ek bir sütun . Daha sonra, her bir özellik için küme ortalamalarını büyük ortalamaya göre endeksleyerek (ve 100 ile çarparak), "100" civarında "normal" IQ veya ortalama davranış olduğu sürece IQ puanı gibi bir sezgisel tarama oluşturulur, 120'den büyük dizinler, bir özelliğin bir kümenin davranışı hakkında "doğru" olma olasılığının yüksek olduğunu ve 80 veya daha düşük dizinlerin, bir kümenin "doğru olmayan" özelliklerinin göstergesidir. 120+ ve 80 veya daha az olan bu indeksler, çözümü yönlendirmedeki belirli bir özelliğin önemi için proxy t testleri gibidir. Tabii ki, grup anlamlılık testleri arasında koşabilir ve örnek boyutlarına bağlı olarak, bu hızlı ve kirli başparmak kuralları etrafında değişen cevaplar alırsınız.
Tüm bunlardan sonra, hala bir kümeleme algoritmasına doğrudan girdi olarak PCA'yı kullanmaya karşı olduğunuzu varsayalım, azaltılmış bir özellik grubunun nasıl seçileceğiyle ilgili sorun devam ediyor. PCA burada hala faydalı olabilir çünkü PCA'lar bağımlı bir değişken olmadan bir regresyon yürütmeye benzer. Her bileşendeki en üstteki yükleme özellikleri, küme algoritmasına girişler olabilir.
Çok sayıda özellik ve verilerinizin nispeten küçük örneklem büyüklüğü ile ilgili noktanıza göre, birçok "tam bilgi" çok değişkenli analizde tipik kural, özellik başına en az yaklaşık 10 gözlemdir. Bu soruna geçici bir çözüm bulmak için kullanılabilecek bazı özel yöntemler vardır. Örneğin, kısmi en küçük kareler (PLS) ilk olarak Herman Wold tarafından 1990'da bu kesin sorunla karşı karşıya olan kemometri gibi alanlarda kullanılmak üzere Teorik Ampirizm kitabında geliştirilmiştir . Doğada faktör-analitiktir, ancak boyutları oluşturmak için büyük bir n gerektirmesi çok daha az katıdır. Diğer çözümler arasında, büyük miktarlarda bilgi ile kullanılan rastgele orman benzeri "böl ve fethet" makine öğrenimi yaklaşımları bulunmaktadır. Bu yöntemler bu pdf'de incelenirhttp://www.wisdom.weizmann.ac.il/~harel/papers/Divide%20and%20Conquer.pdf
Ancak, yine de faktör analizi ile hiçbir şey yapmak istemediğinize karar verdiğinizi ve bir çeşit denetimli, "sıralı" seçim sürecini yürütmek için ölü olduğunuzu varsayın. Bana göre en önemli konu, post-hoc performans metriği (Dunn Index) bulmak ve bu yaklaşımı mümkün kılmak için uygun bir vekilin (bağımlı bir değişken) tanımlanması hakkında daha az. Bu karar tamamen sizin kararınızın ve verilerinizdeki KOBİ durumunun bir fonksiyonudur. "En iyi uygulamalar" yoktur, bunun için çok daha az kolay yanıt yoktur ve verilerinizi nasıl tanımladığınız göz önüne alındığında, küçük bir zorluk yoktur.
Bu karar verildikten sonra, aralarından seçim yapabileceğiniz yüzlerce olası değişken seçim çözümü vardır. Değişken seçimi, her istatistikçinin ve erkek kardeşinin bir makale yayınladığı bir konu alanıdır. Tercih ettiğiniz yaklaşım "sıralı ileri seçim" iyi görünüyor.
Algoritmanın bir parçası olarak bir küme çözümüne katlanan denetimli öğrenme modellerinin bulunduğunu belirtmek gerekir. Bunun örnekleri, gizli sınıf modelleri olarak bilinen büyük ve oldukça esnek yaklaşımları içerir. LC modellerinin özü iki aşamalı olmalarıdır: birinci aşamada bir DV tanımlanır ve bir regresyon modeli oluşturulur. İkinci aşamada, modelden kalan çıktıdaki herhangi bir heterojenite - tek bir gizli vektör - gizli "sınıflara" ayrılır. Bu CV tartışmasında LC modellemeye genel bir bakış var ... Gizli sınıf multinomial logit modeli şüphe
Bu yardımcı olur umarım.