Bir uzman setini nasıl sipariş edebilir veya sıralayabilirim?

Bir alanda çok sayıda uzman içeren bir veritabanım var. Bu uzmanların her biri için çeşitli özellikler / veri noktaları var:

yıllık deneyim sayısı.
lisansları
yorum sayısı
bu incelemelerin metin içeriği
Hız, kalite vb.Gibi bazı faktörler için bu incelemelerin her birinde 5 yıldız derecelendirmesi.
ödüller, dernekler, konferanslar vb.

Bu uzmanlara önemlerinden yola çıkarak 10 üzerinden bir derece vermek istiyorum. Bazı uzmanlar için veri noktalarının bazıları eksik olabilir. Şimdi sorum şu, böyle bir algoritmayı nasıl bulabilirim? Biri beni ilgili literatüre yönlendirebilir mi?

Ayrıca tüm derecelendirme / değerlendirme gibi bazı bazı değerler yakın demet olabilir endişe duyuyorum. Örneğin, bunların çoğu 8 veya 5 elde edebilir.

Anladığım diğer bazı tartışmalar ilgili olabilir:

rating valuation

— Sidmitra
kaynak

Bazı nesnel ölçütlere gelmedikçe bu yapılamaz; muhtemelen olası derecelendirmelerin çoğu parametrelerinizin bir kombinasyonuyla oluşturulabilir.

Yanıtlar:

İnsanlar bir çok kritere göre (uzmanlar gibi) şeyleri derecelendirmek için çok sayıda sistem icat ettiler: Bir liste için Çok kriterli karar analizi hakkındaki Wikipedia sayfasını ziyaret edin . Ancak burada iyi temsil edilmeyen en savunmasız yöntemlerden biridir: Çok özellikli değerleme teorisi. Bu, (a) münferit değişkenlerin değerlerini yeniden ifade etmek için uygun bir yol belirlemek ve (b) sıralama için bir puan elde etmek için yeniden ifade edilen değerleri ağırlıklandırmak üzere ölçütler arasındaki ödünleşmeleri değerlendirmek için bir dizi yöntemi içerir. . İlkeler basit ve savunulabilir, matematik erişilemez ve teoride süslü bir şey yok. Rasgele puanlama sistemleri icat etmek yerine daha fazla insan bu yöntemleri bilmeli ve uygulamalıdır.

— whuber
kaynak

Bunu yapmak için R paketini biliyor musunuz?

— user333

@ kullanıcı Hayır ve bir tane olduğundan şüpheliyim. Bu arada burada sihirli bir yazılım mermisi yok: neredeyse tüm çalışmalar, konuları düşünmeyi ve kontrollü bir şekilde belirli ödünleşimleri keşfetmeyi içeriyor.

— whuber

Sonuçta bu sadece istatistiksel bir uygulama olmayabilir. PCA, sıralama için kullanabileceğiniz ilk birkaç temel bileşeninde bir puan veya ağırlık oluşturmanıza olanak tanıyan çok güçlü bir nicel yöntemdir. Bununla birlikte, temel bileşenlerin ne olduğunu açıklamak çok zordur. Bunlar nicel yapılardır. Diyalektik değiller. Böylece, gerçekte ne anlama geldiklerini açıklamak bazen mümkün değildir. Bu, özellikle nicel olmayan bir kitleniz varsa geçerlidir. Ne hakkında konuştuğunuz hakkında hiçbir fikirleri olmayacak. Ve PCA'nızı şifreli bir kara kutu olarak düşünecek.

Bunun yerine, tüm ilgili değişkenleri sıralıyorum ve ağırlığın ne olması gerektiğini düşündüğüne göre bir ağırlıklandırma sistemi kullanacağım.

Bunu yabancılar, müşteriler, kullanıcılar için geliştirirseniz, ağırlıklandırmaya kullanıcılara karar verme esnekliğini katmanızın harika olacağını düşünüyorum.
Bazı kullanıcılar yılların deneyimine sertifikasyon ve ayetten çok daha fazla değer verebilir. Bu kararı onlara bırakabilirsen. Bu şekilde algoritmanız anlamadıkları bir kara kutu değildir ve rahat değildirler. Önemli olan kendi göreli değerlemelerine dayanarak tamamen şeffaf ve onlara bağlı kalıyorsunuz.

— sympa
kaynak

@Gaetan PCA için "metin içeriği" gibi değişkenler için uygun bir sayısal kodlama bulmalısınız ...

— chl

Ortaya koyduğum konu bu değil. PCA, önerdiğiniz gibi kukla değişkenleri işleyebilir. PCA inanılmaz güçlü ve esnektir. Ancak, gerçekten zorlaşan temel bileşenlerin yorumu. Diyelim ki ilk temel bileşen şu şekilde başlıyor: 0.02 yıllık deneyim - 0.4 metinsel yorum içeriği + 0.01 dernek ... Belki bunu açıklayabilirsiniz. Uzman bir performans, yılların deneyimiyle orantılı, ancak metinsel incelemelerin içeriği ile ters orantılı mı? Saçma görünüyor. Ancak, PCA sıklıkla karşı sezgisel sonuçlar üretir.

— Sympa

@Gaetan Yine de, sorunun değişkenlerinizi nasıl temsil edeceğinizi (veya yararlı bir metriği nasıl bulduğunuzu) belirttiği fikrimi tekrar ediyorum. Sürekli olmayan ölçümlerle veya veri türlerinin bir karışımıyla uğraşırken doğrusal bir değişken kombinasyonunu yorumlamanın zorluğu konusunda size katılıyorum. Bu yüzden başka bir yorumda alternatif faktöriyel yöntemleri aramak için öneride bulundum. Her neyse, kullanıcı tercihlerine veya uzman incelemesine dayanan puanlama kuralları geliştirmek (klinik değerlendirmede olduğu gibi) de bir çeşit istatistiksel doğrulama gerektirir (en azından puanların güvenilirliğini sağlamak için).

— chl

@Gaetan, Evet, yorumlarınızdan bazıları çok mantıklı ve bunun sadece istatistiksel bir egzersiz olmadığını, daha öznel olan unsurları içerdiğini söylemekte haklısınız. Bunun nedeni, kullanıcı / müşteri açısından niyetin farklı olabilmesidir. Bir uzman için arama yaptığını varsayarsak, o zaman sadece uzmanlar> X yıllık deneyim vb. Ben sadece herhangi bir iki uzman karşılaştırmak için genel bir yöntem arıyorum.

— Sidmitra

+ 1'in bunun istatistiksel bir egzersiz olmadığını belirtmek için. En iyi durumda, PCA belirli bir veri kümesindeki ilişkileri tanımlayabilir ve akla yakın bir şekilde, yakın kollektiflikleri tanımlayarak verileri basitleştirebilir. O konusunda bize bilgi nasıl anlaşılır değildir rütbe uzmanlar.

— whuber

Tüm bu nitelikleri ölçebildiğinizi düşünüyor musunuz?

Evet ise, temel bir bileşen analizi yapılmasını öneririm. Tüm korelasyonların pozitif olduğu genel durumda (ve eğer değilse, bazı dönüşümleri kullanarak oraya kolayca ulaşabilirsiniz), ilk temel bileşen, uzmanın toplam öneminin bir ölçüsü olarak düşünülebilir, çünkü bu bir ağırlıklı tüm özniteliklerin ortalaması (ve ağırlıklar değişkenlerin karşılık gelen katkıları olacaktır - Bu bakış açısıyla, yöntemin kendisi her özniteliğin önemini ortaya koyacaktır ). Her bir uzmanın birinci ana bileşende elde ettiği puan, onları sıralamanız için gereken şeydir.

— George Dontas
kaynak

Bu hoş görünüyor, ancak sadece en yüksek varyans özelliklerini ve çapraz korelasyonlu en büyük kümeleri seçmeyecek mi?

Alternatif olarak, karışık veriler için birden fazla yazışma analizi veya çok faktörlü analiz gerçekleştirilebilir (sayısal kodlama bazı değişkenler için gerçekçi değilse) ve fikrinizin geri kalanı (faktör skorlarını hesaplama ve 1. boyuttaki değişken yüklere bakma) uygulanır de.

— chl

Bana göre, ilk bileşen sadece uzmanlar arasında güçlü bir ortak yön yönüne işaret edecek. Peki bize kimin daha iyi ve kimin daha kötü olduğunu nasıl anlatabilirdi? Bu, bu değişkenler arasındaki ilişkiler ve "iyi" veya "kötü" bir uzman olmanın kalitesi hakkında ek bilgi gerektirir. Tüm değişkenlerin monoton olarak iyilik ya da kötülük ile ilişkili olduğuna inanırsak, belki de PCA aşırı (ya da belki de sadece!) Uzmanların sınırını keşfetmemize yardımcı olabilir. Yine de dikkat edin - tekdüze varsayım bile şüphelidir.

— whuber

@whuber bu noktayı görüyorum, teşekkürler. Belki bunu kendi cevabınıza ekleyebilirsiniz (ki bu çok memnuniyetle karşılanır)?

— chl