Bölgesel bir bilim fuarı için kazananları nasıl adil bir şekilde belirleyebilirim?

Bilim fuarımızda kazananları hesaplamanın doğru yolunu bulmak için yardıma ihtiyacım var. İstatistik ve matematik konusundaki bilgisizliğimin, bir çocuğun kazanma şansını engellemesini istemiyorum. (tehlikede olan birçok burs ve ilerleme avantajı). Yardımın için şimdiden teşekkür ederim.

İlk olarak, ayarladığımız şeylerin küçük bir arka planı:

Fuarımızda tipik olarak 600 civarında öğrenci projesi bulunmaktadır. Bu projeler bireysel öğrenciler veya bir öğrenci ekibi tarafından tamamlanır ve sunulur. Bir takım 2 veya 3 çocuktan oluşabilir.

Öğrenciler iki bölüme ayrılır: İlköğretim (6-8. Sınıflar) ve Ortaöğretim (9-12. Sınıflar). Her bölümün farklı kategorileri vardır: İlköğretim projeleri için 9 kategori ve İkincil bölüm projeleri için 17 kategori.

Her bölümde her kategori için birincilik, ikincilik ve üçüncülük ödülleri verilmektedir. Üçüncü sırayı aşan yerleşimler için de mansiyon ödülleri verilmektedir.

Her proje için 4 ila 6 hakem görevlendiriyoruz. Görevlerimizi hakimlerin niteliklerine, kategori tercihlerine ve geçmiş değerlendirme deneyimlerine dayanarak yaparız. (kıdemli bölüm projelerine daha deneyimli görevlendirilir).

Hakimler bir projeyi nasıl puanlar:

Her proje için puan atanmış 5 kriter vardır. Her kritere 1 ile 20 puan verilebilir. Genel kriterler:

• Genel hedef + hipotez + kaynak kullanımı ( 1..20 )
• Tasarım + prosedürler ( 1..20 )
• Veri toplama + sonuçlar ( 1..20 )
• Tartışma + sonuç ( 1..20 )
• Röportaj ( 1..20 )

Takım projeleri için, bir hakimin katılmayan veya gelmeyen takım arkadaşları için puanları ( 15'e kadar ) düşürebileceği "takım indirimi" adı verilen altıncı kriter değerlendirilir .

• Takım indirimi ( 0 ..- 15 )

Böylece bir hakim her projeyi 5 ila 100 puan arasında değerlendirebilir. Proje bir takım projesi ise puan 15 puan azaltılabilir.

İşlenmemiş veri:

Birkaç saat boyunca hakimlerden 3.600 puan topladık. Bu puanlar her türlü sıralama, ortalama, standart sapma hesaplamaları, vb. Yapabileceğim bir veritabanına giriliyor. Bu ham puanlarla ne yapmam gerektiğini tam olarak bilmiyorum. Şu anda, her proje için basit bir ortalama yapıyorum, ancak yargıç önyargıları, takım çıkarımları veya düşünmediğim diğer birçok şey için ayarlama yapmadığımdan endişe ediyorum.

İstenen sonuç:

Sonunda, her bir kategori için birinci, ikinci ve üçüncü olan projeleri ödüllendirebilmem ve ardından sonraki yerler için onurlu ödüller verebilmem için puanları işlemek istiyorum. Pozisyonların doğru bir şekilde hesaplandığından ve kazanan çocukların tanınmayı (ve ödülleri) hak ettiklerinden emin olmak istiyorum.

Uzun sorumu okuduğunuz ve bunu anlamanıza yardımcı olduğunuz için çok teşekkürler. Sorularınızı cevaplamaktan memnuniyet duyarız.

"Cevap" ın burada düşüncelerim için çok cömert bir etiket olduğunu düşünüyorum. Keşifsel veri analizini seviyorum ve büyük bir boxplot hayranıyım, bu yüzden yorumlarıma yansıtılacak ..

Merhaba, bu çok puan. :) En iyi 3 ( [9+17]x3) artı onurlu sözlerden 600'e girmeden en az 78 projeniz var gibi görünüyor . Normalde, bir puanlama denetimi yapmak için her kategorinin üstünden ve ortasından örneklemeyi söyleyebilirim, ancak sahip olduğunuz sayılar nedeniyle durumunuzda çok zahmetli olacaktır - ve sadece puanlamayı sonuçlandırıyorsunuz. :)

Aşağıda kullanabileceğiniz bazı önerilerim olduğu için kullanabileceğiniz bir istatistik paketiniz olabileceğini umuyorum.

Her kategorideki puanların dağılımına baktınız mı? İlk 3 veya 5 veya 8 proje puanlara çok yakın mı? Bu, projelerin kalitesinin çok benzer olduğunu ve ne yaparsanız yapın, muhtemelen en azından son puanlar etrafında keyfi bir algı olacaktır.

Her bir yargıçın kaç proje kazandığından emin değilim. Makul bir sayı aldıklarını varsayarsak (burada> 10, ne kadar yüksekse o kadar iyi), her yargıç için değerlendirdikleri her projeye verilen toplam puan için medyan ve çeyrekler arası aralığı hesaplayabilirsiniz (muhtemelen çok fazla özelliğiniz var, muhtemelen her birine ayrı ayrı bakmaya değer). Herhangi bir yargıç özellikle yüksek veya özellikle düşük puan veriyor gibi görünüyor mu? Herhangi bir yargıç ortada tutarlı bir şekilde puanlama yapıyor gibi görünüyor, bu yüzden muhtemelen 10'lar veriyorlar, bu nispeten küçük çeyrekler arası bir aralık ve olası değerler aralığının ortasında bir toplam puan medyanı ile gösterilebilir.

Takım projeleri için toplam puan bazında sıralarını takım çıkarımı uygulandıktan sonraki sıralarıyla karşılaştırabilirsiniz. Takım kesintileri, aksi takdirde ilk 3'te yer alacak takımları etkiliyor mu?

Bunlar sadece başlamanız için öneriler. Bu satırlar boyunca verilerin görselleştirilmesi, yerleşimlerin adil görünüp görünmediği konusunda size iyi göstergeler sunacağını düşünüyorum.

Güncelleme: Bu, sahip olduğunuz ilginç bir sorun. Her bir yargıç, her yargıç için bir ağırlıklandırma faktörü (hâkim yanlılığını hesaba katmak için) bulmak için yeterli projeyi değerlendirmediği anlaşılıyor, çünkü - Yargıçlar arasında daha yüksek güvenilirlik, aynı projelerde hakemlerin bunu yapması için yeterli çakışma yoktur. En iyi birkaç projenin puan aralığına baktınız mı - bunlar ile daha düşük puanlı projeler (doğal sınırlar) arasında net farklılıklar var mıydı, en iyi projeler ne kadar yakındı?

Meraktan, hakemlere puanlama kriterleri verildi, bu yüzden her bir kritere puan verme konusunda çok az esnekliğe sahiptiler (örn. Sıfır hipotezi sağlamak için 1 puan verin, bir veya daha fazla alternatif hipotez sağlamak için 1 puan verin ...) veya sadece verebilecekleri toplam puan sayısını biliyor muydu ve geri kalanı onlara bırakıldı mı? Bir skorlama rehberi olsaydı, skorların makul derecede doğru olduğundan daha emin olurdum.