Bu verileri, öğrenci belgelerini notlandırmada farklı cömertlik düzeylerine sahip işaretleyicileri kalibre etmek için nasıl kullanabilirim?

12 öğretmen 600 öğrenciye ders vermektedir. Bu öğretmenler tarafından öğretilen 12 kohortun büyüklüğü 40 ila 90 öğrenci arasında değişmektedir ve yüksek lisans öğrencileri belirli kohortlara orantısız olarak ayrıldığından ve kohortlar arasında sistematik farklılıklar beklemekteyiz ve daha önceki deneyimler, lisansüstü öğrencilerin ortalama puandan önemli ölçüde daha yüksek olduğunu göstermiştir. lisans öğrencileri.

Öğretmenler kohortlarındaki tüm makaleleri derecelendirdiler ve 100 üzerinden not verdiler.

Her öğretmen ayrıca diğer üç öğretmenden seçilen rastgele bir kağıda baktı ve 100 üzerinden bir not verdi. Her öğretmenin üç makalesi başka bir öğretmen tarafından işaretlendi. 36 farklı kağıt bu şekilde çapraz işaretlendi ve buna kalibrasyon verilerim diyorum.

Ayrıca her grupta kaç tane yüksek lisans öğrencisi olduğunu görebiliyorum.

Sorularım:

A) Bu kalibrasyon verilerini orijinal işaretleri daha adil hale getirmek için ayarlamak için nasıl kullanabilirim? Özellikle, aşırı cömert / cimri üreticilerin etkilerini mümkün olduğunca yıkamak istiyorum.

B) Kalibrasyon verilerim ne kadar uygun? Bu kursta aldığım kalibrasyon verilerinin oldukça sınırlı 36 veri noktasında bir seçeneğim yoktu ve şu anki dönemde daha fazla toplama seçeneğim yok. Ancak, bu durum tekrarlanırsa daha fazla kalibrasyon verisi toplayabilir veya farklı türde kalibrasyon verileri toplayabilirim.

Bu soru sorduğum popüler bir sorunun akrabasıdır: Öğrenci makalelerini notlandırmada farklı cömertlik düzeylerine sahip belirteçlerin etkileriyle en iyi nasıl başa çıkabilirim? . Ancak, bu farklı bir ders ve bu soruyu okumanın şu anki için ne kadar yararlı olacağından emin değilim, çünkü asıl sorun kalibrasyon verim olmadığıydı.

Bu bir matris çarpanlara ayırma tavsiye sistemi kullanmak için harika bir fırsat gibi görünüyor . Kısaca, bu şu şekilde çalışır:

• Gözlemlerinizi kısmen gözlenen bir matrise koyun$M$ nerede $M_{ij}$ skor öğretmeni mi $i$ öğrenciye verdi $j$.

• Bu matrisin bazı gizli özellik vektörlerinin dış ürünü olduğunu varsayalım, $\vec t$ ve $\vec s$--yani, $M_{ij} = t_i s_j$.

• Kare yeniden oluşturma hatasını en aza indiren gizli özellik vektörleri için çözme $\sum_{i,j} (t_is_j - M_{ij})^2$ (toplam, gözlenen tüm hücreler arasında değişir. $M$).

• Bu tahmin-maksimizasyon stilini, $\vec t$ ve çözme $\vec s$ en küçük kareler üzerinden $\vec s$ ve çözme $\vec t$ ve yakınsamaya kadar yineleme.

Bunun, bir öğretmenin önyargısı şeklinde oldukça güçlü bir varsayım yaptığını unutmayın - özellikle, öğrencilerin gizli özelliklerini "gerçek puanı" olarak düşünüyorsanız, öğretmenin önyargısı her bir gerçek puanı sabit bir miktarla ( bunun yerine matris içine eklediğiniz puanları üstel hale getirebilir ve daha sonra "gerçek puanlar" ın üstel değerlerini öğrenebilirsiniz). Bu kadar az kalibrasyon verisiyle, bu formun güçlü bir varsayımını yapmadan muhtemelen çok ileri gidemezsiniz, ancak daha fazla veriye sahipseniz, gizli özelliklerin vb. İkinci bir boyutunu ekleyebilirsiniz. (Ör.$M_{ij} = \sum_{k=1}^n s_{ik} t_{kj}$ ve tekrar kare yeniden oluşturma hatasını en aza indirmeye çalışın).

EDIT: iyi tanımlanmış bir sorun için gizli parametrelerden daha fazla matris işlemi olması gerekir (ya da bir tür düzenlileştirme kullanabilirsiniz). Burada zar zor var (636 gözlem ve 612 gizli parametreniz var), bu nedenle matris çarpanlarına ayırma işlemi çok iyi çalışmayabilir - onlarla bu tür küçük örneklerde çalışmadım, bu yüzden gerçekten bilmiyorum.

Kalibrasyonun iyi bir tavsiye modeli kullanmak için yetersiz olduğu ortaya çıkarsa, Score ~ IsGradStudent + <whatever other student covariates you have> + (1|Teacher)ek öğretmen önyargısının tahminlerini çıkarmak için çok düzeyli bir regresyon üzerinde (kalibrasyon verilerini göz ardı ederek) deneyebilir ve ardından bu yanlılığın sizin kalibrasyon verileriyle uyumlu olup olmadığını kontrol edebilirsiniz. aldı. (Mümkünse öğretmen tarafından heteroskedastisiteye izin vermelisiniz.) Bu daha ad hoc, ancak size daha az ciddi veri toplama sorunları verebilir.

İşte ilgili birkaç yaklaşım.

Birden fazla öğretmen tarafından işaretlenmiş kağıt setini alın, çünkü bunlar öğretmen etkileri hakkında en fazla bilgiyi içerdiğinden ve bu kağıtların dışında, öğretmen ve kohort etkileri karıştırılır (eğer kohort etkisine ulaşmanın bir yolu varsa - belki de GPA aracılığıyla) veya başka bir öngörücü, örneğin, tüm verileri kullanabilirsiniz, ancak modelleri biraz karmaşıklaştıracaktır).

Öğrencileri etiketleyin $i=1,2, ... n$ve işaretçiler $j=1, 2, ...,m$. İşaretler dizisi olsun$y_{ij}, i=1,2, ... m$.

Öncelikle markör efektinin nasıl uygulandığına dair modelinizi göz önünde bulundurmalısınız. Katkı maddesi var mı? Çarpıcı mı? Sınır etkileri hakkında endişelenmeniz gerekiyor mu (örneğin, logit ölçeğinde bir katkı maddesi veya çarpım etkisi daha iyi olur mu)?

İki kağıt üzerinde verilen iki markörü düşünün ve ikinci markanın daha cömert olduğunu hayal edin. Diyelim ki ilk işaretleyici 30 ve 60. kağıtlara verecek. İkinci işaretleyici her ikisine de sabit sayıda işaret (6 işaret diyelim) ekleme eğilimi gösterecek mi? Sabit yüzdeler ekleme eğilimi gösterirler mi (her ikisine de% 10 veya 6 işarete karşı 6 işaret)? İlk işaretçi 99 verirse ne olur? - o zaman ne olurdu? 0 ne olacak? Ya ikinci belirteç daha az cömert olsaydı? 99 veya 0'da ne olur? (bu yüzden bir logit modelinden bahsediyorum - işaretlere olası işaretlerin bir oranı olarak davranabilir ($p_{ij}=m_{ij}/100$) ve ardından işaretleyici efekti, $p$ - yani $\log(p_{ij}/(1-p_{ij})$).

(Burada cömertlik biçimini ve boyutunu tahmin etmek için yeterli veriye sahip olmayacaksınız. Durumu anladığınızdan bir model seçmelisiniz. Ayrıca, herhangi bir etkileşim olasılığını da göz ardı etmeniz gerekir; verisi olsun)

Olasılık 1 - düz katkı modeli. Gerçekten 0 veya 100'e yakın hiçbir işaret yoksa bu uygun olabilir:

Aşağıdaki gibi bir model düşünün $E(y_{ij}) = \mu_{i}+\tau_j$

Bu aslında iki yönlü bir ANOVA. Bununla ilgili kısıtlamalara ihtiyacınız vardır, bu nedenle işaretleyici efektleri 0 olacak şekilde bir sapma kodlaması / modeli oluşturabilir veya bir işaretleyicinin temel olduğu (etkisi 0 olan ve işaretlerini belirten) bir model oluşturabilirsiniz. diğer tüm işaretleri doğru ayarlamaya çalışacaktır).

Sonra al $\hat{\tau}_j$ değerlerini artırın ve daha geniş işaret popülasyonunu ayarlayın $y_{kj}^\text{adj}=y_{kj}-\hat{\tau}_j$.

Olasılık 2: Aslında, benzer bir fikir ama $E(y_{ij}) = \mu_{i}\tau_j$. Burada doğrusal olmayan en küçük kareler modeline veya log-linkli bir GLM'ye (muhtemelen bu ikisinin ikincisine doğru eğilirim) sığabilirsin. Yine bir kısıtlamaya ihtiyacınız var$\tau$s.

Sonra uygun bir ayarlama, $\hat{\tau_j}$.

Olasılık 3: Logit ölçeğinde katkı maddesi. Bazı işaretler 0 veya 100'e yaklaştığında daha uygun olabilir. Çok küçük işaretler için kabaca çarpımsal, orta işaretler için katkı maddesi ve kabaca çarpma$1-p=(100-m)/100$çok yüksek puanlar için. Bu modele uyacak şekilde bir beta regresyonu veya logit bağlantılı bir yarı binom GLM kullanabilirsiniz.