Çok sorulu bir sınavda hile biçimlerinin tespiti

SORU:

Sınav sorularına ilişkin ikili veri var (doğru / yanlış) Bazı kişiler, bir soru alt kümesine ve doğru cevaplarına önceden erişebilmiş olabilir. Kim, kaç veya hangisi olduğunu bilmiyorum. Hiçbir hile olsaydı, ben öğe için doğru bir tepki olasılığını modellemek herhalde olarak , nerede soru zorluk temsil eder ve bireyin gizli yeteneğidir. Bu, R 'de ltm' nin rasch () gibi fonksiyonlarla tahmin edilebilecek çok basit bir madde cevap modelidir . Gizli değişkenin ( bireyleri dizine alır) tahminlerine ek olarak, ayrı tahminlere de erişebilirim. $i$ $logit((p_i = 1 | z)) = \beta_i + z$ $\beta_i$ $z$ $\hat{z}_j$ $j$ $\hat{q}_j$ hile yapmanın mümkün olmadığı başka bir veri kümesinden türetilen aynı gizli değişken.

Amaç, muhtemelen hile yapan bireyleri ve aldattıkları eşyaları tespit etmektir. Alabileceğiniz bazı yaklaşımlar nelerdir? Ham verilere ek olarak, , ve kullanılabilir, ancak ilk ikisinin hile nedeniyle bir önyargıya sahip olmasına rağmen. İdeal olarak, çözüm gerekli olmamakla birlikte olasılıklı kümeleme / sınıflandırma biçiminde olacaktır. Pratik fikirler, resmi yaklaşımlar kadar memnuniyetle karşılanmaktadır. $\hat{\beta}_i$ $\hat{z}_j$ $\hat{q}_j$

Şimdiye kadar yüksek vs olan bireylerin çiftleri için soru puanlarının korelasyonu düşük karşılaştırdık puanları (nerede olduğunu aldatma olasılıklarının kaba bir endeksi). Örneğin, bireyleri ve ardından birbirlerinin ardışık çiftlerinin soru puanları arasındaki korelasyonu . Ayrıca ortalama bireyler için puan ilintileme çizimini çalıştı değerleri daha yüksek olmuştur, arasında bir dağılım , bir işlevi olarak . Her iki yaklaşım için bariz bir kalıp yok. $\hat{q}_j -\hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $\hat{q}_j - \hat{z}_j$ $n^{th}$ $\hat{q}_j - \hat{z}_j$ $n$

GÜNCELLEŞTİRME:

@SheldonCooper ve @ whuber'ın beni işaret ettiği yardımcı Freakonomics makalesinden fikirleri birleştirdim . Diğer fikirler / yorumlar / eleştiriler kabul edilir.

'nin kişi ' in sorusu üzerindeki ikili puanı olmasına izin verin . Öğe yanıt modeli tahmin edin burada , öğenin kolaylık parametresidir ve gizli bir yetenek değişkenidir. (Daha karmaşık bir model ikame edilebilir; uygulamamda 2PL kullanıyorum). İlk gönderimde de belirttiğim gibi , yetenek değişkeninin değerini ayrı bir veri kümesinden (farklı öğeler, aynı kişiler) Hile yapmak mümkün , ampiriktir Bayes, yukarıdaki ile aynı madde cevap modelinden tahmin eder. $X_{ij}$ $j$ $i$

l o g i t (P r (X_{i j} = 1 | z_{j}) = β_{i} + z_{j},

$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$

β_{i}

$\beta_i$

z_{j}

$z_j$

\hat{q_{j}}

$\hat{q_j }$

{y_{i j}}

$\{y_{ij}\}$

\hat{q_{j}}

$\hat{q_j}$

Gözlemlenen puanın , madde kolaylığına ve kişi kabiliyetine bağlı olma olasılığı, burada tahmin edilen olasılıktır doğru bir cevap ve ters . Daha sonra, madde ve kişi özelliklerine bağlı olarak, gözlemlerine olduğu müşterek olasılık , ve benzer şekilde, öğesinde gözlemlenen müşterek olasılık. $x_{ij}$

p_{i j} = P r (X_{i j} = x_{i j} | \hat{β_{i}}, \hat{q_{j}}) = P_{i j} (\hat{β_{i}}, \hat{q_{j}})^{x_{i j}} (1 - P_{i j} (\hat{β_{i}}, \hat{q_{j}}))^{1 - x_{i j}},

$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$

P_{i j} (\hat{β_{i}}, \hat{q_{j}}) = i l o g i t (\hat{β_{i}} + \hat{q_{j}})

$P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$

i l o g i t

$ilogit$

j

$j$

x_{j}

$x_j$

p_{j} = \prod_{i} p_{i j},

$p_j = \prod_i p_{ij},$

i

$i$

x_{i}

$x_i$ ,En düşük değerine sahip kişiler, gözlemlenen puanları şartlı olarak en az olası olanlardır - muhtemelen hiledirler. En düşük değerine sahip öğeler , koşullu olarak en az olası olanlardır - olası sızan / paylaşılan öğelerdir. Bu yaklaşım, modellerin doğru olduğu ve bu kişinin puanlarının kişi ve madde özelliklerine bağlı olmadığına dair varsayımlara dayanmaktadır . İkinci varsayımın ihlali, korelasyon derecesi insanlar arasında farklılık göstermediği ve modeli kolaylıkla geliştirilebildiği sürece sorun yaratmaz (örneğin, ek kişi veya öğe özellikleri ekleyerek).

p_{i} = \prod_{j} p_{i j} .

$p_i = \prod_j p_{ij}.$

p_{j}

$p_j$

p_{j}

$p_j$

j

$j$

p_{i j}

$p_{ij}$

Çalıştığım ek bir adım en az olası kişilerin% r'ini almak (yani, sıralanan p_j değerlerinin en az% r'si olan kişiler), gözlemlenen puanları x_j arasındaki ortalama mesafeyi hesaplamak (ki bu düşük r olan kişilerle ilişkilendirilmelidir) olası dolandırıcılardır) ve r = 0.001, 0.002, ..., 1.000. Ortalama mesafe r = 0.001 ila r = 0.025 arasında artar, maksimuma ulaşır ve daha sonra r = 1'de yavaşça minimumda düşer.

r clustering classification psychometrics

— lockedoff
kaynak

Bu zor bir problem çünkü hile yapısının doğası hakkında çok az bilginiz var. Bir dolandırıcıyı çok fazla çalışmış bir öğrenciden nasıl ayırt edersiniz? Daha fazla bilgi olmadan yapamazsın. Bir olasılık, öğrencilerin birbirlerini kopyalayarak hile yapabilecekleri veya öğrencilerin alt gruplarının aynı cevaplara erişimi olup olmadığıdır. Bu durumda, öğrenciler arasında bir mesafe işlevi yaratabilir (daha düşük mesafe aynı soruları iyi yaptıkları anlamına gelir) ve burada kalıpları arayabilirsiniz. Bu daha kesin IMO olurdu.

— rm999

Levitt ve Dubner, Freakonomics'teki yaklaşımlarını açıklar ( freakonomicsmedia.com ).

— whuber

@ rm999 Açıklığa kavuşturmak için hilecilerin aynı soru grubuna erişimi vardı (örneğin sınav yönetiminden önce kısmi bir cevap anahtarı sızdırıldı). Kopyalamadan kaynaklanabilecek aldatmalarla ilgilenmiyorum. Bu belirsiz ise hafta sonu sorumu gözden geçireceğim.

— lockedoff

@whuber Teşekkürler, gazeteye bakacağım (yayınlandığı varsayılarak) Sesli kitabı dinledim, ancak hilecileri nasıl tanımladıklarının ayrıntılarını hatırlayamıyorum (öğrencilerin cevaplarını çeken öğretmenlerdi, inanıyorum).

— lockedoff

Freakonomics davasını hatırlarsam, (a) bir yıl öncesine kıyasla büyük bir zıplama olan aynı okulda / sınıftaki çocukları tespit etmeyi, (b) daha erken kolay sorular için farklı cevapları ve (c) özdeş sekanslarını takip etmeyi içerir. daha zor soruların cevapları;

— Henry

Yanıtlar:

Geçici yaklaşım

makul derecede güvenilir olduğunu varsayardım, çünkü çoğu hile yapmayan pek çok öğrencide tahmin edildi . Her öğrenci , soruları artan zorluk sırasına göre sıralayın, hesaplayın (not edin $\beta_i$ $i$ $j$ $\beta_i + q_j$ $q_j$ sadece sabit bir kayma) ve makul bir yerde eşikleyin (örneğin, p (doğru) <0.6). Bu, öğrencinin doğru cevap vermeyeceği bir dizi soru verir. Artık bunun ihlal edilip edilmediğini görmek için hipotez testini kullanabilirsiniz, bu durumda öğrenci muhtemelen aldattı (elbette modelinizin doğru olduğunu varsayarak). Bir uyarı, bu kadar az soru olması durumunda, testin güvenilir olması için yeterli veriye sahip olmayabileceğinizdir. Ayrıca, hangi soruyu aldattığını belirlemenin mümkün olduğunu sanmıyorum, çünkü her zaman% 50 tahmin şansı vardır. Ancak, birçok öğrencinin aynı soru grubuna erişebildiğini (ve aldattığını) ek olarak varsayıyorsanız, bunları öğrenciler arasında karşılaştırabilir ve hangi soruların şanstan daha fazla cevaplandığını görebilirsiniz.

Sorularla benzer bir numara yapabilirsiniz. Her bir soru için, öğrencileri göre , ekleyin (bu şimdi sabit bir ) ve eşik değeri eşik edin. Bu size, bu soruyu doğru cevaplayamaması gereken öğrencilerin bir listesini verir. Bu yüzden tahmin etmek için% 60 şansları var. Yine hipotez testi yapın ve ihlal edilip edilmediğine bakın. Bu, yalnızca öğrencilerin çoğu aynı soru grubunu aldattığı zaman işe yarar (örneğin sınavdan önce bir soru alt kümesi sızdıysa). $q_j$ $\beta_i$

İlkeli yaklaşım

Her öğrenci için, öğrencinin olup olmadığını belirten bir olasılıkla önceden bir olasılıkla Bernoulli'li bir ikili değişken vardır . Her soru için bir ikili değişken olduğu soru sızdırıldı belirten öncesinde bazı uygun Bernoulli ile yine. Sonra ikili değişkenler seti vardır öğrenci olmadığını belirten soruyu yanıtladı doğru. Eğer ve , ve daha sonra dağıtım olasılık 0.99 Bernoulli olup. Aksi halde dağıtım . Bunlar gözlenen değişkenlerdir. $c_j$ $l_i$ $a_{ij}$ $j$ $i$ $c_j = 1$ $l_i = 1$ $a_{ij}$ $logit(\beta_i + q_j)$ $a_{ij}$ $c_j$ ve gizlidir ve çıkarılmalıdır. Muhtemelen Gibbs örneklemesiyle yapabilirsiniz. Ancak diğer yaklaşımlar da mümkün olabilir, belki de kümeleme ile ilgili bir şey. $l_i$

— Sheldon Cooper
kaynak

Cevabınızın ilk bölümünü okudum ve umut verici olduğunu düşünüyorum. İki kısa not - bu çoktan seçmeli idi, bu yüzden doğru tahmin etme olasılıkları% 25 ya da% 20'dir. Sınavdan önce bir grup sorudan sızdığını varsayabiliriz. Buna Pazar veya Pazartesi günü geri dönecek.

— lockedoff

Daha karmaşık yaklaşımlara girmek istiyorsanız, madde cevap teorisi modellerine bakabilirsiniz. Daha sonra her sorunun zorluğunu modelleyebilirsiniz. Kolay olanları kaçırırken zor maddeleri doğru bilen öğrencilerin, bunun tersini yapanlardan daha hile yapma ihtimalinin yüksek olacağını düşünüyorum.

Bu tür bir şey yaptığımdan beri on yıldan fazla oldu, ama umut verici olabileceğini düşünüyorum. Daha fazla ayrıntı için psikometri kitaplarına bakın

— Peter Flom - Monica'yı yeniden
kaynak

Genellikle, hile yapmak veya tahmin etmek doğrudan bir IRM'ye dahil edilebilir. Bu aslında bir 3-PL modelinin yapmak istediği şeydir, çünkü zorluk , ayrımcılık ve tahmin etmenin bir maddeyi onaylama olasılığı için daha düşük bir asimptot görevi gören bir parametre içermesidir . Bununla birlikte, çoğu durumda gerçekçi olmadığı kanıtlanmıştır ve bunun yanında (eğitim testinde veya psikolojik değerlendirmede) diğer kişiye özel istatistikler geliştirilmiştir. Meijer, Kişiye Uygun araştırma: Giriş. APM (1996), 9: 3-8, anormal tepki kalıpları üzerinde güzel bir incelemeye sahiptir.

— chl

@chl Teşekkürler! Bunları yüksekokulda okudum, ama uzun zaman önceydi - son sınıfım 1996 ya da öylesine.

— Peter Flom - Eski Monica

@chl Önerileriniz için teşekkürler. Benim sorumumdaki model aslında bir madde yanıtı modelidir (sabit ayrımcılık parametresi olan bir Rasch veya 1PL modeli). Anormal bir performans sergileyen bireylere bakma önerisinin iyi bir başlangıç olduğunu düşünüyorum, ancak hile yapanların hile yaptığı öğelere verilen yanıtlarda korelasyon tarafından sağlanan ek bilgilerden yararlanan bir yaklaşım arıyorum. Örneğin, hilecileri tanımlamak için prosedürünüzü kullanırsak, benzer zorlu nesnelerde iyi performans gösterebileceklerini düşünebilirsiniz.

— lockedoff