Madde cevap teorisi ve hangi yazılımı kullanacaksınız?

bağlam

Madde cevap teorisi hakkında okuyordum ve onu büyüleyici buluyorum. Temelleri anladığına inanıyorum, ancak alanla ilgili istatistiksel teknikleri nasıl uygulayacağımı merak ediyorum. Aşağıda, ITR'de uygulamak istediğim alana benzer iki makale bulunmaktadır:

• http://www.jstor.org/stable/4640738?seq=7
• http://www.ncbi.nlm.nih.gov/pubmed/21744971

İkincisi, aslında bu zamanda bu noktada genişletmek istiyorum.

JMetrik adlı ücretsiz bir program indirdim ve harika görünüyor. IRT'ye kadar çok basit olabileceğini düşünüyorum ama emin değilim.

"En iyi" yolun muhtemelen R öğrenmesini içereceğini biliyorum; Ancak, bu öğrenme eğrisi ile başa çıkmak için zaman ayırabilir miyim bilmiyorum. Yazılım satın almak için bir miktar kaynağımız olduğunu unutmayın, ancak gördüğüm kadarıyla orada harika bir IRT programı yok gibi görünüyor.

Sorular

• JMetrik'in etkinliği hakkındaki düşünceleriniz neler?
• IRT başvurusunda ilerlememi nasıl önerirsin?
• IRT uygulamak için en iyi programlar nelerdir?
• Herhangi biriniz düzenli olarak IRT kullanıyor mu? Öyleyse nasıl?

IRT'ye iyi bir başlangıç ​​olarak, her zaman öğenin yanıt teorisine ilişkin görsel bir kılavuz okumanızı öneririm .

Mevcut bir yazılım araştırması www.rasch.org adresinde bulunabilir .

Tecrübelerime göre, Raschtest (ve ilişkili) Stata komutlarını, birinin bir parametreli modele uymakla ilgilendiği çoğu durumda çok kullanışlı buldum . Daha karmaşık tasarım için GLLAMM'ye başvurulabilir ; De Boeck ve Wilson'ın kitabına, Açıklayıcı Ürüne ve Yanıt Modellerine dayanan güzel bir çalışma örneği var (Springer, 2004).

Özellikle R hakkında, son beş yılda mevcut olan çok sayıda paket var, örneğin ilgili CRAN Görev Görünümü . Bunların çoğu bir tartışılmaktadır özel sayısında ait İstatistiki Journal of Software (Vol. 20, 2007). Başka bir cevapta tartışıldığı gibi, ltm ve eRm , çok çeşitli IRT modellerinin sığmasına izin verir. Farklı bir tahmin yöntemine dayandıklarından dolayı - şartlı yaklaşımı kullanırken ltmmarjinal yaklaşımı eRmkullandı --- birini ya da diğerini seçmek temel olarak uygun olanı seçin (eRm 2- veya 3 parametreli modellere uymayacak) ve takip ettiğiniz ölçüm hedefi: kişi parametrelerinin koşullu tahmini bazı güzel psikometrik özelliklere sahipken, marjinal bir yaklaşım, aşağıdaki iki makalede tartışıldığı gibi kolayca karışık etkiler modeline geçmenizi sağlar :

• Doran, H., Bates, D., Bliese, P. ve Dowling, M. (2007). Çok Düzeyli Rasch Modelinin Tahmini: lme4 Paketi ile . İstatistiksel Yazılım Dergisi , 20 (2). Ayrıca Doug Bates'un R-forge'deki slaytlarına bakın
• De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F. ve Partchev, I. (2011). L .4 Fonksiyonundaki Madde Cevap Modellerinin R'deki lme4 Paketinden Tahmini . İstatistiksel Yazılım Dergisi , 39 (12). Ayrıca yukarıda belirtilen De Boeck'in el kitabına ve bu bildiriye bakınız.

MCMC yöntemlerini kullanarak Rasch modellerine uymanın bazı olasılıkları da vardır, örneğin, örneğin MCMCpack paketine (veya WinBUGS / JAGS'a bakın, ancak bakınız Madde Cevap Teorisi için BUGS Koduna , JSS (2010) 36).

IRT modellemesi konusunda SAS konusunda deneyimim yok, bu yüzden bunu SAS programlamaya daha çok hevesli birine vereceğim.

Diğer özel yazılımlar (çoğunlukla eğitim değerlendirmesinde kullanılır): RUMM, Conquest, Winsteps, BILOG / MULTILOG, Mplus ( wikipedia'da zaten mevcut olan listeden alıntı yapmayan ). Hiçbiri kullanmakta serbesttir, ancak bazıları için zaman sınırlı gösterim sürümü önerilmiştir. Bulduğum jMetrik ben (bir yıl önce) çalıştığımızda çok sınırlı ve tüm işlevleri, Keza R. zaten mevcuttur ConstructMap güvenle ile değiştirilebilir lme4 gösterildiği gibi, sadaka yukarıda bağlantılı. Ayrıca mdltm, Rasch modelleri için, kitapta eşlik etmesi gereken von Davier ve coll. Karışım Rasch modelleri için de (Çok Boyutlu Ayrık Gizli Özellik Modelleri) bahsetmeliyim .Çok Değişkenli ve Karışım Dağılım Rasch Modelleri (Springer, 2007).

İlk soruya, jMetrick hakkında hiçbir bilgim yok.

IRT'nin uygulanmasında, (başka herhangi bir istatistiksel prosedürde olduğu gibi), ilk adım, onu mümkün olduğu kadar çok farklı türde verilerle kullanmaktır. Bir öğrenme eğrisi var, ama buna değer olduğuna inanıyorum.

IRT'nin önemli bir özelliği, Rasch modelleri ile IRT modelleri arasındaki farktır. Farklı insanlar tarafından farklı amaçlar için geliştirildiler. Söylendiği gibi, IRT modelleri Rasch modellerinin bir üst kümesidir.

Rasch modelleri bir parametre modelidir - bir anketteki tüm maddelerin gizli özellik için eşit derecede öngörücü olduğunu varsaymaktadırlar.

Bununla birlikte IRT modelleri, soruların katılımcıların yetenekleri hakkında bilgi sağlama yeteneklerinde farklılık göstermelerini sağlayan iki parametre modelidir.

Ayrıca, IRT modellerine benzeyen üç parametre modeli vardır, ancak katılımcıların doğru cevabı tesadüfen doğru cevaplayabilmelerini hesaba katan bir tahmin parametresine izin vermeleri dışında bir tahmin parametresi vardır (bu, kişilik testlerinden ziyade daha önemli bir konudur).

Ek olarak, bir kerede çoklu gizli yetenekleri tahmin eden çok boyutlu IRT vardır. Bu konuda fazla bir şey bilmiyorum, ama daha fazla bilgi edinmek istediğim bir alan.

Dikhotomous ve polytomous IRT yöntemleri arasında da bir ayrım vardır. Diktopik IRT modelleri, doğru ve yanlış cevabı olan yetenek testlerinde kullanılanlardır. Polytomous IRT modelleri, eşit derecede doğru olan (doğru cevap olmadığı anlamında) çoklu cevapların olduğu kişilik testlerinde kullanılır.

Ben şahsen madde cevap teorisi için R kullanın. Kullandığım, eRmyalnızca Rasch modellerine ltmuyan ve madde yanıt teorisi modellerine uyan iki ana paket var (iki ve üç parametre modeli). Her ikisi de benzer işlevselliğe sahiptir ve her ikisi de iki boyutlu IRT modelleri için daha fazla rutin sağlar. R'nin IRT için "en iyisi" olup olmadığını bilmiyorum, mevcut IRT modellerinin çoğuna sahip değil, ancak kesinlikle en genişletilebilir olanı, bu modelleri nispeten kolayca programlayabiliyor.

Neredeyse münhasıran polipüler modeller için RT'yi kullanıyorum, R'de tipik olarak mokkenvarsayımları test etmek için parametrik olmayan IRT yöntemleriyle (pakette verilmiştir ) başlıyorum ve daha sonra uygun bir uyum sağlamak için gereken daha fazla karmaşıklık ekleyerek bir rasch modeliyle devam ediyorum .

Çok boyutlu IRT için, bu işlevi sağlayan `mirt 'paketi vardır. Kullanmadım, bu yüzden gerçekten yorum yapamam.

Bu paketleri R'ye yüklerseniz ve 'vignette ("packagename")' işlevini çağırırsanız, sizin için yararlı olabilecek bazı yararlı vinyetler (kesinlikle eRmve mokkenmuhtemelen diğerleri için) almanız gerekir (düzeyinize bağlı olarak) matematiksel karmaşıklık).

Son olarak, rasch ve irt modelleri için mevcut çok sayıda iyi kitap vardır. Psikologlar için materyal cevap teorisi sıklıkla kullanılır (tarzı beğenmesem de) ve teknik gelişmişlik zincirini daha da geliştirdi, iki son derece kapsamlı ve faydalı ders kitabı var - Modern Madde Yanıt Teorisi ve Rasch Modelleri El Kitabı : Temeller, Son Gelişmeler ve Uygulamalar .

Umarım bu yardımcı olur.

jMetrik düşündüğünüzden daha güçlü. Araştırmacıların tek bir birleşik çerçevede birden fazla prosedüre ihtiyaç duyduğu operasyonel çalışmalar için tasarlanmıştır. Şu anda Rasch, kısmi kredi ve derecelendirme ölçeği modelleri için IRT parametrelerini tahmin edebilirsiniz. Ayrıca Stocking-Lord, Haebara ve diğer yöntemlerle IRT ölçeğinin bağlanmasını sağlar. Entegre bir veritabanı içerdiğinden, IRT tahmininden elde edilen çıktı, veri dosyalarının yeniden şekillendirilmesine gerek kalmadan ölçekleme bağlantısında kullanılabilir. Ayrıca, tüm çıktılar jMetrik'te veya R gibi harici programlarda diğer yöntemlerle kullanım için veritabanında depolanabilir.

Ayrıca GUI yerine komut dosyalarıyla çalıştırabilirsiniz. Örneğin, arama kodu (a) veriyi veritabanına aktaracak, (b) maddeleri bir cevap anahtarıyla puanlayacak, (c) Rasch modeli parametrelerini tahmin edecek ve (d) verileri CSV dosyası olarak verecektir. Son çıktı dosyasını daha ileri analizler için R'ye girdi olarak kullanabilir veya doğrudan jMetrik veritabanına bağlanmak ve sonuçlarla çalışmak için R'yi kullanabilirsiniz.

#import data into database
import{
     delimiter(comma);
     header(included);
     options(display);
     description();
     file(C:/exam1-raw-data.txt);
     data(db = testdb1, table = EXAM1);
}

#conduct item scoring with the answer key
scoring{
     data(db = mydb, table = exam1);
     keys(4);
     key1(options=(A,B,C,D), scores=(1,0,0,0), variables=  (item1,item9,item12,item15,item19,item21,item22,item28,item29,item30,item34,item38,item42,item52,item55));
     key2(options=(A,B,C,D), scores=(0,1,0,0), variables=(item4,item6,item16,item18,item24,item26,item32,item33,item35,item43,item44,item47,item50,item54));
     key3(options=(A,B,C,D), scores=(0,0,1,0), variables=(item3,item5,item7,item11,item14,item20,item23,item25,item31,item40,item45,item48,item49,item53));
     key4(options=(A,B,C,D), scores=(0,0,0,1), variables=(item2,item8,item10,item13,item17,item27,item36,item37,item39,item41,item46,item51,item56));
}

#Run a Rasch models analysis.
#Item parameters saved as database table named exam1_rasch_output
#Residuals saved as a databse table named exam1_rasch_resid
#Person estimates saved to original data table. Person estimate in variable called "theta"
rasch{
     center(items);
     missing(ignore);
     person(rsave, pfit, psave);
     item(isave);
     adjust(0.3);
     itemout(EXAM1_RASCH_OUTPUT);
     residout(EXAM1_RASCH_RESID);
     variables(item1, item2, item3, item4, item5, item6, item7, item8, item9, item10, item11, item12, item13, item14, item15, item16, item17, item18, item19, item20, item21, item22, item23, item24, item25, item26, item27, item28, item29, item30, item31, item32, item33, item34, item35, item36, item37, item38, item39, item40, item41, item42, item43, item44, item45, item46, item47, item48, item49, item50, item51, item52, item53, item54, item55, item56);
     transform(scale = 1.0, precision = 4, intercept = 0.0);
     gupdate(maxiter = 150, converge = 0.005);
     data(db = testdb1, table = EXAM1);
}

#Export output table for use in another program like R
export{
     delimiter(comma);
     header(included);
     options();
     file(C:/EXAM1_RASCH_OUTPUT.txt);
     data(db = testdb1, table = EXAM1_RASCH_OUTPUT);
}

Yazılım hala geliştirme aşamasındadır. Şu anda keşfedici faktör analizi ve daha gelişmiş madde cevap modelleri ekliyorum. Diğer birçok IRT programından farklı olarak, jMetrik açık kaynak kodludur. Bütün ölçüm prosedürleri, GitHub, https://github.com/meyerjp3/psychometrics adresinde mevcut olan psikometri kitaplığını kullanır . Katkıda bulunmak isteyen herkes bekliyor.

Burada oldukça geniş bir soru listesine sahipsiniz, ancak birçok araştırmacı için oldukça ilgili!

IRT'de ilerlemenizi şiddetle tavsiye ediyorum, ancak yalnızca durumunuz gereksinimleri karşılarsa. Örneğin, kullandığınız test türlerine iyi bir uyum sağlar ve muhtemelen en önemlisi gerekli örnek boyutlarına sahip olmanızdır. Dikotosik çoktan seçmeli veriler için, 3PL modelini ("objektif ölçüm" ün Rasch argümanı dikkat çekici şekilde zorlayıcı değildir) ve 500-1000 genellikle minimum örneklem büyüklüğüdür. Tahmin etmeden iki boyutlu veriler, ifadelere Y / N yanıtları olan psikolojik araştırmalar gibi, 2PL ile iyi çalışır. Derecelendirme ölçeğiniz veya kısmi kredi verileriniz varsa, özellikle bu durumlar için tasarlanmış çok amaçlı modeller vardır.

IMHO, IRT uygulamak için en iyi program Xcalibre'dir. Nispeten kullanıcı dostudur (herhangi bir nedenden dolayı istersen basit GUI'nin yanı sıra bazı komut satırı toplu türünde) ve yüksek düzeyde okunabilir çıktılar üretir (MS Word, geniş tablolar ve şekillerle raporlar). Bunun tersine sebeplerden dolayı R kullanılmasını tavsiye ederim. Tabii ki dezavantajı ücretsiz olmaması, ancak söyledikleri gibi ödediğinizin karşılığını alma eğilimindesiniz. Tam açıklama, örnek çıktı ve ücretsiz deneme sürümü www.assess.com adresinde bulunabilir .

Bu sırada Frank Baker, Baker Frank B., Seock-Ho Kim tarafından yeni bir kitap yayınlandı . R. Springer Uluslararası Yayıncılık Kullanarak Madde Tepki Teorisinin Temelleri (2017) . R paketlerinden yararlanmaz, ancak snippet'ler sunar.

Öz bilgi ile IRT R paketlerin (kalabalık) listesi mevcuttur CRAN .