Anketten yararsız soruların belirlenmesi

12

Bir anket geliştiriyorum. Güvenilirliğini ve geçerliliğini artırmak için istatistiksel yöntemler kullanmak istiyorum.

Cevapları hep aynı olan soruları ortadan kaldırmak istiyorum. Bu, neredeyse tüm katılımcıların bu sorulara aynı cevapları verdiği anlamına gelir.

Şimdi sorularım:

Kullanım bağlamından bağımsız olarak cevapları her zaman aynı olan bu işe yaramaz soruların teknik terimi nedir?
Bu tür soruları tanımlama yöntemleri nelerdir?

— maksimum
kaynak

4

Herkesin aynı cevabı verdiği sorular için özel bir isim bilmiyorum (belki başka biri yapar). Muhtemelen onlara 'bilgisiz' derim. Muhtemelen katılımcıların zamanını boşa harcamaktan başka zarar vermezler. Kesinlikle onlardan kurtulmalısınız, ancak daha genel olarak değerlendirmek istediğiniz gizli değişkenleri w / ('load on') ile ilişkili olmayan soruları bulmaya ve kaldırmaya odaklanabilirim.

— gung - Monica'yı eski

7

Temel kurallardan biri, katılımcıların% 80'i aynı cevabı verirse sorunun bilgilendirici olmamasıdır. AMA - bazen bunu bilmek istersiniz. "Katil misin" bu kuralın bilgilendirici bir sorusu değil, ama yeni bir oda arkadaşın olmadan önce bunu bilmek istersin. Yani zor ve hızlı bir kural yok.

— Jeremy Miles

4

Bu tür sorular (çok düşük değişkenlikle) ait oldukları özelliğin ölçüleri kadar kötüdür. Ancak bazen yalancı veya büzücü katılımcılarını izlemek için dahil edilir ve yardımcı olurlar.

— ttnphns

9

Hem klasik test teorisi (CTT) hem de madde yanıt teorisi (IRT), hangi öğelerin ölçmek istediğiniz gizli özelliğe katkıda bulunduğunu, hangilerinin desteklemediği konusunda rehberlik sağlayabilir. CTT ile, 1) madde zorluğu, 2) toplam puanla madde korelasyonu, 3) madde varyansı ve 4) öğe kaldırılırsa iç tutarlılık tahminleri üzerindeki etkiyi (örneğin, Cronbach alfa) düşünün.

Çok kolay veya çok zor olan nesneler konuyu ayırmaya yardımcı olma eğilimindedir (yüksek puan alanlar ve düşük puan alanlar arasında ayrım yapma). En iyi performans gösterenler arasındaki farkları ölçmeyle ilgilenmiyorsanız, kaldırılması için çok zor sorular düşünülmelidir. Benzer bir şekilde, çok kolay ürünler sadece düşük performans gösterenlerin performansıyla ilgileniyorsanız uygundur.

Tüm öğeler toplam puanla pozitif korelasyon göstermelidir ve bu korelasyon için 0.20 civarında bir alt sınır ayarlayabilirsiniz. Düşük korelasyonlar veya negatif korelasyonlar, anketinizde ifade problemleri olduğunu ve sorunun ters çevrilmesi gerektiğini gösterebilir.

Varyansları düşük (puanların değişkenliği) olan maddeler, konuları ayırmadıkları ve anketten toplanan bilgilere katkıda bulunmadıkları için kaldırılmaları düşünülmelidir. Çok yüksek değişkenliğe sahip öğeler, ölçmek istediğiniz yapı / özellikten başka bir şey ölçüyor olabilir.

İç tutarlılık tahmini, öğe kaldırıldığında iyileşirse, öğenin kaldırılması veya yeniden ifade edilmesi düşünülmelidir.

Herkesin düzelttiği öğeler bazen maksimum öğelerdir ve herkesin yanlış yaptığı öğeler bazen minimum öğeler olarak adlandırılır. Toplamaya çalıştığınız bilgilere katkıda bulunmazlar.

Yüksek miktarda bir anket geliştiriyorsanız veya anketi pazarlamayı planlıyorsanız, kesinlikle IRT'yi düşünmelisiniz. Ancak, geniş bir konu alanıdır ve gerçekten ilgilenmediğiniz sürece, muhtemelen buraya girmeye değmez.

Bu yardımcı olur umarım.

— doug.numbers
kaynak

4

Aradığın şeyin Materyal Yanıt Teorisi olduğuna inanıyorum. Bahsettiğiniz "işe yaramaz" sorular, ayrımcılığı zayıf olan öğelerdir. IRT analizini kullanarak anket katılımcıları tarafından ayrımcılık, zorluk ve ilgili tahmin tahminlerini hesaplayabilirsiniz. R programının IRT kullanımı için kolay bir paketi var ve diğer istatistiksel yazılım paketlerinin de yaptığını hayal ediyorum.

Hızlı bir genel bakış istiyorsanız wikipedia sayfası, ancak daha fazla araştırmanızı tavsiye ederim. http://en.wikipedia.org/wiki/Item_response_theory

— StatiStudent
kaynak