Anketleri doğrulama


12

Tezim için bir anket tasarlıyorum. İlk örnek grubuna bir Cronbach alfa testi uyguladığım anketi doğrulama sürecindeyim. Ankete verilen yanıtlar Likert ölçeğinde; geçerliliğini test etmeye yardımcı olmak için başka testler önerebilir. İstatistik konusunda uzman değilim, bu yüzden herhangi bir yardım takdir edilecektir.

Biraz araştırma yapıyordum ve bir Rasch analizi yapabileceğim görünüyor ki bu testi ve tavsiyeyi uygulamak için herhangi bir ücretsiz yazılım sitesi var mı?

Yanıtlar:


22

Anketinizin tek boyutlu bir ölçek olarak kabul edileceğini varsayacağım (aksi takdirde, Cronbach'ın alfa çok mantıklı değil). Bunu kontrol etmek için bir açımlayıcı faktör analizi yapmaya değer. Ayrıca, öğelerin ölçekle nasıl ilişkili olduğunu görmenize de izin verir (yani yüklemeleri aracılığıyla).

Öğelerinizi ve ölçeğinizi doğrulamak için temel adımlar şunları içermelidir:

  • öğelerin temel istatistikleri (aralık, çeyrekler, merkezi eğilim, tavan ve varsa zemin etkileri) hakkında eksiksiz bir rapor;
  • alfanızla yaptığınız gibi iç tutarlılığı kontrol etmek (en iyisi,% 95 güven aralığı verin, çünkü örneğe bağlıdır);
  • genel istatistiklerle (histogram + yoğunluk, kantiller vb.) özet ölçüyü (örn. toplam veya ortalama puan, aka ölçek puanı) tanımlayın;
  • değerlendirdiğiniz yapı ile ilgili olması gereken belirli ortak değişkenlere karşı özet yanıtlarınızı kontrol edin - buna bilinen grup geçerliliği denir;
  • mümkünse, aynı yapıyı ( eşzamanlı veya yakınsak geçerlilik) ölçtüğü iddia edilen araçlara karşı özet yanıtlarınızı kontrol edin .

Ölçeğiniz tek boyutlu değilse, bu adımların her alt ölçek için yapılması gerekir ve ayrıca ikinci dereceden faktör yapısını değerlendirmek için faktörlerinizin korelasyon matrisini de hesaba katabilirsiniz (veya yapısal denklem modellemesi veya doğrulayıcı faktör analizi kullanın veya ne istersen). Ayrıca, çok-özellikli ölçekleme veya Çok-özellikli çok-yöntemli modelleme (ölçekler içinde ve arasında interitem korelasyonlarına dayalı olarak) veya yine SEM'leri kullanarak yakınsak ve ayırt edici geçerliliği değerlendirebilirsiniz.

Ardından, anketinizi kısaltmak, farklı öğe işlevlerini gösteren bazı öğeleri filtrelemek veya testinizi bir tür bilgisayar uyarlamalı testte kullanmak istemiyorsanız , Madde Yanıt Teorisinin bu kadar yardımcı olmayacağını söyleyebilirim .

Her durumda, Rasch modeli ikili öğeler içindir. Çok boyutlu sipariş edilen ürünler için en yaygın kullanılan modeller:

  • notlandırılmış cevap modeli
  • kısmi kredi modeli
  • derecelendirme ölçek modeli.

Sadece son ikisi Rasch ailesindendir ve temel olarak bitişik bir olasılık formülasyonu kullanırlar, bu da konunun belirli bir yanıt kategorisini desteklemek için birkaç eşiği "geçmesi" gerektiği düşüncesiyle. Bu iki model arasındaki fark, PCM'nin eşiklerin teta ( yetenek veya latent özellikteki özne konumu) ölçeğinde eşit aralıklarla yerleştirilmemesidir . Kademeli yanıt modeli kümülatif oran formülasyonuna dayanır. Bu modellerin hepsinin ölçeğin tek boyutlu olduğunu varsaydığını unutmayın; yani, sadece bir gizli özellik vardır. Yerel bağımsızlık gibi başka varsayımlar da vardır (yani, cevaplar arasındaki korelasyonlar yetenek ölçeğindeki değişiklikle açıklanmaktadır).

Her neyse, Journal of Statistical Software: Special Volume: R'deki Psikometri'nin 20. cildinde R'de psikometrik yöntemleri uygulamak için çok eksiksiz bir dokümantasyon ve faydalı ipuçları bulacaksınız . Temel olarak, günlük işlerimde kullandığım en ilginç R paketleri: ltm , eRm , psych , psy . Diğerlerine CRAN görev görünümü Psikometri'de başvurulur . İlgilenilen diğer kaynaklar:

Ölçek geliştirme FA vs IRT kullanımına ilişkin iyi bir derleme uygulamada Ölçekli inşaat ve değerlendirmede bulunabilir: madde tepki kuramı uygulamaları karşısında faktör analizi gözden on tarafından, Holt ve arkadaşları (Psikolojik Test ve Değerlendirme Modelleme (2010) 52 (3): 272-297) 'de tarif edilmiştir.


11

Yukarıda belirtilen her şeyi desteklerken, aşağıdakileri yapmanızı öneririm (yeterince sırayla)

İlk olarak, R kullanmalısınız, eğer değilse başlatmalısınız. Aşağıdaki öneriler R'nin kullanımı ile ilgilidir.

Bu noktada, tanımlayıcı istatistikleri ve benzerlerini hesapladığınızı varsayacağım. Değilse, psych paketinin size ihtiyacınız olan istatistikleri vermesi gereken bir description () işlevi vardır.

Psych paketini CRAN'dan yükleyin. Psych paketini yükleyin. Verilerinizde fa.parallel rutinini kullanın. Bu size saklamanız gereken bir dizi faktör vermelidir. Ardından, VSS'yi (rutin) kullanın. Bu, size farklı (normalde) tutmanız gereken faktörleri veren MAP ölçütünü hesaplar. Her bir faktör için bir faktör analizi (ana bileşenler değil) ve eğik bir dönüş kullanın. Eğik bir rotasyondan sonra faktörleriniz birbiriyle ilişkili görünmüyorsa, ortogonal rotasyona geçin. Bu dik bir yapı olarak eğik bir dönüşten belirlenebilir, ancak tam tersi değildir.

MAP kriteri ile paralel analiz kriteri arasındaki tüm faktör çözümlerini çıkarın. Bunlardan hangisinin en uygun indekslere sahip olduğunu ve en anlamlı olduğunu belirleyin. Tutman gereken bu.

IRT'de, hem ltm hem de eRm kullandıktan sonra, eRm ile başlamayı öneririm. Modelleriniz için daha iyi grafik işlevlerine sahiptir ve çok modlu modeller için destek daha fazladır. Bununla birlikte, sadece Rasch modellerine uyar ve çoğu zaman psikolojik anketlerden elde edilen veriler onlar için gereksinimleri karşılamaz. İyi şanslar! Hiç şüphesiz keşfedeceğiniz gibi psikometri çok eğlenceli.


1
(+1) Kulağa hoş geliyor. IRT modelleme ve FA ile deneyiminizi paylaştığınız için teşekkür ederiz. Grafik işlevselliklerinin yanı sıra, eRm'deki koşullu yaklaşım, Rasta'nın (sabit bir parametre olarak) teta'nın ilk düşüncesi ile daha uyumludur.
chl

1

Anketin doğrulanması , ölçülmesi gereken şeyi ölçtüğünü kanıtlamak anlamına gelir. Demek istiyorum ki, bu çoğunlukla istatistiksel bir soru değildir ve anketinizin belirli içeriğini bilmeden cevaplanamaz. Cronbach alfa geçerliliği hakkında değil, ama biraz güvenilirliği ile ilgilidir iç tutarlılık, yaklaşık (veya kimse söyleyebiliriz olan sizin soruları birbirleriyle değiştirilebilir varsayarsak güvenilirlik - ama değiller).

Peki anketinizi doğrulamak için ne yapabilirsiniz? Hangi psikolojik süreçlerin belirli sonuçlara yol açtığını araştırabilirsiniz (örneğin, deneysel manipülasyonlarla bu tür kalıpları uyarmaya çalışarak veya yüksek sesle bir prosedür kullanarak ["protokol analizi", Ericsson ve Simon, 1992]). Ya da farklı skorlara sahip olması gereken bazı zıt grupları (örneğin kontrolleri olan hastalar) karşılaştırın. Veya ölçtüğünüz özellikle ilişkilendirilmesi gereken harici bir ölçütle ilişkilendirin. Veya özelliği Psikoskop (TM) ile ölçün ve bunu bir kriter olarak kullanın.

Diğer cevaplar, gerçekçi bir şekilde ne yapabileceğinizi belirtmek için daha yararlıdır - bunun çoğu, kesin olarak konuşmak gerekirse, geçerlilikle ilgili değildir (Chi'nin "bilinen grup geçerliliği" ve dış geçerliliğe ilişkin referansları hariç).

Geçerliliğe modern bir yaklaşım için Markus ve Borsboom'a (2013) da bakınız (bu ve diğer bazı yararlı referanslar @ Borsboom'un ana sayfası ).

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.