Bir 'tavan etkisi' meydana geldiği sonucuna varmak için hangi kriterler yerine getirilmelidir?

SAGE Sosyal Bilimler Araştırma Yöntemleri Ansiklopedisine Göre …

[a] tavan etkisi, bir önlemin potansiyel yanıtlar için belirgin bir üst sınıra sahip olması ve katılımcıların yoğun bir konsantrasyonunun bu sınıra yaklaşması veya bu sınıra yakın olması durumunda ortaya çıkar. Ölçek zayıflaması, varyans bu şekilde kısıtlandığında ortaya çıkan metodolojik bir sorundur. … Örneğin, bir tavan etkisi, yüksek bir skorun olumlu bir tutum gösterdiği ve en yüksek yanıtın mümkün olan en olumlu değerlendirmeyi yakalayamadığı bir tutum ölçüsü ile ortaya çıkabilir. … Tavan efektleri sorununa en iyi çözüm, sorunun erken tanımlanmasını sağlayan pilot testleridir . Bir tavan efekti bulunursa , [ve] sonuç ölçütü görev performansı ise, görev, olası yanıtların aralığını artırmak için daha zor hale getirilebilir. ¹ [vurgu eklendi]

Var gibi gözüküyor sürü ait tavsiyesi ve sorular ( burada ve yukarıdaki alıntıda tarif edilene benzer tavan etkiler göstermektedir verileri analiz ile uğraşan).

Sorum basit veya saf olabilir, ancak verilerde tavan etkisinin mevcut olduğunu nasıl tespit edebilirim ? Daha spesifik olarak, psikometrik bir test oluşturulduğunu ve tavan etkisine yol açtığından şüphelenildiğini (sadece görsel inceleme) ve daha sonra testin daha geniş bir değer aralığı üretmek için revize edildiğini varsayalım. Gözden geçirilmiş testin tavan etkisini oluşturduğu verilerden kaldırdığı nasıl gösterilebilir? Set verilerde bir tavan etkisi olduğunu gösterir bir test var mı bir ancak veri seti hiçbir tavan etkisi b ?

Benim saf yaklaşımım sadece dağıtım eğriliğini incelemek olacak ve eğer eğri değilse, tavan etkisi olmadığı sonucuna varacaksınız. Bu aşırı basit mi?

Düzenle

Daha somut bir örnek eklemek için, yaşla birlikte artan ancak sonunda düzleşen ve yaşlılıkta azalmaya başlayan bazı gizli x özelliklerini ölçen bir araç geliştirdiğimi varsayalım . 1-14 aralığı olan ilk sürümü yapıyorum, biraz pilotluk yapıyorum ve bir tavan etkisi olabileceğini görüyorum (maksimum 14 veya çok sayıda tepki, maksimum .. Bunu sadece Verilere bakıyorum ama neden? Bu iddiayı desteklemenin kesin bir yöntemi var mı?

Daha sonra ölçüyü, 1–20 aralığında olacak ve daha fazla veri toplayacak şekilde revize ediyorum. Trendin beklentilerime daha yakın olduğunu görüyorum, ancak ölçüm aralığının yeterince büyük olduğunu nasıl bilebilirim? Tekrar gözden geçirmem gerekiyor mu? Görsel olarak, iyi görünüyor, ancak şüphelerimi doğrulamak için test etmenin bir yolu var mı?

resim açıklamasını buraya girin

Bu tavan etkisini sadece bakmak yerine verilerde nasıl tespit edebileceğimi bilmek istiyorum. Grafikler teorik değil gerçek verileri temsil eder. Enstrümanın menzilini genişletmek daha iyi bir veri dağılımı yarattı, ama bu yeterli mi? Bunu nasıl test edebilirim?

¹ Hessling, R., Traxel, N. ve Schmidt, T. (2004). Tavan Etkisi. Michael S. Lewis-Beck, A. Bryman ve Tim Futing Liao (Eds.), SAGE Sosyal Bilimler Araştırma Yöntemleri Ansiklopedisi . (s. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— tavan
kaynak

İlerlemek için, birinin "tavan etkisi" nin operasyonel bir tanımını bulması gerekir. Genel olarak bunu yapmak sorunlu olabilir: sonuçta, neredeyse herhangi bir ölçülen miktar, bir test skorunda veya kimyasal konsantrasyonda% 100, bir cihazın okuyabileceği şeyin üst limiti ve benzeri gibi bir değeri gerçekçi bir şekilde aşamaz. tüm veriler bazı doğal üst sınırlara tabidir. Dolayısıyla, "tavan etkisi" nin amaçlanan anlamı güzel örneklerinizden sezgisel olarak açık olsa da, verilerinizden neyin "kaldırılması" gerektiğini tam olarak açıklığa kavuşturarak bize yardımcı olabilirsiniz .

— whuber

@whuber, terimin birkaç farklı şekilde kullanıldığı konusunda haklısınız, ancak bu durumda, ölçmek istediğim tüm şeyleri aşacak kadar uzun bir cetvel yapmaktan bahsediyorum. Testler oluştururken, hiç kimsenin% 100 almaması için mutlaka bir dizi zorluğa sahip yeterli öğe eklemek istersiniz, aksi takdirde o kişinin yeteneğinin testin sınırı veya daha yüksek olup olmadığını bilemezsiniz. Verilerden hiçbir şey çıkarılmasına gerek yoktur, ancak cihazın sansürlenmiş veri noktaları verene kadar revize edilmesi gerekir.

— tavan

Teşekkür ederim. Yine de, "tavan etkisi" ile ne demek istediğinizden emin değilim, çünkü çizimlerinizden hiçbiri herhangi bir sansürle ilgili açık kanıt göstermiyor - en azından bir testle elde edilen türün sabit sansürleme sınırları ile değil. Aslında, sol panelden sağ panele değişim, dikey eksenin bire bir doğrusal olmayan yeniden ifadesine benziyor, bu da verilerdeki herhangi bir tavan üzerinde hiçbir etkisi olmayacaktı. Bu, regresyon artıklarının asimetrisi gibi tamamen farklı bir şey hakkında gerçekten endişelenip endişelenmediğinizi merak ediyor.

— whuber

Noktaların çoğu üst üste geldiği için @whuber titreşimi eklendi. Grafikler sorumla ilgili görünmüyorsa, açıkçası neden bahsettiğim hakkında hiçbir fikrim yok. Bana göre, Hessling, Traxel ve Schmidt tarafından tarif edildiği gibi bir tavan etkisi var gibi görünüyor, ancak yorumlarınıza ve bu soruya olan ilgi eksikliğine dayanarak, belki de hiçbir şeyin olmadığı bir sorun görüyorum. Önerileriniz ve fikirleriniz için teşekkür ederiz. Bunu takdir ediyorum.

— tavan

@Johan anlıyorum. Sorunuzun ruhuna göre, fikrinizde küçük bir değişiklik yapılması iyi bir şey olabilir. Kalıntıların normal olarak dağıtılması gerektiğini düşünmek için nedenimiz yoksa, kalan dağılımların tepkinin düşük olduğu ve muhtemelen tepkinin yüksek olduğu yerde kesildiği tepkinin monoton bir dönüşümünü bulmaya çalışabiliriz. Başka bir deyişle, belki de test normallik için olmamalı, ancak yanıtın tutarlı bir şeklini ve ölçeğini aramalıdır .

— whuber

Yanıtlar:

Öncelikle, her iki grafiğin de bir tavan etkisi olduğunu bana açık bir şekilde kanıtladığını söylemek isterim. Bu etkiyi görsel olarak ölçmek yerine nasıl ölçmeye çalışacağım, gözlemlerin önemsiz olmayan bir kısmının enstrüman aralığının üst sınırına yakın olduğu sürece gözlemlemek olacaktır. Tipik olarak, bir tavan etkisi her zaman test katılımcılarının testte maksimum puanı alan önemsiz olmayan bir kısmı olduğu sürece var olacaktır.

Bununla birlikte, test analizi teknolojisi, bir enstrümandaki puanları doğru skora göre doğrudan yorumlamamız gerektiğinden uzun bir yol kat etti. Artık her bir öğenin öğe parametrelerini tahmin etmek için Öğe Yanıt Teorisi'ni kullanabilir ve bu öğeleri konu yeteneğini belirlemek için kullanabiliriz. Testi çok kolay yaparsak, elbette bir test üzerinde tavan etkileri olabilir. Bununla birlikte, madde tepki teorisinin güçleri nedeniyle, popülasyonun tavana çarpan önemsiz bir kısmını ancak önleyecek şekilde en az birkaç yüksek zorluk derecesine sahip enstrümanı yerleştirebilmeliyiz.

Soru için teşekkürler. Çok ilginç!

— Francis Smart
kaynak

Sanırım kaba ve hazır bir yol, ölçek arttıkça varyansı ölçmek olacaktır. Bu bir azalma gösteriyorsa, bu bir tavan etkisinin kanıtıdır ve eğer değilse tavan etkisi yoktur. Homojen bir varyans grafiği yapabilirsiniz. Levene testi, ölçeğin farklı noktalarında varyansın farklı olup olmadığını belirlemek için yararlı olabilir.

— user45114
kaynak

fikir için teşekkürler. Deneyeceğim, ancak bu durumda varyansın yaşla birlikte doğal olarak azalmasını bekliyorum.

— tavan

Tavan, hem bu cevabı hem de yorumunuzu iki farklı kavram karıştırıyor gibi görünüyor. Ölçek varyans bir deneğin tekrar bağımsız ölçümün dağılmasını yansıtır; özneye bağlı olmadığı, muhtemelen öznenin ortalama yanıtına göre değiştiği varsayılmaktadır. Sizin ve bu cevabın bahsettiği varyans, regresyon artıklarının varyansıdır. İlişkili olmalarına rağmen aynı şey değiller.

— whuber

@whuber bunu işaret ettiğiniz için teşekkürler. Bu arada, güncelleme grafiği ve bilgileriyle tavan etkisi hakkında hala bir kanıt görmüyor musunuz? Verilerin tavan efektleri ile analiz edilmesine ilişkin birçok soru ve cevaplar göz önüne alındığında, bu sorunun neredeyse hiç ilgi görmediğine şaşırdım.

— tavan

Selam. Denekler içinde değil ölçek ölçeği arttıkça denekler arasında varyans çizdiğiniz sürece, bu size tavan efektleri hakkında bir şey söylemez mi? - ölçek arttıkça Levene'nin testini varyanstaki önemli değişiklikleri test etmek için kullanmaya devam edebilir misiniz? ya da bu sadece öznedeki değişken değişiklikleri test etmek için mi tasarlandı? Ölçek "artıkların varyansı" gibi "ölçek varyansı" dışında arttıkça farklı insanların puanlarının varyasyonunu tanımlamak için farklı bir terim mi kullanmalıyız? Levene'nin testi, "artıkların varyansı" nın ölçek boyunca aynı olduğunu göstermek için kullanılabilir

— user45114

En yüksek veya en düşük nokta etrafındaki kümelenmenin tavan / zemin etkisine bağlı olup olmadığına karar vermede kritik sorun, vakaların değerlerinin değeri gerçekten "temsil edip etmediği" dir. Tavan / zemin etkileri meydana geldiğinde, maksimum veya minimum değerin varsayılmasına rağmen, vakaların bazıları aslında maksimum veya minimum değerden daha yüksek / daha düşüktür (bir yetişkinin ve çocuğun her ikisinin de ölçtüğü iddia edilen son derece basit bir matematik testini bitirdiğini hayal edin birinin matematik yeteneği ve her ikisi de% 100 puan). Burada veriler sansürlenir.

Başka bir senaryo, içsel üst ve alt limitleri olan Likert benzeri bir ölçek gibi sınırlı ölçekler kullandığımızda da mümkündür. En yüksek puanı alanların gerçekten de bu puan değerinde olması ve en yüksek puanı alanların hiçbirinde (yukarıdaki matematik örneği gibi) hiçbir farkın olmaması mümkündür. Böyle bir durumda, veri sansürlenmemiş sınırlarda kesilir.

Yukarıdaki muhakemeye dayanarak, herhangi bir veri kümesini veri kesme ve veri sansürü ile uydurmak için bir prosedür tasarlamalıdır. Sansürleme modeli verilere en iyi uyuyorsa, bence bir tavan / zemin efektinin mevcut olduğu sonucuna varabilir.

— wuy3814
kaynak