Mantıksız anket cevapları nasıl tedavi edilir

Bir grup sanatçıya anket gönderdim. Sorulardan biri, sanatsal faaliyet, devlet desteği, bireysel emeklilik, sanatla ilgili olmayan faaliyetlerden elde edilen gelir yüzdesini göstermekti. Bireylerin yaklaşık% 65'i, yüzde toplamı 100 olacak şekilde cevap vermiştir. Diğerleri: örneğin, gelirlerinin% 70'inin sanatsal faaliyetlerinden ve% 60'ının gelir hükümetinden kaynaklandığını cevaplayanlar vardır. , ve bunun gibi. Sorum şu: bu gözlemlere nasıl davranmalıyım? Bunları silmeli, değiştirmeli veya saklamalıyım? Teşekkür ederim!

Bu duyarlılık analizi için iyi bir durumdur. Verilerinizi üç yoldan biriyle analiz edin -

1. Oldukları gibi
2. "Mantıksızlıkları" hariç tuttuktan sonra, yani yüzdeleri 100'e (veya 100 +/- 10) kadar eklemeyen kişiler
3. Gerektiğinde ayarladıktan sonra, her bir kişinin yüzdesi 100'e kadar eklenir

Ardından sonuçları karşılaştırın, hangi sonuçların daha doğru veya belirli açılardan daha doğru olabileceği konusunda geliştirebileceğiniz herhangi bir mantığı paylaşın.

Ayrıca, mantıksal ve mantıksız olanların farklı olma yollarını da araştırabilirsiniz. Mantıksızlar daha yüksek gelir bildirme eğiliminde mi? Belirli fikirlere veya programlara daha fazla destek göstermek için? Daha fazla soru atlamak için? Orta tepkileri veya aşırı tepkileri düzleştirme veya orantısız olarak seçme anlamında daha fazla önyargı uyandırmak için mi?

400 veya bunların illogicals hakkında, yeterli veriye sahip olan hatta arasındaki ilişkiyi değerlendirmek için dereceye önyargı belirli bir türden mantıksızlığının ve derecesi. Doz-cevap ilişkisi gibi bir şey.

Bu araştırmalardan öğrendikleriniz, ana ilgi analizleri söz konusu olduğunda mantıksızlarla başa çıkma planınıza geri beslenebilir.

Zaten ima edildiği gibi burada , bu cevaplar mutlaka mantıksız değildir. Örneğin,

Diğerleri: örneğin, gelirlerinin% 70'inin sanatsal faaliyetlerinden ve% 60'ının gelir hükümetinden kaynaklandığını cevaplayanlar vardır.

Gelirin% 30'u hükümet için yapılan sanatsal faaliyetlerden kaynaklanıyorsa, bu çok mantıklıdır. O zaman gerçekten üç grubumuz var:

• Devletle ilgisi olmayan sanatsal faaliyet:% 40.
• Sanatsal faaliyetle ilgisi olmayan hükümet:% 30.
• Devlet tarafından sübvanse edilen sanatsal faaliyet:% 30.

Bu rakamlar% 100'e kadar çıkıyor.

Aşağıdaki soruları düşünün:

• Gıda damgaları hükümet veya faaliyetler sanatla ilgili değil mi?
• Sosyal Güvenlik hükümeti veya emeklilik maaşı mı?
• Devlet emekli maaşı (eski devlet memuru) özel emeklilik mi yoksa devlet midir?
• Bir hükümet resim sanat faaliyeti veya hükümet boyamak için hibe veriyor mu?
• Bir meslek okulu yerel bir okul hükümetinde öğretiliyor mu, yoksa sanatsal faaliyet mi yoksa sanatla ilgili olmayan faaliyetler mi?
• Sanattaki bir işten emekli ise (öğretim veya ticari, örneğin hediye kartı çekmek), emeklilik özel veya sanatsal etkinlik midir? Veya öğretim durumunda, muhtemelen hükümet?

Bu kategorilerin birbirini dışlayan olmasını istersiniz. Ancak herkesin onları bu şekilde yorumlayacağını sanmıyorum. Bu faaliyetlerin nasıl kategorilere ayrılması gerektiğine dair net düşünceleriniz olabilir, ancak yanıtlayanların yanıt verdiklerinde aynı bölümleri akıllarında tuttukları açık değildir. En azından, sayıların% 100'e eklenmesini istiyorsanız, insanlara bunu söylemelisiniz.

Şahsen, bu tür bir soruna en iyi yaklaşımın bir çeşit odak grubu yapmak olduğunu düşünüyorum. Geleneksel bir ankette cevapları doğrulayamayabilirsiniz. Bu nedenle, anket tarafından hedef alınacak kişileri arayın veya ziyaret edin ve bir görüşme başlatın. Sonra anlamadığınız cevaplar verdiklerinde, onlara nedenini sorun. Ve bunun ötesinde, istediğiniz soruyu elde edebilmeniz için soruyu nasıl sormanız gerektiğini sorun. Bu, etkileşimli olması nedeniyle daha çok bir odak grubu gibi çalışır.

Bunu yaptıktan sonra, biçiminize uymayan yanıtları nasıl ele alacağınız hakkında daha iyi bir fikir edinebilirsiniz. Örneğin,% 30 ekstra alabilir ve her birinden yarısını çıkarabilirsiniz. O zaman% 55 sanatsal etkinliğiniz ve% 45 hükümetiniz olur. Veya% 40 özel sanatsal etkinlik,% 30 devlet destekli sanatsal etkinlik ve% 30 diğer olarak kategorize edebilirsiniz (bu durumda, resmi faaliyetlerle ilgili olmayan hükümet desteği, örneğin gıda pulları veya kira desteği). Ya da anketi atın ve yeniden yapın, çünkü insanlar kategorilerinizi doğru şekilde anlamıyor. Bunun bir kısmı kategorileri ne anladığınıza ve nasıl yorumladıklarına bağlıdır.

Şimdi çok geç, ancak gelecekteki anketler için, anketten önce düzenli bir odak grubu yapmayı düşünün. Daha sonra sorularınızı grup ortamında test edebilir ve geliştirebilirsiniz. Hatta gruptan başka sorularınız olduğunu görebilirsiniz. Bunu bizzat yapmak çok zorsa, çevrimiçi yapmayı düşünün. Veya gerçek anketi yapmadan önce telefonla kişisel olarak bir test anketi (daha az sayıda insandan, takip sorularıyla yanıtları doğrulama) yapın. Bunlardan herhangi biri sorularınızı daha net hale getirmenize yardımcı olabilir.

Örneğin, gerçek kategorileriniz sanatsal etkinliklerden elde edilen özel gelir olmalıdır; devlet destekli sanatsal etkinlik; eski bir işten bireysel emeklilik; sanatsal faaliyetle ilgisi olmayan diğer gelirler. Ya da farklı bir şey. Sorunun bir parçası, ne istediğini söyleyemem, bu da katılımcıların da yapamayacağını düşündürüyor. Üç farklı yorum varsa, neredeyse üç farklı anketten gelen yanıtları karıştırıyor gibisiniz.

Genel mantıksız tepki durumu için size cevap veremem. Ama bu tür bir soru için - orada bulundum, bunu yaptım. Sadece bir ankette değil, aynı zamanda insanların bu tür bir cevapla nasıl karşılaştıklarını gözlemleme şansım olan yarı yapılandırılmış görüşmelerde de. Buna dayanarak, bilişsel süreçleri gözlemleme ve analiz etme konusunda bazı genel deneyimlere dayanarak şunu öneririm: verilerinizi% 100'lük bir miktara normalleştirin . Bunun nedeni, insanların ilk önce en göze çarpan kategoriye gittiği görülüyor - sizin durumunuzda, bu en büyük gelir olacak - yüzde olarak bağırsak hissi tahmini veriyor, ardından bir sonraki küçük kategorileri düşünmeye başlıyor ve tahmin akrabalarını temel alıyor ilk kategorinin çapasına ek olarak daha önce bahsedilen kategorilerin çapasına ekleyin.

Örneğin, bir düşünce treni şöyle olacaktır: "İlk gelir kaynağım kesinlikle yarıdan fazla. Ne yapar,% 60? Hayır, bu çok düşük, diyelim% 65. İkincisi bunun yaklaşık üçte biri , yani bu% 20'den biraz daha fazla, uh, kafamda hesaplamak zor,% 25'e kadar çıkalım, üçüncüsü de ilkinin üçte biri gibi geliyor, ama aslında her zaman biraz daha fazla İkincisi, bu yüzden% 30 olmalı, hatta 35? Hayır, hadi 30 ile gidelim. Oh, ve dördüncü bir kaynağım olduğunu unuttum, bu sadece yılda bir kez gerçekleşiyor, bu diğerlerine göre gerçekten küçük olmalı, yani % 5 veya% 10? Olasılık 5 daha yakın, gerçekten o kadar değil ". Ve böylece 65 + 25 + 30 + 5 =% 125 cevap ile sonuçlanırsınız.

İnsanlar, gelir bölümlerinin göreceli büyüklüğünün, her bir bölümün toplamına göre daha fazla farkında olma eğiliminde olduklarından, gelir üzerinde bir tür sayısal analiz yapmak istiyorsanız, burada normalleştirmenin burada olduğunu söyleyebilirim. . Raporlanan gerçek sayılarla çalışarak, insanların gelirleri ve nesnel gerçeklikleri hakkındaki inançları ve ifadeleri arasındaki fark, işiniz için önemli bir konuysa, örneğin bilişsel önyargıları inceleyen bir psikologsanız veya ekonomik koşullarından ziyade sanatçıların öz algısı.

Ne yazık ki, tarif ettiğim gibi gerçekten işe yaradığını kanıtlamak için iyi bir literatür kaynağım yok, sadece kişisel ampirik gözlemim. Ancak, diğer cevapların söylediği gibi, bunu tedavi etmek için tek bir "doğru" yol olmadığı için, yorumcuların bu tür bir karara yakalanacağını sanmıyorum. Herhangi bir şey varsa, kusurlu bir sorgulama tekniği nedeniyle tüm verilerinizi bu sorudan geçersiz olarak reddeder. Yapabileceğiniz en iyi şey, bunu önleyici olarak kabul etmek ve yine de çalışmanızın neden yararlı olduğunu ve verilerdeki bu özel yanlışlık kaynağına rağmen, çizdiğiniz sonuçların neden hala iyi olduğunu iddia etmek.

Eğer sosyal bilim bana bir şey öğrettiyse, insanlara mantıksal olarak tutarsız cevaplar vermek için bir şans verirseniz, onlar yapacaklardır. Konularınızla ilgili olağandışı bir şey olmadığından emin olabilirsiniz. Bu, gelecekteki anketleri tasarlamak için akılda tutulması gereken bir şeydir. Şimdilik, yanıtları olduğu gibi bırakmak ve analizlerinizde yanıtların düşündüğünüz gibi% 100'e kadar eklenmeyeceğini akılda tutmak en iyisi olabilir. Gerçek oranlardan ziyade, her bir konunun her bir kategoriden ne kadar gelir elde ettiğine dair gürültülü sinyalleriniz var, bu yüzden onları bu şekilde analiz edin.

sanatsal etkinlik, devlet desteği, bireysel emeklilik, sanatla ilgili olmayan faaliyetler

Bir bakışta, "sanatsal etkinlik" ve "sanatla ilgili olmayan etkinlik" in% 100'e çıkması gerektiği anlaşılıyor.

Tabii ki "sanatla ilgili olmayan aktivite", "sanatla ilgili olmayan aktivite" ile aynı değildir, çünkü hiçbir aktivite ile ilişkili gelir olmayabilir. Ancak bu, çoğu sanatçının fark etmeyeceği saç bölünmesi.

Kategori 1 ve 4'ün% 100'e kadar eklemesi gerektiğini varsayar ve bu katılımcıları buna göre yeniden yorumlarsa, bunların çoğunun kategori 4'e kategori 2 ve 3'ü dahil ettiğini görebilirsiniz.

Ancak, bunların hepsi ideal olmayan veri manipülasyonudur. Doğru istatistiksel cevaplar istiyorsanız, doğru verileri toplamalısınız. İnsanlar anketinize yanıt olarak yalan söyleyebilir ve buna karşı korunmak zordur, ancak dürüstçe sorularınızı cevaplamaya çalışan insanlar ne anlama geldiğini karıştırıyorsa, anketinizin yeniden yazılması gerekir.

Bir dahaki sefere, anketi göndermeden önce anlaşılabilirlik ve belirsizlik açısından kanıtladı .

Gelir için dört kategori verdiniz - ya bunlardan hiçbirinde olmayan gelir ne olacak? Örneğin, stoklardan elde edilen temettü geliri. Herhangi bir faaliyet türünden gelir değil, aynı zamanda devlet desteği veya emekli maaşı da değildir. Başka bir bilginin yokluğunda yanıtları doğru olarak görmeniz ve kayıp parayı katılımcıların kategorilerin kapsamına girmediğini düşündüğü kaynaklara atfetmeniz gerektiğini öneririm.

Aslında bu oldukça basit (ve düşündüğünüz kadar mantıksız bile değil)! Ben gerçekten olduğunu varsayalım oranlar yüzdeleri isteyerek peşindesiniz gelir farklı kategorilerdeki. Böylece sadece% 100 olarak yeniden normalleştirebilirsiniz. Örneğinizde: Birisi şöyle diyorsa: Gelirimin% 70'i sanatsal faaliyetlerden ve% 60'ı devlet desteğinden geliyorsa, (yüzdelerle çalışma konusunda hiç eğitim almamış olan) bu kişi aslında şöyle diyor: akrabasanatsal faaliyetlerden ve hükümetten gelirimin boyutları veya oranları yaklaşık 70 ila 60 veya 7 ila 6'dır (muhtemelen yüzdelerin 100'e kadar eklenmesi gerektiğini fark etmiyor ..). Oranlarla ilgili bu ifadeleri, aşağıdaki gibi basitçe yeniden düzenleyerek yüzdelerle ilgili ifadelere dönüştürebilirsiniz: 70/130 * 100 =% 53 sanatsal gelir ve 60/130 * 100 =% 47 devlet destek geliri ..

(burada yaptığım şey% 130'u "yeni"% 100 olarak almak ve oranları hesaplamak ..)

PS. bu, belirtilen yüzdelerin toplamının 100'e eşit olmadığı tüm durumlar için geçerlidir

Bu yardımcı olur umarım!

Daha önce verilen cevapların çoğunluğu zaten açık anket metodolojik kusurları hakkında bir fikir vermiştir, bu yüzden burada üzerinde durmayacağım. Bunun yerine, zaten toplanmış olması ve hatalı soruya rağmen bu verilerin nasıl ele alınacağına dair birkaç pratik seçenek sunacağım. Bununla baş etmenin birkaç yolu vardır. "Geçerli yanıtlar" tanımınızı karşılamayan yanıtları, tüm soruyu eksik olarak ele alıp, sonra burada ele alınanlar gibi yanıt vermemeye ilişkin herhangi bir uygulamayı izleyerek değerlendirebilirsiniz .

Ayrıca her bir yanıtı 100'e ekleyecek şekilde ölçeklendirmeyi de düşünebilirsiniz. Her bir yanıtın yüzde olarak kaydedildiği varsayılarak, her bir orijinal yanıtı sorusunun 4 alt bileşeninden (yani sanatsal etkinlik, devlet desteği, bireysel emeklilik, sanatla ilgili olmayan faaliyetler) adlı yeni bir yanıta aşağıdaki şekilde :$y_{{old}_{ij}}$ $(j=1,2,3,4)$$y_{{new}_{ij}}$

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Yani, örneğin, bir davalı vardı ki cevap olarak şöyle :$i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Ardından aşağıdaki gibi yeniden kodlayabilirsiniz:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Tüm yeni yüzdelerin artık% 100'e eklendiğini unutmayın. Ne yaparsanız yapın, lütfen sonuçlarınızı bildirirken herhangi bir dönüşümü çok açık bir şekilde yaptığınızdan emin olun ve bence @ rolando2, bu tür dönüşümlerin sonuçlarınızı nasıl etkileyebileceğini görmek için bazı hassasiyet analizlerinin nasıl yapılacağı konusunda bazı mükemmel tavsiyeler verdi.