5'li Likert ölçeğine 6. yanıt seçeneği (“Bilmiyorum”) eklendi. Veri kayboldu mu?


16

Bir anketten veri kurtarma konusunda biraz yardıma ihtiyacım var.

Meslektaşlarımdan biri bir anket uyguladı, ancak yanlışlıkla 5 puanlık Likert ölçeğini kullanmak yerine (kesinlikle katılıyorum), ölçeğe 6. bir cevap ekledi. Ve konuyu daha da kötüleştirmek için 6. yanıt seçeneği… “Bilmiyorum”.

Sorun şu ya da bu noktada “Bilmiyorum” u seçen katılımcıların büyük oranı. Eğer oldukça küçük bir yüzde olsaydı, onları veritabanından hariç tutardım. Bununla birlikte, araştırmanın özü kavramsal bir modele dayanmaktadır ve çok fazla kayıt hariç tutulması model için bir sorun yaratacaktır.

Birisi beni burada doğru yöne yönlendirebilir mi? Herhangi bir 'iyi uygulama' var mı, yoksa “Bilmiyorum” yanıtlarını kullanmak için (dönüştürmek, dönüştürmek, vb.) Herhangi bir şey yapabilir miyim?

Ayrıca, söz konusu verilerin herhangi bir manipülasyonunu yaparsam (yani, “Bilmiyorum” yanıtlarını, ikame, dürtü vb. İle dönüştürürsem), ne tür bir “sorumluluk reddi”, “uyarı”, ek açıklama, kullanmalı mıyım

Uzun bir atış olduğunu biliyorum, ama itiraf ediyorum, cevapları kurtarmanın yanı sıra, bu tür davalarda kararlaştırılan uygulamanın (eğer varsa) ne olduğunu merak ediyorum.

PS: Kulağa çocuksu geldiğini biliyorum, ama hayır, 'meslektaşım' ben değilim :)


22
İş arkadaşınızın Bilmiyorum kategorisini içermediğini düşünün. Bu kişiler ne cevap verirdi? Belki rastgele bir kategori işaretlerlerdi, belki boş bırakırlardı. Artık değişkenlerinizin sorunlu olduğunu ve bilinçli bir karar verdiğinizi biliyorsunuz. Bu açıdan bakıldığında, meslektaşım size bir iyilik yaptı.
Maarten Buis

Kafanı tırmalamak gittikçe, gerçekten bana bir iyilik yaptı ... Yanıtların rastgele olması konusunda haklısın ve bu, ima için bir yaklaşım olabilir, ancak, herhangi bir iyi olup olmadığını merak ediyordum uygulamalar, ya da en azından bazı benzer deneyimleri
düzene

4
Böyle bir " bilmiyorum " seçeneği özellikle sinir bozucu (özellikle bir şey seçmeden gönderemezseniz) olmayan anketler buluyorum . Diyelim ki " Bu uzay roketindeki yeni özellikler bir gelişme " ve daha sonra en iyi ihtimalle nötr olmaya zorlandınız, bazı insanlar bu tür anketleri yorumlayıp sonuçlandırabilirler "1000 insanlar ve% 100'ü aldırmadı ... "oysa pratikte bu özellik onu kullananlar için tam bir hata olabilir. Bu durumlarda, kullanmadığım bir şey için neredeyse sessiz bir onay gibi geliyor.
Bruno

3
Daha açık olmak gerekirse: eğer model 5 puanlık ölçeğin katılımcıların görüşlerini temsil edebileceğini varsayarsa, verileriniz modelin yetersiz olduğunu kanıtlar . Eğer doğru olsaydı, ihmal edilebilir sayıda "bilmiyorum" olurdu, çünkü insanlar 1-5'e cevap verebilirdi. Yani bu veriler Merkür'ün yörüngesi gibi "model için bir problem yaratacaktır" Newton fiziği için bir problem yaratır. Tek çıkış yolunun, orta noktanın "ne katılıyorum ne de katılmıyorum" olduğunu düşünürdüm ve "Bilmiyorum" un bununla aynı anlama sahip olduğunu söyleyebilirsiniz.
Steve Jessop

Merhaba, @SteveJessop, teoride / prensipte iken, anketteki bir sorunun göstergesi olarak DK cevaplarının sayısı konusunda haklısınız (model değil, aklınızda bulunsun, model ölçek için CFA değil, regresyon ölçek de dahil olmak üzere bir dizi değişken için), bunu yetersiz olarak adlandırmak hala biraz güçlüdür. Ölçek analizlerini yapacağım ve göreceğim, ve doğru, DK cevaplarının kesme sayısının problemli olabileceğini düşünüyorum. Bununla birlikte, aynı zamanda cevaplayıcının cevap vermek istemediği anlamına da gelebilir (bu arada, DK cevaplarının büyük çoğunluğu bir sınavdan sonra bir grup öğrenciden geliyor ...)
düzene

Yanıtlar:


28

Neden doğru olmayan bir şey üzerinde bir kalibrasyon yapmaya çalışalım? Maarten'ın dediği gibi, bu bir veri kaybı değil, bir bilgi kazancıdır. Aradığınız büyülü hap varsa, nüfusunuzla ilgili, örneğin, kullanıcılar "Bilmiyorum" demesine rağmen belirli bir etiket lehine yapılan bazı varsayımlar olduğu anlamına gelir.

Hayal kırıklığınızı tamamen anlıyorum, ancak soruna yaklaşmanın doğru yolu, modeli mevcut diğer verilere göre değil, mevcut veriye göre değiştirmek için (verileri değiştirmek).


Merhaba Hatim, modeli değiştirmenin mümkün olduğuna inanmıyorum. Ölçek sıralıdır ve gerekçeli ve açık bir seçim olduğunu varsayarken 6. cevap "bilmiyorum" herhangi bir şekilde yorumlanabilir. Bu "ben hiç bu durumla karşılaşmadım / hatırlamıyorum" anlamına gelebilir, bir tür 'aracı' seçim anlamına gelebilir. Benim için böyle bir yorum / varsayım, küstah ve asılsız olurdu. Maarten'nin cevabı, belirli bir 'randomize' impütasyonun kullanılabileceğini düşündüğüm bir 'bilgi kazancı'na atıfta bulundu, ancak söylediğiniz bu değil - "modeli değiştirin".
düzene

devamı ... Ancak, her ne kadar ben de öyle olsam da, bu tür 'randomize' impütasyona daha fazla bakma eğilimindeyim, büyük miktarda "bilmiyorum" cevapları, değişkenler arasındaki gerçek (otantik) ilişkilerin değişmiş.
düzene

8
+1. Rahatsız edici olduğunu biliyorum, ancak bu modeli test etmek veya planlanan analizi değiştirmek istiyorsanız farklı bir veri kümesi bulmak arasında bir seçeneğiniz var. Soruyu farklı cevaplar umarak istediniz, ancak bence, savunulabilecek herhangi bir soru yok. Böyle bir ankete yanıt verirsem çarpıklık ve kendimi başka bir şey olarak bilmiyorum. Aslında ara sıra sosyal araştırma tüketicisi olarak ben de rahatsız oluyorum.
Nick Cox

1
Bunun daha önce ve birçok kez olduğu konusunda doğal olarak haklısınız. Bu nedenle, öngörülemeyen sorunlarla yönlendirilen veya karmaşık olan bazı proje deneyimlerine sahip olanlar söyleyebilir, bu nedenle analiz farklı olacaktır ve kağıt hayal edildiği gibi olmayacaktır. Hatta bazen projeler işe yaramaz, işte gidiyorsunuz. (Bir şekilde takip etmek için talimat veya zorlama altındaysanız, bu özellikle talihsiz bir durumdur, ancak bunun nasıl düşünüleceğine dair tavsiyemi etkilemez.)
Nick Cox

8
@ user2836366 Modelin değiştirilemeyeceğine dair iddialarınızı anlamıyorum. Kuşkusuz "Bilmiyorum", yanıtların sıralı koleksiyonunun bir parçası değildir, ama tamamen mesele budur; "Bilmiyorum", kişinin (aslında bilmeyi de içeren) herhangi bir nedenden ötürü sıralı yanıtlardan birini seçmediğini ima eder. Yani böyle bir değişiklik, o süreç için bazı modellere sahip olabilirsiniz ("bilmiyorum" vs "diğer seçeneklerden birini seçti") ve daha sonra ikinci kategorideki durumlar için normal modele sahip olabilirsiniz. Bu modeller engelli modellere veya sıfır şişirilmiş modellere biraz benzer olabilir.
Glen_b -Monica

10

Bu bağımsız olarak doğrulanmış standart bir anketse, yeni anketin eşdeğer olduğunu ve verilerin artık karşılaştırılamaz olduğunu iddia edemezsiniz. Anketi ayrı deneylerde (özellikle eski sürümle karşılaştırılabilirlik de göstermek istiyorsanız, çok zaman ve çaba harcayan) doğrulamaya ve incelemeye çalışabilir veya yalnızca daha düşük kanıt kalitesi ile uğraştığınızı kabul edebilirsiniz (verileriniz geldiği için) doğrulanmamış bir anketten).

Verilerinizi kullandığınızda, değişikliği dikkate almanız gerekir. Bir tutum sorusuyla karşı karşıya kaldıklarında, insanlar size bir şekilde "nesnel olarak doğru" bir cevap vermezler, size gerçek olduklarını düşündükleri cevabı verirler - ve bu kesinlikle hem mevcut cevap seçeneklerinden etkilenir (cevaplarını "norm" ederler) ve konu hakkında sahip oldukları bilgiye (katılımcının konu hakkında çok az bilgiye sahip olup olmadığına bağlı olarak, bazen farklı yönlerde (!) farklı çalışan bilinen önyargılar vardır).

Bu nedenle, yerleşik bir quesitonnaire uğraşıyorsak, anketin sürümü ile orijinal olanı karşılaştırmak için güzel bir seçeneğiniz vardır. Orijinal, insanların ne seçtiklerini bildiğini varsayarsa ve bilmiyorlarsa, eski modelin nasıl yanlış varsayımlara dayandığını ve bunun sonuçlarının neler olduğunu tartışabilirsiniz. Bunun bir "yan" keşif olduğuna dikkat edin, bu da güzel bir araştırma sorusu oluşturur, ancak sizi orijinal olandan uzaklaştırır ve aslında orijinal olana cevap vermenin düşünülenden çok daha zor olduğunu gösterir, bu yüzden kesinlikle çalışmanızı çoğaltır.

Yerleşik bir anketle ilgilenmiyorsanız, akışla ilerleyebilir ve geçici anketinizin bu şekilde planlandığını iddia edebilir ve sonuçları buna göre değerlendirebilirsiniz. Yine, umduğunuz sonuçların bu yöntemle elde edilemeyeceği anlamına gelebilir, ancak bu da bilinmesi gereken önemli bir şeydir.

İfadelerin ve seçeneklerin anketlerin cevaplanma şeklini nasıl etkilediğini iyi anlamak için Tourangeau ve arkadaşlarının "Anket yanıtı psikolojisi" ni okumanızı öneririm. Anket oluşturan herkes için harika bir okuma.


2

Yanıtlayan kişinin kaç çocuğu doğurduğunu sorarsanız, "sıfır" ve "uygulanamaz" cevapları kesinlikle aynı anlama gelmez, çünkü erkekler doğum yapamaz.

Bazı bağlamlar için, nötr cevaba "Bilmiyorum" demek, aynı şekilde kavramsal bir hata olabilir.

Aslında, iki sorunuz var: bir ikili "Fikriniz var mı?" ve sıralı bir "Bu nedir?", tıpkı yukarıdaki gibi, örtük bir "Kadın mısınız?" açık sorunuzun ötesinde.

Tabii ki, size bazı modellemeler sağlamak için bazı varsayımlar (bazen doğru, bazen sadece kolaylık için, bazen zorla) getirebilirsiniz, ancak fenomeninizin özelliklerine girmeden evrensel olarak uygulanabilir bir strateji göremiyorum.

Düşünülmesi gereken son bir nokta olarak, erkek nüfusunu kadın doğurganlık cevaplarından çıkarmaya çalışmak mantıklı olmayacaktır.


2

Likert tipi derecelendirme ölçeklerinden oluşan bir ankete cevabı bilmeme seçeneğinin dahil edilip edilmeyeceği ikilem sonsuzdur. Çoğunlukla, maddeler görüş hakkında sorular sorduğunda, DK dahil edilir, çünkü hiçbir görüşün olmaması kendi başına önemli bir statüdür ve katılımcıların beklediği gibi bir seçenek vardır. İnsanların hedef DK seçeneğine nitelikler atfettiği kişisel özellik envanterlerinde tipik olarak bir katılımcının normalde bir özelliğin afinitesinin derecesini değerlendirebilmesi beklenir (yani, yanıtlayan her zaman nitelikli görülür); ve zaman zaman güçlük çektiğinde (talimatla) o öğeyi atlamasına izin verilir. İnsanların bir hedefi (davranışsal öğeler) DK (veya don ') tanımladığı kişisel özellik envanterlerinde

@Hatim cevabında, @Maarten ve OP sorusunun diğer yorumcuları, mevcut çalışmada gözlemlenen büyük miktarda DK yanıtının, öğelerdeki sorunları (içerik geçerliliği veya yüz geçerliliği) gösterdiğini veya deneklerin t Kendilerine verilen anket formuna uymak.

Ancak hikayeyi asla anlatamazsınız, nihayetinde engelin yorumu size aittir (ayrı bir incelemede ele almadığınız sürece). Örneğin, DK anketinin bu anketteki beğenilere dahil edilmesinin (örneğin, bir özellik ascription envanteri) kötü değil, iyi hizmet ettiğini iddia edebilir. Size (yorumcuların söylediği gibi it proves that the [rating] model is inadequate) bilgi vermedi, ancak yanıtlayanı rahatsız etti / baştan çıkardı. Örtük bilişsel özellik şeması tarafından yönlendirilen derecelendirme kararının verilmemesi halinde ortaya çıkmış olabilir; ancak soğutma seçeneğini görmek şemayı engeller ve aceleyle geri çekilir.

Daha fazla itiraf ederseniz - riskiniz var, ama neden olmasın? - Kolayca dikkati dağılmış veya tembel bir konunun potansiyeli, arkadan görünümü geçerli ancak zayıf bir şekilde farklılaşma eğilimi olan kişidir - yani, kişisel Erlebnis , şema yerine geleneksel das Man'ı kolayca çağırır - o zaman geçici olarak spekülasyon yapabilirsiniz onun kayıp cevabının o öğenin numune veya popülasyon ortalamasında olması. Eğer öyleyse, neden eksik cevapların yerine (+ gürültü) ikame edilmiyor? Ya da korelasyonları hesaba katmak için EM veya regresyonel (+ gürültü) yüklemesi yapabilirsiniz.

Tekrarlamak gerekirse: Öngörme kararı mümkündür, ancak risklidir ve büyük miktarda eksik veri göz önüne alındığında, eksik verileri "gerçekten" geri yüklemek pek olası değildir. @Rumtscho'nun dediği gibi, DK ile yeni anketin DK olmayan orijinal ankete eşdeğer olmadığı ve verilerin artık karşılaştırılamayacağı.

Bunlar spekülasyonlardı. Ama her şeyden önce, gözlenen eksiklik kalıplarını araştırmaya çalışmalısınız. DK'yi seçen konular kimler? Alt tiplerde kümeleniyorlar mı? Geri kalan öğelerin "tamam" alt örneğinden farkı nedir? Bazı yazılımlarda Eksik Değer Analizi paketi vardır. Ardından, insanları tamamen mi yoksa kısmen mi düşürecek, yoksa ima edecek mi yoksa ayrı bir alt örnek olarak mı analiz edeceğinize karar verebilirsiniz.

PS Ayrıca katılımcıların "aptal" olduğunu unutmayın. Genellikle ölçek notları ile karışırlar. Örneğin, DK noktası ölçeğin bir direğine yakın yerleştirilirse, genellikle bu direğe dikkatsizlikle karışır. Şaka yapmıyorum.


Merhaba, @ttnphns, Cevabınızı noktadan noktaya çekmek için çok uzun (burada ortaya çıkardığınız bazı noktalar hakkındaki diğer cevaplara zaten yorum yaptım). Dürüst olmak gerekirse, birkaç kez tekrar okumak zorunda kalacağım. Ancak istediğim her şeye hitap ediyor.
düzene

0

Artık konuyla ilgili görüş bildirmek üzere kendi seçeceğiniz yanıtlayanlarınız var. Ne sonuca varacak olursanız olun, yalnızca bu insanlar hakkında olacaktır. Bu "bilmiyorum" yoklaması tanım gereği daha az yararlı olduğu için sorun değil.


2
Droll, ama çok kötümser. Bu insanlar ne yapabilecekleri, yapamayacakları, yapmamaları, yapmamaları gerektiği konusunda argümanlar teklif ettiler ve tartışılacak argümanlar. Aynı cevap burada herhangi bir konu için verilebilir, ancak konuşmayanların söz hakkı yoktur.
Nick Cox
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.