Binom efekt boyutu ekranı (BESD) efekt boyutunun yanıltıcı bir temsili mi?


10

Donald Rubin'in bir tekniğin gerçek bir limonunu bulacağını kabul etmek benim için zor. Yine de bu benim BESD hakkındaki algım [ 1 , 2 , 3 ].

Rosenthal ve Rubin (1982) tarafından hazırlanan orijinal makale, "orijinal verilerin sürekli veya kategorik olsun, böyle bir [2x2] ekrana herhangi bir ürün-an korelasyonunun nasıl yeniden oluşturulacağını" göstermenin bir değeri olduğunu iddia etmiştir.

Aşağıdaki tablo s. Yukarıdaki 2. bağlantının 451'i:

resim açıklamasını buraya girin

Bu teknik hemen hemen her etki büyüklüğünün büyüklüğünü abartıyor gibi görünüyor. Burada, orijinal verilerden = .01, ancak 2x2 olasılık tablosuna "çevrildiğinde", çok daha güçlü bir etki ile karşı karşıyayız gibi görünüyor. Veriler bu şekilde kategorik biçime dönüştürüldüğünde, really = .1 inkar etmiyorum ama çeviride bir şeylerin çok bozuk olduğunu hissediyorum. ϕR2ϕ

Burada gerçekten değerli bir şey mi kaçırıyorum? Ayrıca, son 10 yıl içinde istatistiksel topluluğun bunu meşru bir yöntem olarak reddettiğine dair bir izlenim var - bu konuda yanlış mıyım?

Sırasıyla deneysel ( ) ve kontrol ( ) başarı oranlarını ( ) hesaplama denklemi basitçe:C s rECsr

Esr=.50+r/2

ve

Csr=.50r/2


Referans:

Rosenthal, R. ve Rubin, DB (1982). Deneysel etkinin büyüklüğünün basit bir genel amaçlı gösterimi. Eğitim Psikolojisi Dergisi, 74 , 166-169.


1
Bunun için bir cevap buldun mu? Şu anda bu önyargılı olup olmadığını görmek için bazı simülasyon şeyler yapıyorum, ama doğrudan hesaplanır ı BESD noktası-tahmini herhangi bir önyargı alamıyorum bu yüzden. Bunun etkileri fazla tahmin ettiğine dair bir önsezim var, ama parmağımı neden de üzerine koyamıyorum. r
Mark White

İyi fikirleriniz gördüğüm tek geri bildirim veya cevaptı.
rolando2

2
Ben okumadım, ama bu son derece uygun görünüyor: Hsu, LM (2004). Binom etkisi boyutunda gösterilen başarı oranı farklılıklarının yanlılıkları görüntülenir. Psikolojik Yöntemler, 9 (2), 183-197. Bazı eleştiriler de tartışılmıştır: Randolph, JJ ve Edmondson, RS (2005). Değerlendirme kitlesine efekt boyutlarının büyüklüğünü sunmak için Binom Etkisi Boyut Ekranını (BESD) kullanma. Pratik Ölçme, Araştırma ve Değerlendirme, 10 (14).
Wolfgang

Yanıtlar:


4

Önyargılı olduğunu gösterebilirim (sanırım), ama nedenini açıklayamam. Birisinin cevabımı görmesini ve daha fazla açıklamasına yardımcı olmasını umuyorum.

Birçok meta-analizde ve yayınladığınız görüntüde olduğu gibi, birçok kişi BESD'yi şu şekilde yorumlar: Her iki değişkeni de medyanlayacak olursanız, insanları belirli bir yüzde 2 x 2 olasılık tablosunun "sağ" hücrelerine doğru bir şekilde koyarsınız. zaman.

Yani , insanlar diyebilir, "Bu gözlemlenen göz önüne alındığında , bunu şöyle düşünebilirsiniz: X'deki medyanın üzerindeki insanlar da zamanın% 70'inde medyanın üzerinde olacaktır. " Kraus'un (1995, s. 69) bunu nasıl yorumladığı (bir değişkenin gerçekten ikiye ayrıldığı, diğerinin medyan bölünmesi olduğu varsayımsal bir duruma güvenir):r.50+r/2=.70r

resim açıklamasını buraya girin

İnsanlar sıklıkla tıbbi metaforları da kullanmaktadırlar: "Bu , kontrol ve deneysel durumdaki insanlar arasındaki yüzde 40'lık bir farka karşılık gelir."r

Ortanca bölünmüş esque yorumunun taraflı olup olmadığını görmek için, gerçek popülasyon olan 1.000.000 vakadan oluşan bir popülasyonu simüle ettim . Daha sonra bu popülasyondan 100 kişi çizdim, BESD "doğru oranını" (yani ) hesapladım ve sonra 2 x 2 beklenmedik tablo için gerçek medyan bölünmüş hücreleri, yukarıda kategorize etmek için tarif edilen gibi hesapladım. insanlar "doğru." Bunu 10.000 kez yaptım..50 + r / 2r=.38.50+r/2

Daha sonra, bu 10.000 uzunluktaki vektörlerin her birinin ortalama ve standart sapmasını aldım. Kod:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

BESD dayanarak, bu tabloyu, nereden v1ve v2değişkenleri ifade ve lowve highaşağıda sırasıyla ortanca, yukarıda atıfta:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

Aslında ham verilerle medyan bir bölünme yapmaya dayanarak, bu tabloyu elde ederiz:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

Birisi, BESD kullanarak, "kontrol ve deneysel olarak yüzde 38 puan farkı" olduğunu iddia edebilirken, gerçek medyan bölünme 24'te bu sayıya sahiptir.

Bunun neden olduğundan emin değilim ya da örneklem büyüklüğüne ve korelasyonuna bağlıysa (kolayca anlamak için daha fazla simülasyon yapabilir), bence bu önyargılı. Birisinin hesaplama yerine matematiksel bir açıklamaya girip giremeyeceğini çok isterim.


2

Mark White'ın sezgisi yanlış. BESD aslında medyan bir bölünmeyi modellemiyor. Ortanca bir bölünme gerçek istatistiksel bilgi kaybıyla ilişkilidir - ilişkileri sistematik olarak zayıflatır (bkz. Http://psycnet.apa.org/record/1990-24322-001), bu nedenle medyan split değerleri BESD'den daha küçük bir doğruluk gösterir. BESD, sınıflandırma doğruluğunu, değişkenler gerçekten ikiye bölünmüş gibi, medyan bir bölünme yoluyla yapay olarak ikiye bölünmemiş gibi göstermektedir. Bunu görmek için medyan bölünmüş veriler üzerindeki korelasyonu hesaplayın. Orijinal değişkenlerin korelasyonundan daha küçük olduğunu göreceksiniz. Değişkenler başlangıçta ikili ise, iki yöntem aynı fikirde olacaktır. BESD, doğası gereği, gerçekten ikiliymiş gibi değişkenler sergilemektedir. Sürekli değişkenler için kullanıldığında, bu mutlaka bir soyutlamayı temsil eder - gerçekten "başarı" ve "başarısızlık" veya "tedavi" ve "kontrol" grupları yoktur,

BESD önyargılı değildir. İki ikili değişkenle çalışıyor olsaydık, belirli bir tedavinin sınıflandırma doğruluğu üzerindeki etkisini doğru bir şekilde yansıtır. Bir önlemin veya tedavinin potansiyel pratik değerini göstermek için yararlı bir göstergedir ve evet, istatistiklere göre hesaplanan küçük varyanslı etkilerin bile anlamlı olabileceğini göstermektedir. BESD uygulamalı psikolojik ve örgütsel uygulamada yaygın olarak kullanılmaktadır ve diğer pratik etki boyutu göstergeleri ile güçlü bir şekilde anlaşmaktadır (örneğin, yukarıdan aşağıya r = .25 geçerlilik korelasyonu olan bir ölçü kullanarak bir grup seçmenin .25'e yol açacağını Seçilen grup arasında seçili olmayan bir gruba kıyasla sonuç performansında SD artışı).

İstatistikler için muhasebeleştirilen varyans sürekli olarak yanlış anlamalara neden olur ve kare işleminin doğrusal olmadığı için değişken ilişkilerin boyutu hakkında hafife alır. Birçok uygulamalı metodolog (örn., Https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 ), kare kökleri lehine kullanımlarını şiddetle tavsiye etmemektedir ( Etkileri).


1

Ayrıntılı bir cevap, ne zaman bir fark yarattığına dair bir analiz ve daha iyi bir çözüm için lütfen Meta-Analitik Etki Büyüklüğünden İki Boyutlu Bir Sonuçta Mutlak Yüzde Değişimin Hesaplanması için Tam Yöntem: Etkinin ve Maliyet-Sonuç Tahminlerinin Geliştirilmesi, TR Miller, J Derzon, D Hendrie, Sağlıkta Değer, 14: 1, 144-151, 2011. İşte bu makalenin özetindeki özet cevap. AMAÇLAR: Meta-analizler tipik olarak, başka bir ortak ölçüme, binomiyal etki büyüklüğü göstergesine (BESD) kolayca dönüştürülen bir tedavi etkisi boyutunu (Cohen'in d) hesaplar. BESD korelasyon katsayısıdır ve bir müdahaleye atfedilebilir sonuçtaki bir yüzde farkını temsil eder. Hem d hem de BESD isteğe bağlı birimlerdedir; ikisi de müdahaleden kaynaklanan mutlak değişimi ölçmez. BESD'den mutlak değişimi tahmin etmek için kullanılan yöntem, hem sonucun 50-50'lik bir bölünmesini hem de dengeli bir tasarımı varsayar. Sonuç olarak, yanlış varsayımlar bir müdahalenin (ve maliyet etkinliğinin) elde ettiği kazancın meta-analitik tahminlerinin çoğunu desteklemektedir. Bu makalede, bu varsayımlar olmadan kesin bir formül geliştirilmektedir. YÖNTEMLER: Formül 1'den cebirsel olarak geliştirilmiştir.) Tedavi ve kontrol gruplarının göreceli büyüklüğünden ve durumu olmayan kişilerin yüzdesinden oluşturulan 2'ye 2 olasılık tablosu olarak temsil edilen korelasyon katsayısı formülünü, ve 2) tedavi ile başarı olasılığındaki değişikliği gösteren BESD korelasyon katsayısı formülü. SONUÇLAR: Simülasyon, BESD'nin yalnızca vaka sonuçlarının% 35-65'inde sorun sonucu ortaya çıktığında bir müdahalenin elde edebileceği sonuçtaki azalmaya yaklaştığını ortaya koymaktadır. Daha az yaygın sonuçlar için, BESD bir müdahalenin etkisini büyük ölçüde abartıyor. BESD, sonuçtaki olası yüzde değişimini doğru bir şekilde tahmin etse bile, olumlu bir sonuç elde edecek vakaların oranının yanıltıcı bir tablosunu boyar.


Ve tam metin sciencedirect.com/science/article/pii/S1098301510000148 adresindedir . Teşekkürler @Ted Miller
rolando2
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.