Simpson'ın paradoksunu nasıl çözebilirim?

Simpson'ın paradoksu dünya çapında tanıtım istatistik derslerinde tartışılan klasik bir bilmecedir. Ancak kursum, bir sorunun var olduğunu ve bir çözüm sağlamadığını basitçe not etmekten memnuniyet duyuyordu. Paradoksu nasıl çözeceğimi bilmek istiyorum. Bu, Simpsonların paradoksuyla karşı karşıya kaldığında, verinin nasıl bölümlendiğine bağlı olarak en iyi seçim olmak için iki farklı seçeneğin rekabet ettiği görünüyor, hangisi seçilmeli?

Sorunu somutlaştırmak için, ilgili Wikipedia makalesinde verilen ilk örneği ele alalım . Böbrek taşlarının tedavisi hakkında yapılan gerçek bir çalışmaya dayanmaktadır.

Diyelim ki ben doktorum ve bir test hastanın böbrek taşı olduğunu gösteriyor. Tabloda verilen bilgileri kullanarak, tedavi A mı yoksa tedavi B'yi mi benimsemem gerektiğini belirlemek istiyorum. Görünüşe göre taş boyutunu bilirsem, o zaman A tedavisini tercih etmeliyiz. B tedavisini tercih etmeliyiz

Ancak bir cevaba ulaşmak için başka bir makul yol düşünün. Taş büyükse, A'yı seçmeliyiz, küçükse, yine A'yı seçmeliyiz. Bu nedenle, taş boyutunu bilmesek bile, dava yöntemleriyle A'yı tercih etmemiz gerektiğini görürüz. Bu bizim önceki akıl yürütmemizle çelişiyor.

Yani: Bir hasta ofisime giriyor. Bir test böbrek taşlarına sahip olduğunu ancak boyutları hakkında hiçbir bilgi vermediğini gösteriyor. Hangi tedaviyi öneririm? Bu sorunun kabul edilmiş bir çözümü var mı?

Vikipedi, "nedensel Bayesian ağları" ve "arka kapı" testini kullanan bir çözüme işaret ediyor, ancak bunların ne olduğu hakkında hiçbir fikrim yok.

Sorunuzda, "nedensel Bayesian ağlarının" ve "arka kapı testlerinin" ne olduğunu bilmediğinizi belirtiyorsunuz.

Nedensel bir Bayesian ağınız olduğunu varsayalım. Yani, düğümleri önerileri temsil eden ve yönlendirilmiş kenarları potansiyel nedensel ilişkileri temsil eden yönlendirilmiş bir asiklik grafiktir. Her hipoteziniz için bu tür birçok ağınız olabilir. Bir kenar gücü veya varlığı hakkında zorlayıcı bir argüman yapmanın üç yolu vardır .$A \stackrel?\rightarrow B$

En kolay yol müdahaledir. Diğer cevapların “uygun randomizasyonun” sorunu çözeceğini söylediklerini söylediği şey budur. Rasgele farklı değerlere sahip olmaya zorlarsınız ve ölçersiniz . Bunu yapabilirsen bitti, ama her zaman bunu yapamazsın. Örneğinizde, insanlara ölümcül hastalıklara etkisiz tedaviler vermek etik dışı olabilir veya tedavilerinde söz sahibi olabilirler, örneğin, böbrek taşları küçük ve daha az ağrılı olduğunda daha az sert (B tedavisi) seçebilirler.$A$$B$

İkinci yol ise ön kapı yöntemidir. üzerinden etki ettiğini , yani göstermek istediğinizi göstermek istersiniz . Eğer olduğunu varsayarsak potansiyel kaynaklanır ancak başka nedenleri vardır ve bunu ölçebilir ile ilişkilidir ve ile ilişkilidir , o zaman delil yoluyla akan olmalıdır sonuca varabiliriz . Orijinal örnek: sigara içiyor, kanser,B C A → C → B C A C A B C C A B $A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$katran birikimidir. Katran sadece sigaradan gelebilir ve hem sigara hem de kanserle ilişkilidir. Bu nedenle, sigara içmek katran yoluyla kansere neden olur (bu etkiyi hafifleten başka nedensel yollar da olabilir).

Üçüncü yol ise arka kapı yöntemidir. Bunu göstermek istiyorum ve , çünkü bir "arka kapı", örneğin ortak bir amaç, yani, korelasyon göstermemektedir . Nedensel bir model üstlendiğinizden, kanıtların kadar aşağı akabileceği tüm yolları (bunlara değişkenleri gözlemleyerek ve koşullandırarak) engellemeniz yeterlidir . Bu yolları engellemek biraz zor, ancak Pearl bu yolları engellemek için hangi değişkenleri gözlemlemeniz gerektiğini bilmenizi sağlayan net bir algoritma sunuyor.B A ← D → B A $A$$B$$A \leftarrow D \rightarrow B$$A$$B$

gung, iyi randomizasyonda, kargaşanın önemli olmayacağı konusunda haklıdır. Varsayım nedenine (tedavi) müdahale etmenin yasak olduğu varsayıldığından, yaş veya böbrek taşı büyüklüğü gibi varsayımsal nedenler (tedavi) ve etki (sağkalım) arasındaki ortak bir nedenden dolayı karmakarışık olacaktır. Çözüm, arka kapıların tümünü engellemek için doğru ölçümleri yapmak. Daha fazla okumak için bakınız:

Pearl, Judea. "Ampirik araştırma için nedensel diyagramlar." Biometrika 82.4 (1995): 669-688.

Bunu probleminize uygulamak için, önce nedensel grafiği çizelim. Böbrek taşı boyutu (Tedavi önce gelen) ve tedavi türü başarısı, her iki nedenleridir . Eğer diğer doktorlar böbrek taşı büyüklüğüne göre tedavi atarlarsa, nedeni olabilir . Açıkçası , , ve arasında başka bir nedensel ilişki yoktur . , sonra gelir, bu yüzden sebebi olamaz. Benzer şekilde , ve sonra gelir .Y Z X Y X Y Z Y X Z X $X$$Y$$Z$$X$$Y$$X$$Y$$Z$$Y$$X$$Z$$X$$Y$

Yana bir yaygın nedeni, bu ölçülmelidir. Değişkenlerin ve potansiyel nedensel ilişkilerin evrenini belirlemek deneyciye kalmıştır . Her deney için, deneyci gerekli "arka kapı değişkenlerini" ölçer ve daha sonra değişkenlerin her yapılandırması için tedavi başarısının marjinal olasılık dağılımını hesaplar. Yeni bir hasta için değişkenleri ölçtünüz ve marjinal dağılımla belirtilen tedaviyi takip ettiniz. Her şeyi ölçemiyorsanız veya çok fazla veriniz yoksa ancak ilişkilerin mimarisi hakkında bir şeyler biliyorsanız, ağda "inanç yayılımı" (Bayesian çıkarımı) yapabilirsiniz.$X$

Simpson'un paradoksunu burada tartışan önceki bir cevabım var: Temel Simpson'ın paradoksu . Fenomeni daha iyi anlamak için bunu okumanıza yardımcı olabilir.

Kısacası, Simpson'un paradoksu kafa karıştırıcıdır. Örneğinizde tedavi karışık* Her hastanın sahip olduğu böbrek taşı türleriyle. Sonuç tablosundan, A tedavisinin her zaman daha iyi olduğunu gösterdiğini biliyoruz. Bu nedenle, bir doktor A tedavisini seçmelidir. B tedavisinin toplamda daha iyi görünmesinin tek nedeni, daha az ağır durumu olan hastalara daha sık verildiği halde, A tedavisinin daha ağır durumu olan hastalara verildiğidir. Bununla birlikte, A tedavisi her iki durumda da daha iyi sonuç verdi. Bir doktor olarak, geçmişte daha az hastalığa sahip olan hastalara daha kötü bir tedavi verildiği gerçeğini umursamıyorsunuz, sadece sizden önce hastayı önemsiyorsunuz ve o hastanın iyileşmesini istiyorsanız, mevcut en iyi tedavi ile onları.

* _{Deneyleri yürütmenin ve tedavileri randomize etmenin, tedavilerin karıştırılmadığı bir durum yaratmak olduğuna dikkat edin . Söz konusu çalışma bir deney olsaydı, gözlemsel bir çalışma olmasına rağmen, randomizasyon sürecinin eşit gruplar oluşturamadığını söyleyebilirim.}

Judea Pearl'ün 2013'te yayınlanan bu güzel makalesi , Simpson'un paradoksu ile karşılaştığında hangi seçeneğin seçileceği sorununu tam olarak ele alıyor:

Simpson'ın paradoksunu anlama (PDF)

Bir örneğe çözüm veya genel olarak paradoks ister misiniz? İkincisi için hiçbir şey yoktur, çünkü paradoks birden fazla nedenden ötürü ortaya çıkabilir ve durum bazında bir durum için değerlendirilmesi gerekir.

Paradoks, özet verileri bildirirken öncelikli olarak sorunludur ve bireylerin verinin nasıl analiz edileceğini ve rapor edileceğini eğitmede kritik öneme sahiptir. Araştırmacıların, verideki kalıpları gizleyen veya gizleyen özet istatistikleri rapor etmelerini istemiyoruz; verilerdeki gerçek kalıpların ne olduğunu anlamayan veri analistleri. Hiçbir çözüm verilmedi, çünkü tek bir çözüm yok.

Bu özel durumda, masayı alan doktor açıkça A'yı seçer ve özet çizgisini görmezden gelir. Taşın boyutunu bilseler de bilmeseler de fark etmez. Verileri analiz eden biri yalnızca A ve B için sunulan özet satırları bildirmiş olsaydı, o zaman bir sorun olurdu çünkü doktorun aldığı veriler gerçeği yansıtmazdı. Bu durumda, büyük olasılıkla, tablodaki son satırı da bırakmış olmalılardı, çünkü özet istatistiğinin ne olması gerektiğinin bir yorumunda doğruydu (iki olası). Okuyucuyu, tek tek hücreleri yorumlamaya bırakmak genellikle doğru sonucu verirdi.

(Çok fazla yorumunuz, eşit olmayan N meseleleri hakkında en çok endişelendiğinizi gösteriyor gibi görünüyor ve Simpson bundan daha geniş, bu yüzden eşitsiz N meselesinde daha fazla durmak istemiyorum. Belki de daha hedeflenmiş bir soru sorun. Bir normalizasyon sonucunu savunuyorum, bilmiyorum, özet istatistiklerin göreceli olarak keyfi seçildiğini ve bazı analistler tarafından yapılan seçimlerin paradokslara yol açtığını düşünmeniz gerektiğini düşünüyorum. Hücrelere baktığınızı da ileri sürüyorum. var.)

Önemli bir "uzaklaştırma", eğer tedavi atamaları alt gruplar arasında orantısız ise, verileri analiz ederken alt grupları dikkate almak gerekir.

İkinci önemli "götürme", gözlemsel çalışmaların özellikle Simpson'un paradoksunun bilinmeyen varlığından dolayı yanlış cevaplar vermeye eğilimli olduğudur. Çünkü A Tedavisinin daha zor vakalara verilme eğiliminde olduğu yönündeki gerçeği düzeltemiyoruz.

Düzgün bir şekilde randomize bir çalışmada (1), rastgele tedaviyi tahsis edebiliriz, böylece bir tedaviye “haksız avantaj” verilmesi çok düşük bir ihtimaldir ve veri analizinde otomatik olarak halledilir ya da (2) önemli bir neden varsa Bunu yapmak için, tedavileri rastgele fakat orantısız olarak bilinen bir konuya dayanarak tahsis edin ve daha sonra analiz sırasında bu konuyu dikkate alın.