Araştırmacı 1 1000 regresyon, araştırmacı 2 sadece 1 çalışıyor, her ikisi de aynı sonuçları alıyor - farklı çıkarımlar yapmalılar mı?

Bir araştırmacının bir veri kümesini keşfettiğini ve 1000 farklı regresyon gerçekleştirdiğini ve aralarında ilginç bir ilişki bulduğunu düşünün.

Şimdi , aynı verilere sahip başka bir araştırmacının sadece 1 regresyon gerçekleştirdiğini ve diğer araştırmacının bulmak için 1000 regresyon aldığını ortaya çıkardığını hayal edin . Araştırmacı 2 araştırmacı 1'i tanımıyor.

Araştırmacı 1 araştırmacı 2'den farklı çıkarımlarda bulunmalı mıdır? Neden? Örneğin, araştırmacı 1 çoklu karşılaştırma düzeltmesi yapmalı, ancak araştırmacı 2 yapmamalı mı?

Araştırmacı 2 size ilk olarak tek regresyonunu gösterseydi, ne gibi çıkarımlar yaparsınız? Bu araştırmacı 1'den sonra size sonuçlarını gösterdiyse, çıkarımınızı değiştirmeli misiniz? Eğer öyleyse, neden önemli?

PS 1 : Varsayımsal araştırmacılar hakkında konuşmak sorunu soyutlaştırıyorsa, şunu düşünün: mevcut en iyi yöntemi kullanarak makaleniz için sadece bir gerileme yaptığınızı düşünün . Daha sonra başka bir araştırmacı, koştuğunuz aynı regresyonu bulana kadar aynı verilerle 1000 farklı regresyon araştırdı . İkiniz farklı çıkarımlar yapmalı mısınız? Her iki dava için kanıtlar aynı mıdır yoksa değil mi? Diğer araştırmacı sonuçlarını biliyorsanız, çıkarımınızı değiştirmeli misiniz? Halk iki çalışmanın kanıtlarını nasıl değerlendirmelidir?

PS 2: lütfen spesifik olmaya çalışın ve mümkünse matematiksel / teorik bir gerekçe sağlamaya çalışın!

— statslearner
kaynak

Geçerli bir karşılaştırma için tüm sıfır ve alternatif hipotezleri belirtmeniz gerekir. Araştırmacı 2 muhtemelen 1 hipotezi test edebilirken, Araştırmacı 1 muhtemelen 1000'de 1 tip 1 hata yapmama olasılığını kontrol etmek istiyor. Araştırmacı 2'nin bir testi vardır ve ayarlamaya gerek yoktur. Araştırmacı 1 için aynı verilere farklı modeller mi yoksa 1000 veri kümesinin her biri için uygun bir model mi takıyorsunuz?

— Michael R. Chernick

@MichaelChernick Sadece bir veri kümesi var. Araştırmacı 1, sevdiğini bulana kadar aynı veri seti için 1000 modele uyuyor. Araştırmacı 2 sadece 1 taktı. Her iki araştırmacı da aynı verileri kullanıyor. Peki, bu iki araştırmacının aynı veri kümesiyle farklı şeyler sonuçlandırması gerektiğini söyleyebilir misiniz? Araştırmacı 2 analizinden haklı olarak emin olmalı, araştırmacı 1 ise çoklu karşılaştırma nedeniyle p-değer / güven aralıklarını şişirmeli mi?

— İstatistik

Eğer argümanımı izlediyseniz, sadece araştırmacı 2 tek bir hipotezi test ederken, araştırmacı 1 1000 hipotezi test ederken ve test ettiği tüm hipotezleri kontrol etmesi gerektiği anlamındadırlar. İki farklı problem içerir. Hala belirsiz olan, "sadece ilginç bir ilişki bularak" demekti. Belki paradoksal bir durum ortaya koyduğunuzu düşünüyorsunuz. Sahip olduğunu sanmıyorum.

— Michael R. Chernick

@MichaelChernick, aynı modelle tam olarak aynı veriler için nasıl bir paradoks değildir, iki farklı sonuca varır? İki ayrı makaleyi okursanız, ne sonuçlandırırdınız?

— İstatistik

@MichaelChernick Yaptım ve bunun doğru olduğunu düşündüğünüzde rahatsız edici buluyorum --- tam olarak aynı verilerle, aynı modelle, iki farklı sonuca yol açıyor. Cevap hakkındaki yorumlarıma bakın.

— İstatistik

Yanıtlar:

İşte sorunuzun "Bayesci" eğilimi. Sanırım farklı ön bilgileri olan iki kişinin aynı veri seti verildiğinde farklı bir cevap / sonuç alması gerektiğini açıkladınız. Daha açık sözlü / aşırı bir örnek varsayalım ki, hangi hipotezden olursa olsun regresyon modeli parametrelerini ve sonuçlarını tahmin eden bir "araştırmacı 1b" var. regresyon çalıştırmak kavramsal olarak tahmin etmekten çok uzak değildir. $1000$

Ne olduğunu düşünüyorum ... araştırmacılar hakkında yukarıdaki sorudan önceki bilgiler hakkında ne öğreniyoruz ? - araştırmacının 1 muhtemelen modeller için düz bir önceden var araştırmacı 2 sahip ilgi modeli için keskin bir ön - (varsayalım olduğu her ikisinin de uygun olduğu model) $P (M_k|I_1)=\frac {1}{1000}$ $P (M_1|I_2) =1$ $M_1$

Bu açıkça bir basitleştirme, ama burada görebilirsiniz, herhangi bir veri olmadan araştırmacı 2'nin çıkarımlarına çok daha fazla ağırlık veriyoruz. Ama görüyorsunuz, ikisi de verileri hesaba , araştırmacı 1'in için arka olasılığı artacaktır ... (... bunu biliyoruz, çünkü "daha iyi" " fazla model ...). Araştırmacı 2'nin arka kısmı artık konsantre olamaz, zaten eşittir . Bilmediğimiz, verilerin alternatifler üzerinden ne kadar desteklediğidir . Ayrıca bilmediğimiz şey, farklı modellerin araştırmacı 1'in temel sonuçlarını nasıl değiştirdiğidir. Örneğin, tümünü $M_1$ $P (M_1|DI)>>P (M_1|I)$ $999$ $1$ $M_1$ $1000$ modeller ortak bir terim içerir ve bu değişken için regresyon parametresinin tümü önemli ölçüde yüksektir (örneğin , tüm modeller için ). O zaman birçok model uygun olsa bile, önemli ölçüde olumlu bir etki çıkarmada sorun yoktur. $1000$ $0$ $p-value <10^{-8}$

Veri kümesinin ne kadar büyük olduğunu da söylemezsiniz ve bu önemlidir! gözlem ve değişken / öngörücü / bağımsız değişken içeren bir veri kümesinden bahsediyorsanız , araştırmacı 1 muhtemelen model hakkında oldukça belirsiz olacaktır. Ancak, araştırmacı 1 gözlem kullanıyorsa , bu modeli kesin olarak belirleyebilir. $100$ $10$ $2,000,000$

Farklı bilgilerle başlayan ve aynı verileri gördükten sonra farklı sonuçlar almaya devam eden iki kişide temelde yanlış bir şey yoktur. Ancak ... "model alanı" çakışmaları ve veriler bu "çakışan bölgeyi" desteklemesi koşuluyla, aynı verileri görmek onları bir araya getirecektir.

— probabilityislogic
kaynak

Bu nedenle, talebinizin temel kısmı, "ne kadar veri keşfettikleri" değil, farklı önceliklere sahip oldukları için değil, farklı çıkarımlarda bulunmalarıdır.

— İstatistik

Bu arada, nasıl olur sen delilleri değerlendirmek? Araştırmacı 1'in kaç model takıldığını düşünür müsünüz? Öyleyse neden?

— İstatistik

Her zaman uygun olan modellerin sayısını önemsemem , ancak kullanılan modelin bir dereceye kadar kesin olarak bilinip bilinmediği. Kısaca bahsettiğim gibi, makul alternatifler olup olmadığını bilmek isterim. Örneğin, araştırmacı 1 düşürülen / eklenen bir değişken hakkında "çizgi topu" kararı verdiyse, bunun belirtilmesini isterim.

— olasılık

Neden bahsettiğini görmek istesin, bu senin öncekini bir şekilde değiştirsin? Daha önce onu vekil olarak mı kullanıyorsun? Yaptığınız haritalamayı benim için net değil. Belirli bir araştırmacının nedenleri, veri oluşturma sürecini hiç etkilemediğinden, çıkarımınız için neden önemlidir?

— statlearner

Buradaki veri kümesini araştırmacıya harici olarak düşünüyoruz, toplamadı ve her iki araştırmacı da aynı verileri kullanıyor. Onlar tıpkı gevşek anlam eşik kullandığından psikolojide taklit edilemeyen nedenler bulgular gibi görünüyor birkaç deli hipotezi değerlendirmek için kanıt standardı Makul bir kişi / bilim adamı onlara önsel saçma bulur. Örneğimizde test edilen hipotez böyle bir gücün ortaya çıkması saçma bir şeyse, 1 veya 1000 gerileme yapmamız önemli midir?

— İstatistik

İstatistiksel yorum, ne istediğinizi matematiksel tedaviden çok daha az açıktır.

Matematik açıkça tanımlanmış problemlerle ilgilidir. Mükemmel bir zar atmak veya bir urndan toplar çizmek.

İstatistik, matematiğin bir kılavuz oluşturduğu ancak (kesin) çözüm olmadığı matematiğe uygulanır.

Bu durumda koşulların önemli bir rol oynadığı açıktır. Bir regresyon gerçekleştirir ve sonra gücü ifade etmek için bazı p değerlerini (matematik) hesaplarsak, p değerinin yorumlanması (istatistikleri) ve değeri nedir?

Araştırmacı 1 tarafından yapılan 1000 regresyon durumunda , sonuç çok daha zayıftır, çünkü bu tür bir durum gerçekten bir ipucumuz olmadığında ve sadece verileri araştırdığımızda ortaya çıkar. P değeri sadece bir şey olabileceğinin bir göstergesidir .

Bu yüzden araştırmacı 1 tarafından gerçekleştirilen regresyonda p değeri daha az değerlidir. Ve araştırmacı 1 veya araştırmacı 1 sonuçlarını kullanan biri regresyon ile bir şeyler yapmak istiyorsa, p değerinin düzeltilmesi gerekir. (ve araştırmacı 1 ile araştırmacı 2 arasındaki farkın yeterli olmadığını düşünüyorsanız, araştırmacı 1'in çoklu karşılaştırmalar için p değerini düzeltmek için yapabileceği çok sayıda yolu düşünün)
Araştırmacı 2 tarafından yapılan tek regresyon durumunda , sonuç çok daha güçlü kanıttır. Fakat bunun nedeni regresyonun kendi başına durmamasıdır. Biz nedenleri dahil etmek zorunda niçin araştırmacı 2 tek tek regresyon yaptı. Bunun nedeni, tek regresyonun veriler için iyi bir model olduğuna inanması için iyi (ek) nedenlere sahip olması olabilir.
Araştırmacı 1 ve 2 tarafından gerçekleştirilen regresyonların ayarı çok farklıdır ve aynı problem için her ikisiyle aynı anda karşılaşmanız çoğu zaman değildir . Bu durumda ya
- araştırmacı 2 çok şanslıydı
  
  Bu çok nadir değildir ve literatürü yorumlarken bunu daha iyi düzeltmeliyiz, ayrıca toplam araştırma resminin yayınlanmasını geliştirmeliyiz. Araştırmacı 2 gibi bin araştırmacı varsa ve sadece bir tanesinin bir başarı yayınladığını göreceğiz, o zaman diğer 999 araştırmacının başarısızlıklarını görmediğimiz için, araştırmacı gibi bir vakamız olmadığına yanlış bir şekilde inanabileceğimizden 1
- araştırmacı 1 o kadar zeki değildi ve başlangıçtan beri o tek kişi olması gerektiğini ve belki de daha güçlü bir test yapmış olabileceğini bilse de, bazı regresyon için inanılmaz derecede gereksiz bir araştırma yaptı.
  
  Araştırmacı 1'den daha akıllı olan (başlangıçtan itibaren ek 999 regresyonunu umursamayan) ve çalışma hakkında okuyanlar için, sonuçların önemine daha fazla güç verebilirler, ancak yine de araştırmacının sonucu 2.
  
  Araştırmacı 1, 999 gereksiz ek regresyonu düzeltirken çok muhafazakar olsa da, araştırmanın bir bilgi boşluğunda yapıldığı ve tip 1'den şanslı bir araştırmacı bulmanın çok daha muhtemel olduğu gerçeğini göz ardı edemeyiz. 2.

İlginç bir ilgili hikaye: Astronomide, kozmik arka planı daha yüksek bir hassasiyetle ölçmek için daha iyi bir araç planlarken, verilerin sadece yarısını yayınlamayı savunan araştırmacılar vardı. Çünkü veri toplamak için sadece tek bir atış var. Tüm gerilemeler düzinelerce farklı araştırmacı tarafından gerçekleştirildikten sonra (ve teorisyenin inanılmaz çeşitliliği ve yaratıcılığı nedeniyle, verilerdeki her olası, rastgele, yumruya kesinlikle bir miktar uyum vardır), doğrulamak için yeni bir deneme (yani, tamamen yeni bir evren oluşturamazsanız).

— Sextus Empiricus
kaynak

Yorumlarda söylediğim gibi @MartijnWeterings için +1 problem matematiksel olarak iyi pozlanmadı. OP'nin bir paradoks olduğunu düşündüğü izlenimini edindim, çünkü iki araştırmacı aynı model seçimine yol açacak, ancak çoklu regresyon sorununa ihtiyaç duyduğu için 1000 regresyon yapan kişi cezalandırılıyor. Bunu bir paradoks olarak görmüyorum (net değil ama OP'nin yaptığını düşünüyorum). İki vakanın neden farklı olduğunu sezgisel olarak açıklayan çok güzel yazılmış ve doğru bir cevap verdiniz. Bence OP cevabınızı kontrol etmeli!

— Michael R. Chernick

\neq

$\neq$

Ayrıca, bunun yaygın bir uygulama olduğunu biliyorum, ancak aynı veri oluşturma sürecinden tam olarak aynı model ve veriler olduklarında, bir sonucun diğerinden "daha güçlü kanıt" olduğunu söylemek zor değil mi? Farklı olan tek şey, bir üçüncü tarafın verilere ne kadar baktığıdır ve bunun DGP'nin kendisi veya sorun hakkındaki önceki inançlarınızla herhangi bir ilişkisi olmamalıdır. Araştırmacı 2 analizi, örneğin araştırmacı 1'in cehaletiyle lekelenmeli mi?

— İstatistik

@MartijnWeterings verinin yorumlanması için araştırmacının niyeti neden önemlidir? Bunu sezgisel olarak, uzman sonucunu yorumlayan bir meslekten olmayan kişi olarak kullanıyorsanız, sorun değil. Ancak verileri analiz eden bir bilim adamı için, araştırmacının niyetinin kanıtları yorumlamanızda bir etkisi olmaması gerektiği görülmektedir.

— İstatistik

Görünüşe göre araştırmacının davranışını öncekinin vekili olarak kullanıyorsun . Araştırmacı 1000 regresyon yürüttüyse, bu spesifik hipotezden önceki düşük seviyeye karşılık gelirdi. Sadece 1 koşsaydı, bu hipotezden önceki bir yüksekliğe karşılık gelirdi. İki durumunuz varsa, hangisini kullanmadan önce bilmiyorsunuz.

— istatistikleri

Kısa öykü: sorunuza cevap verecek kadar bilgimiz yok çünkü kullanılan yöntemler veya toplanan veriler hakkında hiçbir şey bilmiyoruz.

Uzun cevap ... Buradaki asıl soru her araştırmacının yapıp yapmadıklarıdır:

titiz bilim
titiz sahte bilim
verilerin araştırılması
veri tarama veya p-hack

Yöntemleri, sonuçlarının yorumlanmasının gücünü belirleyecektir. Bunun nedeni, bazı yöntemlerin diğerlerinden daha az ses olmasıdır.

Titiz bilimde bir hipotez geliştirir, karıştırıcı değişkenleri belirler, hipotezimizin dışındaki değişkenler için kontroller geliştirir, test yöntemlerini planlar, analitik metodolojimizi planlar, testler yapar / veri toplar ve sonra verileri analiz ederiz. (Analitik yöntemlerin test gerçekleşmeden önce planlandığını unutmayın). Bu en titiz olanıdır, çünkü hipoteze uymayan verileri ve analizleri kabul etmeliyiz. İlginç bir şey elde etmek için gerçeklerden sonra yöntemleri değiştirmek kabul edilemez. Bulgulardan gelen herhangi bir yeni hipotez yine aynı süreçten geçmelidir.

Sözde bilimde sıklıkla toplanmış olan verileri alırız. Bunun etik olarak kullanılması daha zordur, çünkü sonuçlara önyargı eklemek daha kolaydır. Bununla birlikte, etik analistler için bilimsel yöntemi takip etmek hala mümkündür. Bununla birlikte, uygun kontrolleri kurmak zor olabilir ve araştırılması ve not edilmesi gerekir.

Verilerin araştırılması bilime dayalı değildir. Spesifik bir hipotez yoktur. Karıştırıcı faktörlerin erken bir değerlendirmesi yoktur. Ayrıca, aynı verileri kullanarak analizi geri almak ve yeniden yapmak zordur, çünkü sonuçlar önceden bilgi veya modelleme ile lekelenebilir ve doğrulama için kullanılacak yeni veri yoktur. Keşif analizinde bulunan olası ilişkileri netleştirmek için titiz bir bilimsel deney yapılması önerilir.

Veri tarama veya P-hackleme, bir “analistin” beklenmedik veya bilinmeyen bir cevap umuduyla birden çok test gerçekleştirdiği veya sonuç almak için verileri manipüle ettiği yerdir. Sonuçlar basit tesadüf olabilir, karıştırıcı değişken (ler) in sonucu olabilir veya anlamlı etki büyüklüğü veya gücüne sahip olmayabilir.

Her sorun için bazı çözümler vardır, ancak bu çözümler dikkatli bir şekilde değerlendirilmelidir.

— Adam Sampson
kaynak

Soruna gereksiz gürültü eklediğinizi düşünüyorum. Mevcut en iyi yöntemleri kullandıklarını varsayın. Veriler onlar tarafından değil, bir istatistik ajansı tarafından toplandı, bu nedenle veri toplama üzerinde hiçbir kontrolü yoktu. Tek fark, her araştırmacının verileri ne kadar keşfettiği. Biri çok şey keşfetti, diğeri sadece bir kez keşfetti. Her ikisi de aynı verilerle aynı son modeli alır. Farklı çıkarımlarda bulunmalılar mı? Ve bu nasıl etkilemelidir senin çıkarım?

— İstatistik

Bu ekstra gürültü değil. Matematik matematiktir. Modeller aynı ise aynıdır. Modelleri nasıl yorumladığınız, probleminizde yer almayan diğer tüm değişkenlere bağlıdır. Diğer tüm bağlam ve tasarım veya deneyleri görmezden gelirseniz, cevap basittir, her iki model de matematiksel olarak eşit performans gösterir ve her ikisi de bilimsel olarak zayıftır.

— Adam Sampson