Regresyonda p-değerlerinin anlamı

Bazı yazılım paketlerinde (örneğin Mathematica) doğrusal bir regresyon gerçekleştirdiğimde, modeldeki bireysel parametrelerle ilişkili p-değerleri alıyorum. Örneğin, sonucunu üreten bir doğrusal regresyonun sonuçları, ve bir ile ile $ax+b$ ilişkili bir p değerine sahip olacaktır . $a$ $b$

Bu p değerleri bu parametreler hakkında bireysel olarak ne anlama geliyor?
Herhangi bir regresyon modeli için parametreleri hesaplamanın genel bir yolu var mı?
Her parametreyle ilgili p değeri, tüm model için bir p değerinde birleştirilebilir mi?

Bu soruyu doğada matematiksel olarak tutmak için sadece p-değerlerinin olasılıklar açısından yorumlanmasına çalışıyorum.

probability regression

— Henry B.
kaynak

Gavin'in @cardinal sorusuna cevabı iyi söylüyor.

— JM, istatistikçi değil

@zyx, OP'nin sorularıyla ilgili ileri düzeyde bir şey yok. Bunlar benim görüşüme göre, istatistikleri olan çok yaygın sorulardır. SE daha uygundur --- ve katılımcıların daha çok ilgilendikleri. Math.SE ve MO, olasılık soruları için mükemmel kaynaklardır, ancak istatistiksel sorular için çok daha azdır. OP'nin soruları ikincisine daha fazla eğiliyor.

— kardinal

@ cardinal: İstatistikleri takip ettim. Bugüne kadarki 4800+ sorudan OP'den 3. maddeyi soran veya cevaplayan birini bulamadım , bu "çok yaygın" bir sorguysa garip. Ben de birkaç kez ortaya çıktığında, 1. maddeye kavramsal olarak kesin cevaplar görmedim. Bu şeylerin matematiğe gönderilmesi gerektiğini düşünüyorum.SE ve MO periyodik olarak daha büyük bir izleyici kitlesinin dikkatini çekmek için, dakikalar içinde istatistiklere geçilmemelidir.SE. Ayrıca stat sormaktan da zarar gelmez.SE ancak ikincisini istatistiklerin tartışılabileceği tek yere çevirmek yardımcı olmaz.

— zyx

Şu anda math.SE ile ilgili bir konu var.

— zyx

(Yukarıda belirtilen bazı yorumlar göç sırasında kaybedilmiştir. Orijinal matematikte görünürler. Aşağıda "göçen ..." sözcüklerinin yanındaki bağlantılara göz atın)

— zyx

Yanıtlar:

P-değeri hipotez "bir test p değeridir " (genellikle 2 taraflı -testi). P-değeri hipotezi "bir test p değeridir " (aynı zamanda, genellikle, bir 2 taraflı -testi) ve aynı şekilde regresyon başka katsayılarının. Bu testler için olasılık modelleri, doğrusal regresyon modelinde kabul edilenlerle belirlenir. En küçük kareler doğrusal regresyon için, çift ( ), gerçek parametre değerlerine ( merkezli) bir iki değişkenli normal dağılımı izler. $a$ $\alpha = 0$ $t$ $b$ $\beta = 0$ $t$ $a,b$ $\alpha, \beta$ ) Ve her katsayı için hipotez testi eşdeğerdir -Kaynak olup (sırasıyla. yalnız]. Normal dağılımlar biraz karmaşık ve "özgürlük dereceleri" ve "şapka matrisleri" dahil oldular göründükleri ayrıntıları (notasyonu dayalı sürekli EKK regresyon teoride görünen matrisleri bazıları için). $t$ $\alpha = 0$ $\beta=0$ ) uygun bir normal dağılımdaki numunelere dayanarak [bir değişkenin, yani veya dağılımı $a$ $b$ $\hat{A}$
Evet. Genellikle, Maksimum Olabilirlik Tahmini ile yapılır (ve tanımlanır) . İçin regresyon doğrusal OLS ve diğer modellerin az sayıda veriden parametrelerinin hesaplanması için kesin formüller vardır. Daha genel gerilemeler için çözümler, doğada yinelemeli ve sayısaldır.
Direkt olarak değil. Bir p-değeri, tüm modelin bir testi için ayrı ayrı hesaplanır, yani, tüm katsayıların (gerçekte değişeceği varsayılan değişkenler olduğu varsayılır), yani eğer varsa "sabit terim" katsayısını içermez. bir). Ancak bu p değeri genellikle katsayıların p değerleri bilgisinden hesaplanamaz.

— zyx
kaynak

(1) noktasında, bir parametre ile bir tahminci arasında biraz karışıklık olduğu görülüyor .

-değeri tahmin yerine parametresi ile ilişkili olan ve tahmin (en azından klasik istatistik sabit kabul edilir), iki değişkenli normal değil, parametrelerdir. Tamamen mümkün (ve oldukça yaygın) olduğundan bireysel bazıları için Ayrıca noktasında (3.) içinde Yorumlarınızı karışıklığa yol açabilecek

regresyon tahminlerinin-değerlerinin ortak daha iki büyük ve küçük olmak üzere

karşılık gelen-değeri

testi.

p

$p$

p

$p$

p

$p$

F

$F$

— kardinal

@NRH: Üzgünüm, önceki yorumunuzu netleştirebilir misiniz? Ben henüz tam olarak takip etmiyorum. :)

— kardinal

@ cardinal: Bir p-değerinin bir hipotez testiyle ilişkili olduğunu söylemek daha doğru görünüyor. Parametreler testin boş hipotezinde görünür ve çift (tahmin edicinin gözlenen değeri, alternatif hipotez) daha sonra bir p değeri belirler. Boş hipotezler, şimdi düzeltilmiş olan orijinal cevabında [dikkatsizce] yapıldığı gibi a = 0 tahmin edicileri yerine α = 0 gibi parametreler kullanılarak tanımlanmalıdır (hatayı işaret ettiğiniz için teşekkürler). Bununla birlikte, sözde karışık ya da eksik bir ayrım “tahmin ediciler değişkenler normaldir, parametreler değil” cevabında açıkça belirtilmiştir.

— zyx

Üzgünüm, direnemedim. @ zyx matematikteki orjinal yayına yorum yaptı. Bazen matematiksel olarak kesin olmamakla birlikte birçok cevabın oldukça doğru olduğunu düşünüyorum . Bu şeylerin doğasında var. İstatistiksel sorular ve cevaplar her zaman kesin matematiksel ifadelere indirgenemez. Özellikle de zor olanları değil. Yine de burada verilen cevap bence ne kesin, ne de kesindir.

— NRH,

Oy kullanmayanların açıklayıcı bir yorumda bulunmasının iyi olacağını düşünüyorum.

— kardinal

İlk sorunuzun cevabı: bu, seçtiğiniz yazılıma bağlıdır. Her ikisi de olasılık oran testlerine dayanan bu senaryolarda sıklıkla kullanılan iki tür p değeri vardır (diğerleri de vardır ancak bunlar tipik olarak eşdeğerdir veya sonuçlarında en azından çok az farklılık gösterir).

Tüm bu p değerlerinin farklı olduğunu anlamak önemlidir. şartlı (parçası) üzerinde parametrelerin kalanı. Bunun anlamı şudur : Diğer parametre tahminlerinin (bazıları) doğru olduğunu varsayarsak , parametre katsayısının sıfır olup olmadığını test edersiniz. Tipik olarak, bu testler için boş hipotez, katsayının sıfır olduğu, yani küçük bir p değerine sahipseniz, bunun anlamı (koşullu olarak diğer katsayıların değerine göre) katsayının kendisinin sıfır olma olasılığı olmadığıdır.

Tip I, modelde kendisinden önce gelen katsayıların değerine (soldan sağa) bağlı olarak her katsayının sıfırlığı için testi test eder. Tip III testleri (marjinal testler), diğer tüm katsayıların değerine bağlı olarak her katsayının sıfırlık testi.

Farklı araçlar varsayılan olarak farklı p değerleri sunar, ancak tipik olarak her ikisini de edinme yöntemleriniz vardır. Parametreleri bir sıraya dahil etmek için istatistiklerin dışında bir nedeniniz yoksa, genellikle tip III test sonuçlarıyla ilgileneceksiniz.

Son olarak (son sorunuza daha fazla ilişkin), olasılık oranı testiyle, geri kalanı koşullu herhangi bir katsayı kümesi için her zaman bir test oluşturabilirsiniz. Aynı anda sıfır olmak üzere birden fazla katsayıyı test etmek istiyorsanız, bunun için gitmenin yoludur (aksi halde bazı kötü çoklu test sorunlarıyla karşılaşırsınız).

— Nick Sabbe
kaynak

Lütfen bahsettiğiniz şartlılığı detaylandırabilir misiniz? Varyans regresyon

belirleyicileri ve bir yolunu kesmek, parametre doğrusal bir kombinasyonuna bir hipotez test

kullanımları testi istatistik

p

$p$

ψ = c^{'} β

$\psi = c'\beta$

...

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_0}{\hat{\sigma} \sqrt{c' (X' X)^{-1} c}}$

— caracal

Burada

ile

parametre tahminlerinin vektörüdür ve

katsayıları bir vektör.

tasarım matristir ve

kalan standart hatadır

, burada

, tedarik edilen modelden kalanların vektörüdür.

0 olduğu tek bir parametrenin testi için

\hat{ψ} = c^{'} \hat{β}

$\hat{\psi} = c'\hat{\beta}$

\hat{β}

$\hat{\beta}$

c

$c$

X

$X$

\hat{σ}

$\hat{\sigma}$

| | e | |^{2} / (n - (p + 1))

$||e||^2 / (n - (p+1))$

e

$e$

j

$j$

c

$c$

j

$j$ -birim vektör ve

. Model karşılaştırmalarının

için nerede bir rol oynadığını anlamıyorum .

ψ_{0} = 0

$\psi_0 = 0$

t

$t$

— caracal

Meselenin özü, burada örneğin ele geçirilir . Anova'nın sadece özel bir regresyon olayı olduğunu unutmayın. Temel olarak, bu şudur: B değişkenli veya değişkensiz bir modelde A değişkeninin (sıfır katsayısı) bir testi yaparsanız, farklı sonuçlar alabilirsiniz. Bu nedenle sonuç, modelinize, verilere (B değişkeninin değerleri için bile) ve dolayısıyla testinizde değil modelinizde koşullara bağlıdır. Bu fikri matematikte bulmak biraz daha zor olabilir :-)

— Nick Sabbe

p - 1

$p-1$

p

$p$

c^{'} β

$c'\beta$

β_{j}

$\beta_j$

F = \frac{(S S_{e r} - S S_{e u}) / (d f_{e r} - d f_{e u})}{S S_{e u} / d f_{e u}}

$F = \frac{(SS_{er} - SS_{eu}) / (df_{er} - df_{eu})}{SS_{eu} / df_{eu}}$

S S_{e r}

$SS_{er}$

d f_{e r}

$df_{er}$

| | e_{r} | |^{2}

$||e_r||^2$ ve kısıtlı model için onların df, aynı şekilde

u

$u$ sınırsız model için. Açıkçası, bu gerçekten sınırlı ve sınırsız modellerin seçimine bağlıdır.

— caracal

Sürekli durum, tamamen 0-1 kodlanmış bir değişkene eşit olmalıdır.

— Nick Sabbe