Lojistik regresyon parametrik olmayan bir test midir?

15

Kısa süre önce aşağıdaki soruyu e-posta yoluyla aldım. Aşağıda bir cevap göndereceğim, ancak başkalarının ne düşündüğünü duymak ilgimi çekti.

Lojistik regresyona parametrik olmayan bir test der misiniz? Anladığım kadarıyla, verileri normal olarak dağıtılmadığından parametrik olmayan bir testi etiketlemek yetersizdir. Varsayım eksikliği ile ilgisi daha fazla. lojistik regresyonun varsayımları vardır.

hypothesis-testing logistic nonparametric

— Jeromy Anglim
kaynak

7

(+1) Kayıt için - ve sorudaki iddiaların bir karşılığı olarak - parametrik olmayan yöntemleri "eksik varsayımlar" olarak tanımlayan (hatta karakterize eden) güvenilir bir referans bilmiyorum. Tüm istatistiksel prosedürler varsayımlar yapar. Parametrik olmayan prosedürlerin çoğu, temelde olasılık dağılımları hakkında kısıtlayıcı nicel varsayımlar yaparlar, ancak bu varsayımlar, olası durumları sonlu boyutlu gerçek manifold yapısına sahip bir kümeye daraltmaz.

— whuber

Doğrusal lojistik regresyondan bahsedersek (yazdığınız cevaba dayanarak örtük gibi görünüyor), o zaman elbette bu parametrik bir modeldir, ancak parametrik olmayan pürüzsüz bir işlev kullanarak ortak değişken efektini sığdırırsanız, örneğin

o zaman

bir fonksiyonu olarak tahmini olasılık üzerinde parametrik bir kısıtlama yoktur. Bu sadece lojistik bağlantı için geçerli değildir; aynı mantık ters çevrilebilir bağlantı fonksiyonları için de geçerlidir.

\log (\frac{P (Y_{i} = 1 | X_{i} = x)}{P (Y_{i} = 0 | X_{i} = x)}) = f (x)

$\log \left( \frac{ P(Y_i = 1 | X_i = x) }{P(Y_i = 0 | X_i = x) } \right) = f(x)$

x

$x$

— Makro

Burada ilgili bir soru soruyorum . GLM'nin bazı vakalarının (örneğin bir lojistik model) parametrik olmayan bir test sağladığını anlamaya başlıyorum . Wasserman'ın kitabına bakacağım, ancak (yanlış hatırlamıyorsam) çalışmalarının bazı ilkeleri ve bulguları hakkında bazı anlaşmazlıklar var.

— AdamO

19

Larry Wasserman bir parametrik modeli, "sınırlı sayıda parametre ile parametreleştirilebilen" bir dağıtım seti olarak tanımlar. (s.87) Aksine parametrik olmayan bir model, sınırlı sayıda parametre ile parametrelendirilemeyen bir dağılım kümesidir.

Dolayısıyla bu tanım gereği standart lojistik regresyon parametrik bir modeldir. Lojistik regresyon modeli parametriktir, çünkü sınırlı bir parametre setine sahiptir. Spesifik olarak, parametreler regresyon katsayılarıdır. Bunlar genellikle her bir öngörücü için bir artı bir sabite karşılık gelir. Lojistik regresyon, genelleştirilmiş doğrusal modelin özel bir şeklidir. Özellikle binom olarak dağıtılan verileri modellemek için bir logit link fonksiyonunun kullanılmasını içerir.

İlginçtir, parametrik olmayan bir lojistik regresyon gerçekleştirmek mümkündür (örn. Hastie, 1983). Bu, öngörücülerin etkisini modellemek için spline veya parametrik olmayan bir düzleştirme biçimini içerebilir.

Referanslar

Wasserman, L. (2004). Tüm istatistikler: İstatistiksel çıkarımda kısa bir kurs. Springer Verlag.
Hastie, T. (1983). Parametrik olmayan lojistik regresyon. SLAC PUB-3160, Haziran. PDF

— Jeromy Anglim
kaynak

Bir model bir dizi dağıtım mıdır? Burada önemli bir şey eksik.

— rolando2

Bir soru sormak ve kendiniz cevaplamak normal midir?

1

@fcop teşvik edilir. blog.stackoverflow.com/2011/07/…

— Jeromy Anglim

Tamam üzgünüm, bilmiyordum

Telaşa gerek yok. Benim için sitenin ana noktası, gelecekte cevap ararken başkalarının keşfettiği kaynaklar yaratmaktır. Kendi cevaplarınıza katkıda bulunmak tüm bunlara yardımcı olur.

— Jeromy Anglim

16

Lojistik regresyonun bir test olmadığını söyleyebilirim; bununla birlikte lojistik regresyon hiçbir teste veya birkaç teste yol açabilir.

Parametrik olmayan bir şeyi etiketlemenin oldukça doğru çünkü normal değil. Üstel aileyi açıkça parametrik olarak adlandırırdım, bu yüzden genellikle lojistik regresyonu (ve Poisson regresyonu ve Gamma regresyonu ve ...) parametrik olarak kabul ederdim, ancak belirli lojistik regresyonların olabileceği iddiasını kabul edebileceğim durumlar olabilir parametrik olmayan (veya en azından belirsiz bir dalgalı anlamda, sadece yarı - “parametrik”) olarak kabul edilebilir.

Regresyonun parametrik olmayan olarak adlandırılabileceği iki duyu üzerindeki karışıklığa dikkat edin.

$x$ $y$ $x$

$y$ $x$

Her iki duyu da kullanılır, ancak regresyon söz konusu olduğunda, ikinci tür aslında daha sık kullanılır.

It da (yeterli veri, I, örneğin, bir Theil yerel ağırlıklı doğrusal regresyon uygun olabilir) daha her iki anlamda da parametrik olmayan olmak mümkündür, ancak.

GLM'ler söz konusu olduğunda, parametrik olmayan çoklu regresyonun ikinci formu arasında GAM'lar; bu ikinci biçim Hastie'nin genel olarak işlediği (ve altında bu alıntıyla çalıştığı) duygusudur.

— Glen_b-Monica'yı eski durumuna döndür
kaynak

3

Yukarıdaki cevaplar için biraz ekleyebiliriz Tek faydalı ayrım: Andrew Ng bunun bir parametrik olmayan bir model olmanın anlamı için sezgisel bir yaklaşım verir Anlatım 1 den ders materyalleri makine öğrenimi üzerinde Stanford CS-229 kurs için.

Ng diyor ki (s. 14-15):

$\theta_{i}$ $\theta_{i}$ $h$

Bence bu düşünmek için yararlı bir zıt yol çünkü doğrudan karmaşıklık kavramını aşıyor. Parametrik olmayan modeller doğal olarak daha az karmaşık değildir, çünkü eğitim verilerinin çok daha fazlasını tutmayı gerektirebilirler. Bu, egzersiz verilerini sonlu bir şekilde parametreli bir hesaplamaya sıkıştırarak kullanımınızı azaltmamanız anlamına gelir. Verimlilik veya tarafsızlık veya diğer birçok özellik için parametreleştirmek isteyebilirsiniz. Ancak, parametreleştirmeyi kaldırabilir ve çok sayıda veriyi saklayabilirseniz performans kazançları olabilir.

— ely
kaynak

0

Lojistik regresyonun parametrik bir teknik olduğunu düşünüyorum.

Wolfowitz (1942) [Toplayıcı Bölüm Fonksiyonları ve Bir Sınıf İstatistiksel Hipotez Sınıfı Matematiksel İstatistik Yıllıkları, 1942, 13, 247-279] 'dan yararlı olabilir:

Sorunlarına giren çeşitli stokastik değişkenlerin “dağılım fonksiyonlarının [not: çoğul !!!]] bilinen fonksiyonel formda olduğu varsayılır ve tahmin ve test hipotezlerinin teorileri, tahmin hipotezlerinin tahmin ve test teorileridir. , bir veya daha fazla parametre, sınırlı sayıda, bilgisi, ilgili çeşitli dağıtım işlevlerini tamamen belirleyecektir. Kısalık için bu duruma parametrik durum olarak değineceğiz ve dağılımların fonksiyonel formlarının bilinmediği zıt durumu belirteceğiz 'parametrik olmayan durum olarak.

Ayrıca, bunun oldukça tartışıldığını duyduktan sonra, bunu Noether (1984) tarafından eğlenceli buldum [Parametrik Olmayanlar: İlk Yıllar-İzlenimler ve Hatırlamalar Amerikan İstatistikçisi, 1984, 38, 173-178]:

“Parametrik olmayan terimi, teorik istatistikçiler için bazı tarihsel öneme ve anlamlara sahip olabilir, ancak yalnızca uygulamalı istatistikçileri karıştırmaya yarar.”

— AndyF
kaynak

0

Hastie ve Tibshirani lineer regresyonun f (X) 'un lineer fonksiyonel bir formunu aldığından parametrik bir yaklaşım olduğunu tanımlar. Parametrik olmayan yöntemler açıkça f (X) için form almaz. Bu, parametrik olmayan bir yöntemin modelden hesaplanan f tahminine dayalı olarak modele uyacağı anlamına gelir. Lojistik regresyon, olasılığın lojistik fonksiyon tarafından hesaplandığı ancak bu sınıfları ayıran lojistik sınırın kabul edilmediği p (x) = Pr (Y = 1 | X = x) değerinin LR'nin de parametrik olmadığını doğruladığını tespit eder.

— Juan Zamora
kaynak