Regresyon kullanarak aykırı algılama

Regresyon dışlayıcı tespiti için kullanılabilir. Aykırı değerleri kaldırarak bir regresyon modelini geliştirmenin yolları olduğunu anlıyorum. Ancak buradaki temel amaç bir regresyon modeline uymak değil, regresyon kullanarak yalancıları bulmaktır

Aykırı değerleri bulmak için regresyon kullanmak için en iyi seçeneğiniz sağlam regresyon kullanmaktır.

Sıradan regresyon, aykırı değerlerden iki şekilde etkilenebilir:

$\bar x$

İkincisi, x-uzayda 'dışa dönük ' bir gözlem etkili bir gözlemdir - çizginin uyumunu ona doğru çekebilir. Yeterince uzaksa, hat etkili noktadan geçecektir:

Sol grafikte oldukça etkili bir nokta var ve çizgiyi verilerin büyük bir kısmından oldukça çekiyor. Doğru arsada, daha da uzağa taşındı - ve şimdi çizgi noktadan geçiyor. X değeri bu kadar uç olduğunda, bu noktayı yukarı ve aşağı hareket ettirdikçe, çizgi diğer noktaların ortalamasından ve etkili bir noktadan geçerek onunla birlikte hareket eder.

Verilerin geri kalanıyla mükemmel bir şekilde tutarlı olan etkili bir nokta, bu kadar büyük bir sorun olmayabilir, ancak verilerin geri kalanından bir çizgiden uzak olan bir nokta, çizgiyi verilerden ziyade ona sığdırır.

Eğer sağ arsa bakarsak, kırmızı çizgi - en küçük kareler regresyon çizgisi - vermez hiç bir aykırı olarak aşırı noktasını göstermek - onun kalıntı yerine 0'dır, en az kareler büyük kalıntılar bulunmaktadır hattı verinin ana kısmı!

Bu, bir aykırı değeri tamamen özleyebileceğiniz anlamına gelir .

Daha da kötüsü, çoklu regresyon ile, x-uzayındaki bir aykırı herhangi bir tek x-değişkeni için özellikle sıra dışı görünmeyebilir. Böyle bir noktanın olasılığı varsa, en az kareler regresyonunu kullanmak potansiyel olarak çok riskli bir şeydir.

Sağlam regresyon

Sağlam bir çizgi takarsanız - özellikle etkili dışa doğru sağlam bir çizgi - ikinci arsadaki yeşil çizgi gibi - takarsanız , aykırı değerde çok büyük bir kalıntı vardır.

Gelen bu durumda, sen Aykırı belirlemede umut var - Bir anlamda - - hattına yakın değiller noktalar olacak.

Aykırı değerleri kaldırma

Kesinlikle aykırı değerleri tanımlamak ve böylece kaldırmak için güçlü bir regresyon kullanabilirsiniz.

Ancak, aykırı değerlerden zaten kötü bir şekilde etkilenmeyen sağlam bir regresyon uyumunuz olduğunda, aykırı değerleri çıkarmanız gerekmez - zaten iyi bir modeliniz var.

Aykırı algılama için regresyon kullanılabilir.

Evet. Bu cevap ve Glen_b'in yanıtı buna değiniyor.

Buradaki temel amaç bir regresyon modeline uymak değil, regresyon kullanarak yalancıları bulmaktır

Roman Lustrik'in yorumuna dayanarak, burada (çoklu doğrusal) regresyon kullanarak aykırı değerleri bulmak için bir buluşsal yöntem var.

$n$

1. $n$ $r_{total}$

2. $r_i$

3. $r_i$$r_tot$$i$$r_i << r_{total}$$i$

Bu aday aykırı noktaları bir kenara bırakarak, tüm egzersizi azaltılmış örnekle tekrarlayabiliriz. Algoritmada, regresyon uyumunu kötü bir şekilde etkileyen verilerden örnekler seçiyoruz (bir örneği bir aykırı değer olarak etiketlemenin bir yolu).