“RMSE'nin 2,5 katına” dayalı aykırı değerler

In Kahneman ve Deaton (2010) , yazarlar şunları yazın:$^\dagger$

Bu gerileme, varyansın% 37'sini açıklar ve 0.67852 kök ortalama kare hatası (RMSE) içerir. Aykırı değerleri ve mantıksız gelir raporlarını ortadan kaldırmak için, log geliri ile tahmini arasındaki farkın mutlak değerinin RMSE'nin 2,5 katını aştığı gözlemleri bıraktık.

Bu yaygın bir uygulama mı? Bunun arkasındaki sezgi nedir? İlk etapta iyi tanımlanmamış bir modele dayanarak bir aykırı değer tanımlamak biraz garip görünüyor. Aykırı değerlerin belirlenmesi, modelinizin gerçek değerleri ne kadar iyi öngördüğünden ziyade, makul bir değer oluşturan şey için bazı teorik gerekçelere dayanmamalıdır?

$\dagger$ : Daniel Kahneman, Angus Deaton (2010): Yüksek gelir, yaşamın değerlendirmesini iyileştirir ancak duygusal refahı iyileştirmez. _{^{Ulusal Bilimler Akademisi Bildirileri Eylül 2010, 107 (38) 16489-16493; DOI: 10.1073 / pnas.1011492107}}

Bu verilerin bırakılmasının nedeni tam burada alıntıda belirtilmiştir: yani "aykırı değerleri ve makul olmayan gelir raporlarını ortadan kaldırmak". Bunların her ikisine birlikte atıfta bulunmaları, aykırı değerlerinin en azından bir kısmının mantıksız değerler olmadığını kabul ettikleri anlamına gelir ve her durumda, yüksek kalıntıya sahip değerlerin neden "mantıksız kabul edilmesi gerektiği" konusunda hiçbir argüman vermezler. gelir değerleri. Bunu yaparak, veri noktalarını etkili bir şekilde kaldırırlar, çünkü artıklar regresyon modellerinde beklenenden daha yüksektir. Başka cevaplarında belirttiğimiz gibi burada , bu modelin varsayımları uymak için gerçekliği gerektiren ve bu varsayımlar ile uyumlu olmayan parçaları gerçek görmezden eşdeğerdir.

Bu yaygın bir uygulama olsun ya da olmasın, korkunç bir uygulamadır. Bunun nedeni, dışarıdaki veri noktalarının üstesinden gelmenin zor olması ve analistin bunları düzgün bir şekilde modellemek istememesi (örneğin, hata terimlerinde daha yüksek basıklık sağlayan bir model kullanarak), bu yüzden gerçekliğin olmayan kısımlarını kaldırmasıdır. istatistiksel modelleme yapma becerilerine uygun olacaklardır. Bu uygulama istatistiksel olarak istenmeyen bir durumdur ve hata açısından varyans ve basıklığı sistematik olarak hafife alan çıkarımlara yol açar. Bu makalenin yazarları, bu aykırı değerlerin kaldırılması nedeniyle verilerinin% 3.22'sini düşürdüklerini bildirmektedir (s. 16490). Bu veri noktalarının çoğu çok yüksek gelirler olacağından, bu, yüksek gelirlerin (kağıtlarının amacı olan) etkisi hakkında sağlam sonuçlar çıkarma yetenekleri konusunda önemli bir şüphe uyandırmaktadır.