Sınıfta veri madenciliğine maruz kalmamda, tutma yöntemi model performansını değerlendirmenin bir yolu olarak tanıtıldı. Ancak, birinci sınıfımı doğrusal modeller üzerine aldığımda, bu model onaylama veya değerlendirme aracı olarak tanıtılmadı. Çevrimiçi araştırmam da herhangi bir kavşak göstermiyor. Muhafaza yöntemi klasik istatistiklerde neden kullanılmıyor?
Yanıtlar:
Daha verimli bir soru "öğrendiğim klasik istatistiklerde neden kullanılmadı?"
Öğretildiği seviyeye / seviyelere bağlı olarak, bu dersin içeriği (ve mevcut zamanı), çeşitli faktörlerin bir kombinasyonundan kaynaklanıyor olabilir. Genellikle önemli konular bir kenara bırakılır çünkü diğer materyaller bir nedenden ötürü öğretilmeli, daha sonraki derslerde ele alınabileceği ümidiyle.
En azından bazı duyularda, kavram uzun zamandır çeşitli insanlar tarafından kullanılmaktadır. Bazı bölgelerde diğerlerinden daha yaygındı. İstatistiğin pek çok kullanımı, ana bileşen olarak tahmin veya model seçimine sahip değildir (veya bazı durumlarda, hatta hiç) ve bu durumda, ayırma örneklerinin kullanımı, tahminin ana noktadan daha az kritik olabilir. Muhtemelen, bazı ilgili uygulamalarda daha erken bir aşamada olduğundan daha yaygın bir şekilde kullanılmalıdır, ancak bu bilinmemekle aynı şey değildir.
Tahmin üzerine odaklanan alanlara bakarsanız, modelinizi tahmin etmek için kullanmadığınız verileri tahmin ederek model değerlendirme kavramı kesinlikle etraftaydı (evrensel olmasa da). Bunu kesinlikle 1980'lerde yaptığım zaman serisi modellemesiyle yapıyordum, örneğin, en son verilerin örnek dışı tahmin performansının özellikle önemli olduğu yerlerde.
En azından bazı verileri dışarıda bırakma kavramı, örneğin regresyonda (silinen artıklar, PRESS, jacknife, vb.) Ve aykırı analizlerde kullanılmıştır.
Bu fikirlerin bazıları hala daha iyi bir geri dönüş verisine sahiptir. Stone (1974) [1], 1950 ve 60'lı yıllardan itibaren çapraz doğrulama (başlıktaki kelime ile) ile ilgili kağıtları ifade eder. Belki de niyetinize daha da yaklaştığında, Simon'a (1971) "yapı örneği" ve "geçerlilik örneği" terimlerini kullandığından bahseder - fakat aynı zamanda "Larson (1931) 'in örnek bir eğitim katında rastgele bölünmesi kullandığına işaret eder. regresyon çalışması ".
Çapraz doğrulama ve öngörüye dayalı istatistiklerin kullanılması gibi konular, 70'lerde ve 80'lerde istatistik literatüründe önemli ölçüde daha sık hale geliyordu, ancak temel fikirlerin çoğu bir süredir bile vardı sonra.
[1]: Stone, M., (1974)
"Çapraz Doğrulayıcı Seçim ve İstatistiksel Tahminlerin Değerlendirilmesi,"
Kraliyet İstatistik Kurumu Dergisi. Seri B (Metodolojik) , Cilt. 36, No. 2., s. 111-147
Glen_b'in cevabını tamamlamak için klasik istatistikler genellikle verilerin optimal kullanımı , optimal testler, optimal tahminciler, yeterlilik vb. ! Bu geleneğin bir kısmı, uzak tutulmanın pratik olarak zor olduğu küçük örneklere sahip durumlara vurgu yapmaktır.
Fisher örneğin genetik ve tarımsal deneylerle çalıştı ve bu alanlarda az sayıda gözlem vardı. Bu yüzden esas olarak küçük veri kümelerinde bu tür sorunlara maruz kaldı.
Klasik istatistik ve makine öğrenimi arasında belki de uygulamalı bir alandan cevap vereceğim: kemometri, yani kimyasal analiz istatistikleri. Uzak tutmanın tipik makine öğrenimi sınıflarında olduğu kadar önemli olmadığı iki farklı senaryo ekleyeceğim.
Burada önemli bir nokta, eğitim ve test için küçük örneklem büyüklüğünün temel bir fark olduğunun farkına varmak olduğunu düşünüyorum:
Şimdi, "klasik" doğrusal modellerle ilgili istatistik dersleri genellikle tek değişkenli modelleri çok vurgulamaktadır. Tek değişkenli bir doğrusal model için, eğitim örneği boyutu muhtemelen küçük değildir: eğitim örneği boyutları genellikle model karmaşıklığına kıyasla değerlendirilir ve doğrusal modelin ofset ve eğim olmak üzere sadece iki parametresi vardır. Analitik kimyada, aslında tek değişkenli doğrusal kalibrasyonunuz için en az 10 kalibrasyon örneğine sahip olmanız gerektiğini belirten bir normumuz var. Bu, model kararsızlığının güvenilir bir sorun olmadığı bir durum sağlar, bu nedenle uzak durmaya gerek yoktur.
Bununla birlikte, makine öğrenmesinde ve kimyasal analizdeki modern çok kanallı dedektörlerde (bazen kütle spektrometrisinde bazen 10⁴ "kanallar"), model kararlılığı (yani varyans) önemli bir konudur. Bu nedenle, uzak durma veya daha iyi yeniden örnekleme gereklidir.
Tamamen farklı bir durum, daha kolay (artıklar) artı daha sofistike bir performans ölçümünün birleşimi lehine uzatılabilmesidir. Bir veri kümesinin bir kısmını (rastgele) bir kenara koyma ve bunun eğitimden hariç tutulması anlamında aramanın bağımsız testin başarabileceği şeylerle aynı olmadığını unutmayın . Analitik kimyada, tutma yoluyla ölçülemeyen ve örneğin gerçek endüstriyel ortamda sensörün performansını belirlerken (sensör kalibrasyonu gibi) zaman içindeki performans bozulmasının ölçülmesini (cihaz sapması) içeren özel validasyon deneyleri yapılabilir. kalibrasyon örnekleri üzerinde laboratuarda yapıldı). Ayrıca bkz. Https://stats.stackexchange.com/a/104750/4598 bağımsız test ve bekletme hakkında daha fazla ayrıntı için.