Bekletme doğrulama ve çapraz doğrulama

Bana göre, tutma onayının işe yaramaz olduğu görünüyor. Yani, orijinal veri setini iki bölüme ayırmak (eğitim ve test) ve test puanını genelleme ölçütü olarak kullanmak bir şekilde işe yaramaz.

K-fold cross-validation, genelleme için daha iyi yaklaşımlar veriyor gibi görünüyor (her noktada eğitiyor ve test ediyor). Öyleyse neden standart bekletme onayını kullanalım? Veya hatta bunun hakkında konuşmak?

Tek tahminim, üç saatlik programlama deneyimiyle Bekletebilmeniz; diğeri prensipte bir hafta ve pratikte altı ay alır.

Prensip olarak basittir, ancak kod yazmak sıkıcı ve zaman alıcıdır. Linus Torvalds'ın ünlü bir şekilde söylediği gibi, “Kötü programcılar kod için endişeleniyorlar. İyi programcılar veri yapıları ve ilişkileri hakkında endişeleniyorlar.” İstatistik yapan insanların çoğu, kendi hatalarından dolayı kötü programcılar. K katlama çapraz doğrulamayı etkin bir şekilde yapmak (ve demek istediğim, yani, bir kereden fazla hata ayıklamak ve kullanmak için korkunç derecede sinir bozucu olmayan bir şekilde), R'de veri yapılarının belirsiz bir şekilde anlaşılmasını gerektirir, ancak veri yapıları genel olarak "giriş" içinde atlanır. istatistiksel programlama "dersleri". İnterneti ilk defa kullanan yaşlı kişi gibi. Bu gerçekten zor değil, ilk kez ortaya çıkarmak için sadece yarım saat kadar sürüyor, ama yepyeni ve kafa karıştırıcı yapıyor, bu yüzden görmezden gelmek kolay.

: Bu gibi sorular var Ar sürecinde bir gecikme dışarı doğrulama nasıl uygulanır . Askere hiçbir suçu amaçlanmadı. Ancak birçok insan sadece kod okuma yazma değildir. İnsanların çapraz onaylama yaptığı gerçeği beni mutlu etmek için yeterli.

Aptalca ve önemsiz geliyor, ancak bu kişisel deneyimlerden, o adam olmasından ve o adamla çalışan birçok insanla birlikte çalışmasından kaynaklanıyor.

Bekletme, bağımsız test setiyle doğrulama ile eşanlamlı olarak kullanılır, ancak verileri rastgele bölme ve bağımsız test için bir doğrulama denemesi tasarlama arasında çok önemli farklar vardır.

Yeniden örnekleme veya bekletme validasyonu ile ölçülemeyen genelleme performansını ölçmek için bağımsız test setleri kullanılabilir, örneğin bilinmeyen gelecekteki vakaların performansı (= eğitim bittikten sonra ölçülen durumlar). Bu, mevcut bir modelin yeni veriler için ne kadar süre kullanılabileceğini bilmek açısından önemlidir (örneğin, araç sapmasını düşünün). Daha genel olarak, bu uygulanabilirlik sınırlarını tanımlamak için ekstrapolasyon performansının ölçülmesi olarak tanımlanabilir.

Pivot aslında yararlı olabilir başka senaryodur: çok olduğunu kolay eğitim ve test verileri düzgün ayrılmasını temin etmek - doğrulama yeniden örnekleme için çok daha kolaydır: örn

1. bölünmeye karar ver (örn. vakaların rastgele atanması)
2. ölçmek, ölçü,,, tedbir, önlem
3. Eğitim vakalarının ölçüm ve referans verileri => modelleme \ ne ölçümler ne de test durumlarının referansı model kişilere verilir.
4. son model + yapılan vakaların ölçümleri => tahmin
5. Bekletilen durumlar için öngörüleri referans ile karşılaştırır.

İhtiyacınız olan ayrılma seviyesine bağlı olarak, her adım bir başkası tarafından yapılabilir. İlk seviye olarak, test senaryosunun herhangi bir verisinin (ölçümlerin bile) modelleyiciye teslim edilmemesi, test verilerinin modelleme sürecine sızmayacağından emin olmalarını sağlar. İkinci seviyede, son model ve test durumu ölçümleri henüz başkasına devredilebilirdi, vb.

Evet, bunun yerine koyma tahminlerinin yeniden örnekleme onaylamasına kıyasla daha düşük verimliliği ile ödeme yaparsınız. Ancak, yeniden örnekleme onaylamasının vakaları doğru şekilde ayırmadığından şüphelendiğim pek çok makale gördüm (alanımda kümelenmiş / hiyerarşik / gruplanmış veriler var).

Gönderimden bir hafta sonra bir makaleyi geri çekerek yeniden bölme için veri sızıntısı dersini öğrendim, böylelikle bölme işlemimde (indeks hesaplamasında yazım hatası) daha önce tespit edilmemiş olduğum (yan yana permütasyon testlerini çalıştırarak) sızıntısı olduğunu öğrendim.

Bazen elde tutma, sonuçlar hakkında aynı kesinliği sağlamak için yeniden örnekleme kodunu (örneğin kümelenmiş veriler için) kontrol etmek için zaman ayırmaya istekli birini bulmaktan daha etkili olabilir. Bununla birlikte, IMHO bunu yapmak için genellikle verimli değildir; örneğin gelecekteki performansı (ilk nokta) (yani, zaten var olan modeli için bir doğrulama denemesi hazırlamanız gerektiğinde) ölçmeniz gereken aşamada bulunmadan önce.

OTOH, küçük örneklem büyüklüğü durumlarda, bekletme seçeneği yoktur: yeterli test vakası tutmanız gerekir, böylece test sonuçları gerekli sonuca izin verecek kadar kesindir (unutmayın: sınıflandırma için 3 test vakasından 3'ü doğru 50:50 tahminin çok altında değişen binom% 95 güven aralığı!) Frank Harrell en azından ca. [Doğru tahmin edilen vakaların kesri gibi] bir oranının yararlı bir hassasiyetle doğru bir şekilde ölçülmesi için 100 (test) vakaya ihtiyaç vardır.

Güncelleme: Doğru ayrılmanın özellikle zor olduğu durumlar arasında durumlar vardır ve çapraz onaylama yapılamaz hale gelir. Bir dizi kargaşayla ilgili bir problem düşünün. Kesin olarak iç içe geçmişse bölme kolaydır (örneğin, birkaç hastayla yapılan bir çalışma, her hastanın birkaç örneğine sahiptir ve her örneğin birkaç hücresini analiz eder): örnekleme hiyerarşisinin en üst seviyesine (hastaya göre) ayrılırsınız . Ancak iç içe geçmemiş bağımsız kargaşalara sahip olabilirsiniz, örneğin testi çalıştıran farklı denemelerin neden olduğu günlük değişimler veya varyanslar. Daha sonra bölünmenin herkes için bağımsız olduğundan emin olmalısınızEn üst düzeyde kafa karıştırıcılar (iç içe geçenler otomatik olarak bağımsız olacaktır). Bununla ilgilenmek, eğer bazı karıştırıcılar sadece çalışma sırasında tanımlanırsa ve bir onaylama deneyi tasarlamak ve gerçekleştirmek, ne eğitim ne de taşıyıcı modellerin sınanması için neredeyse hiç veri bırakmayan bölmelerle başa çıkmasından daha etkili olabilir.

$k$$n$$n$$k$$k$

Yani soruları cevaplamak için:

1. Neden bunun hakkında konuşuyorsun? Pedagojik. Bekletme geçerliliğini onaylamanın, çok, çok çeşitli varyasyonlarla aksi takdirde oldukça yararlı bir yöntem olan özel - ve sadece zaman zaman yararlı - bir durum olduğunu düşünmek faydalı olacaktır.

2. $n$$k$

$n$$k$$n$$k$$n$

Model seçimi ve yerleştirme prosedürünüz kodlanamıyorsa, öznel veya kısmen öyle olduğundan kodlanamazsa, grafiklere ve benzerlerine bakmaya devam etmeden önce tutma onaylaması yapabileceğiniz en iyi şey olabilir. (Sanırım, her CV özetinde Mechanical Turk gibi bir şey kullanabilirsiniz, ancak bunun yapıldığını hiç duymamıştım.)

Sadece Andrew’un Stanford’daki CS 229 sınıfında çapraz onaylama konusunda bahsettiği bazı basit yönergeler eklemek istedim. Bunlar kendi çalışmalarında izlediği uygulamalardır.

$m$$m\le 20$

$20 < m \le 100$$k \le m$

$100 < m \le 1,000,000$$(k = 5)$$m > 10,000$

$m \ge 1,000,000$$(k = 5)$

Kısa cevap:

$k=5$

• karmaşık modeller
• geçerlilik kısıtlarına uyması gereken kesin sonuçlar

Bunun için rahatlayabilirsiniz:

• gerçekten büyük veri setleri eğitimi
• basit modellerin eğitimi
• prototip yapmak zaman meselesi olduğunda

Bazılarınız, bunu R'de programlamanın bir sorun olabileceğinden bahsetti. "Mlr" paketine bir göz atmanı tavsiye ederim . Farklı paketleri birleştirilmiş bir arayüzde sarar, aynı zamanda gerçekten gelişmiş yeniden örnekleme ve performans değerlendirme yöntemleri sunar.

Bir göz atın: http://mlr-org.github.io/mlr-tutorial/release/html/resample/ ve: http://mlr-org.github.io/mlr-tutorial/release/html/performance/ index.htm

Bazı daha fazla açıklama - CV'nin gerçekten yaptığı, önyargı sapma değişiminin kırılmasıdır:

Şimdi, her iki yaklaşımın da çözmeye çalıştığı sorun, bir modeli eğitmek için kullanılan verilere bağlı olan genelleme hatasını tahmin etmektir.

Holdout'ta önyargı ve sapma ile ilgili bir sorun var

Test ettiğimiz veri miktarını küçülterek, tahmin edilen genelleme hatamızda varyansı ortaya koyuyoruz, çünkü test verileri altta yatan dağılımı artık çok iyi göstermeyebilir. Beklenen tahmin edilen performansın doğru olacağı gibi, bunun kendisi de bir önyargı yaratmıyor.

Eğitim setini küçültmek, ancak kötümser bir önyargıya yol açıyor, çünkü yine de temel dağılım verilerde iyi temsil edilmiyor ve model de verilere uymuyor. Eğitim setinin çok küçük yapılması, varyansı da beraberinde getiriyor.

Eğitim ve test setinin büyüklüğü birbirini belirlediğinde, bu bizi bir sersemletmeyle bırakıyor: karamsar önyargıya karşı yüksek değişkenlik.

$k$$\frac{k-1}{k}$

Çapraz doğrulama, daha karmaşık (yüksek varyanslı) öğrenciler için özellikle önemlidir. Bunlar genellikle hesaplama açısından da daha pahalıdır, bu da tüm süreci oldukça zaman alıcı hale getirebilir.

Bütün bunlar faydalı yorumlar. Sadece bir tane daha dikkate al. Yeterli veriye sahipseniz, Bekletme modunu kullanmak belirli bir modeli (belirli bir SVM modeli, belirli bir CART modeli, vb.) Değerlendirmenin bir yoludur; oysa diğer çapraz doğrulama prosedürlerini kullanıyorsanız, metodolojileri değerlendiriyorsunuz (sorunlarınız altında ) modelden ziyade (SVM metodolojisi, CART metodolojisi, vb.)

Umarım bu yardımcı olur!

Zamanın ciddi verilerle modellenmesi benim için bir istisnadır. K katlama, bazı durumlarda önceki verilere dayanarak geleceği tahmin etmeniz gerektiğinde çalışamaz. Test setleri gelecekteki veriler olmak zorundadır ve eğitim aşamasında onlara asla dokunamazsınız. örneğin tahmini satış veya borsa. Uzaklaştırma, bu gibi durumlarda yararlıdır.

Basit ifadeyle; saati. Çapraz doğrulama, eğitim rutinini k kez yürütürsünüz (örneğin, her bir tutma için bir kez). Büyük verileriniz varsa, modeli yalnızca bir veri kümesi için eğitmek birkaç saat veya birkaç gün sürebilir, bu nedenle çapraz doğrulama kullanırken bunu k ile çarpın.

Bu nedenle, çapraz doğrulama en iyi yöntem olsa da, bazı durumlarda uygun değildir ve daha iyi bir model elde etmek için verileri farklı şekillerde modellemek veya farklı kayıp işlevlerini denemek için harcanan zaman daha iyi olabilirdi.

Kişisel tercihim, veri kümesinden doğrulama verileri almak, veri başından veya kuyruğundan tek bir% 10'luk bir parça almak yerine, veri kümesindeki 5 noktadan% 2 alırım. Bu doğrulama verilerini bir bütün olarak verileri biraz daha temsili kılar.

Çapraz doğrulama uygulamasının her zaman mümkün olmadığı unutulmamalıdır. Geleceğe yönelik davranış için yordayıcı bir model geliştirmek için geçmiş verileri kullanmak istediğiniz zamana bağlı veri kümelerini düşünün. Bu durumda, tutma doğrulaması uygulamanız gerekir.