Test seti ve doğrulama seti arasındaki fark nedir?

Matlab'daki sinir ağları araç kutusunu kullanırken kafa karıştırıcı buldum.
Ham veri setini üç parçaya böldü:

1. Eğitim Seti
2. doğrulama seti
3. Deneme seti

Birçok eğitim veya öğrenme algoritmasında, verilerin genellikle 2 bölüme, eğitim setine ve test setine bölündüğünü fark ettim.

Benim sorularım:

1. doğrulama seti ve test seti arasındaki fark nedir?
2. Doğrulama, sinir ağlarına gerçekten özel mi ayarlanmış? Veya isteğe bağlıdır.
3. Daha da ileri gitmek için, makine öğrenmesi bağlamında doğrulama ile test arasında bir fark var mı?

Normalde denetimli öğrenmeyi gerçekleştirmek için iki tür veri setine ihtiyacınız vardır:

1. Bir veri setinde ("altın standart") girdi verisine doğru / beklenen çıktı ile birlikte sahip olursunuz, Bu veri seti genellikle insanlar tarafından ya da bazı verileri yarı otomatik olarak toplayarak hazırlanır. Ancak buradaki her veri satırı için beklenen çıktıya sahip olmanız önemlidir, çünkü denetimli öğrenme için buna ihtiyacınız vardır.

2. Modelinizi uygulayacağınız veriler. Çoğu durumda bu, modelinizin çıktısıyla ilgilendiğiniz verilerdir ve bu nedenle henüz burada "beklenen" bir çıktınız yoktur.

Makine öğrenmesi yaparken şunları yapın:

1. Eğitim aşaması: verilerinizi "altın standart" dan sunar ve girişi beklenen çıktıyla eşleştirerek modelinizi geliştirirsiniz.
2. Validasyon / Test aşaması: modelinizin ne kadar iyi eğitildiğini tahmin etmek (verilerinizin boyutuna, tahmin etmek istediğiniz değere, girdi vb.) Ve model özelliklerini tahmin etmek için (sayısal tahminciler için ortalama hata, sınıflandırıcılar için sınıflandırma hataları, IR modelleri için hatırlama ve hassasiyet vb.)
3. Uygulama aşaması: şimdi yeni geliştirilen modelinizi gerçek dünya verilerine uygulayın ve sonuçları alın. Normalde bu veri türünde herhangi bir referans değeriniz olmadığından (aksi halde, neden modelinize ihtiyaç duyarsınız?), Doğrulama aşamanızın sonuçlarını kullanarak yalnızca model çıktınızın kalitesini tahmin edebilirsiniz.

Doğrulama aşaması genellikle iki bölüme ayrılır :

1. İlk kısımda sadece modelinize bakın ve doğrulama verilerini kullanarak en iyi performans gösteren yaklaşımı seçin (= doğrulama)
2. Daha sonra seçilen yaklaşımın doğruluğunu tahmin edersiniz (= test).

Bu nedenle 50/25 / 25'e kadar ayırma.

Birkaç rakip yaklaşımdan uygun bir model seçmeniz gerekmiyorsa, yalnızca eğitim setinizin ve test setinizin olduğunu, eğitim almış modelinizin onayını yapmadan sadece setinizi yeniden bölümlendirebilirsiniz. Onları şahsen 70 / 30'a bölerim.

Ayrıca bu soruya bakınız .

Eğitim seti: öğrenme için kullanılan bir dizi örnek: sınıflandırıcının parametrelerine uyması Çok Katmanlı Algı (MLP) durumunda, eğitim setini geri destek kuralıyla “optimal” ağırlıkları bulmak için kullanırdık

Doğrulama seti: Sınıflandırıcının parametrelerini ayarlamak için kullanılan bir örnek set MLP durumunda, doğrulama setini “optimal” gizli ünite sayısını bulmak veya geri yayılma algoritması için bir durma noktası belirlemek için kullanırdık.

Test seti: Sadece tamamen eğitilmiş bir sınıflandırıcının performansını değerlendirmek için kullanılan bir dizi örnek MLP örneğinde, son modeli seçtikten sonra hata oranını tahmin etmek için testi kullanırız (MLP büyüklüğü ve gerçek ağırlıklar) Değerlendirdikten sonra Test setindeki son model, modeli daha fazla AYARLAMAYINIZ!

Neden ayrı ayrı test ve doğrulama setleri? Doğrulama verileri üzerindeki nihai modelin hata oranı tahmini, doğrulama oranı nihai modeli seçmek için kullanıldığından önyargılı (gerçek hata oranından daha küçük) olacaktır, çünkü test setindeki son modeli değerlendirdikten sonra, herhangi bir modeli ayarlamamalısınız Daha ileri!

kaynak: Kalıp Analizine Giriş, Ricardo Gutierrez-OsunaTexas A&M Üniversitesi, Texas A&M Üniversitesi

Bilgisayar Bilimi konusundaki 5 yıllık deneyimim bana hiçbir şeyin basitlikten daha iyi olmadığını öğretti.

'Eğitim / Çapraz Doğrulama / Test' Veri Setleri kavramı bu kadar basittir. Büyük bir veri kümeniz varsa, bunları 3 bölüme ayırmanız önerilir:

++ Eğitim seti (orijinal veri setinin% 60'ı): Tahmin algoritmamızı oluşturmak için kullanılır. Algoritmamız kendini eğitim veri setlerinin tuhaflığına göre ayarlamaya çalışıyor. Bu aşamada, Çapraz Geçiş Aşaması sırasındaki performanslarını karşılaştırmak için genellikle çoklu algoritmalar yaratırız.

++ Çapraz Doğrulama seti (orijinal veri setinin% 20'si): Bu veri seti, eğitim setine dayanarak oluşturulan tahmin algoritmalarının performansını karşılaştırmak için kullanılır. En iyi performansa sahip algoritmayı seçiyoruz.

++ Test seti (orijinal veri setinin% 20'si): Şimdi tercih edilen tahmin algoritmamızı seçtik, ancak henüz hiç görülmemiş gerçek dünya verileri üzerinde nasıl bir performans göstereceğini henüz bilmiyoruz. Bu nedenle, bizim algoritmamızın görünmeyen verilerdeki performansı hakkında bir fikir edinebilmemiz için nasıl bir performans göstereceğini görmek için test setimize seçilen tahmin algoritmamızı uyguluyoruz.

Notlar:

- Test aşamasını atlamanın tavsiye edilmemesi çok önemlidir, çünkü çapraz onaylama aşaması sırasında iyi performans gösteren algoritma gerçekten de en iyisi olduğu anlamına gelmez. doğrulama seti ve tuhaflıkları ve sesleri ...

- Test Aşamasında, amaç, son modelimizin vahşi ortamda nasıl başa çıkacağını görmektir, bu nedenle performansının çok düşük olması durumunda, Eğitim Aşamasından başlayarak tüm süreci tekrar etmeliyiz.

Karar vermeniz istenen her adımda (örneğin, birkaç seçenek arasından bir seçenek belirleyin), seçtiğiniz doğruluğu ölçmek için ek bir set / bölüme sahip olmalısınız, böylece rastgelelığın en uygun sonucunu seçemezsiniz merkez ¹ için dağıtımın kuyruk ucunu yanlışlayın . Sol, karamsardır. Doğru, iyimser. Merkez pragmatisttir. Pragmatik ol.

Adım 1) Eğitim: Her bir algoritma türü kendi parametre seçeneklerine sahiptir (Sinir Ağındaki katman sayısı, Rastgele Ormandaki ağaç sayısı, vb.). Algoritmalarınızın her biri için bir seçenek seçmelisiniz. Bu yüzden bir eğitim setiniz var.

Adım 2) Doğrulama: Artık bir algoritma koleksiyonunuz var. Bir algoritma seçmelisin. Bu yüzden bir test setiniz var. Çoğu kişi validasyon setinde en iyi performansı veren algoritmayı seçer (ve bu tamam). Ancak, en iyi performans gösteren algoritmanızın test setindeki hata oranını ölçmüyorsanız ve sadece doğrulama setindeki hata oranına uymazsanız, o zaman “en olası senaryo” için “mümkün olan en iyi senaryo” yu yanlış anladınız. Bu felaket için bir reçete.

Adım 3) Test Etme: Algoritmanızın herhangi bir parametresi yoksa, üçüncü bir adıma ihtiyacınız olmayacağını varsayalım. Bu durumda, onaylama adımınız test adımınız olacaktır. Belki de Matlab sizden parametreler istemiyor ya da bunları kullanmamayı seçtiniz ve bu kargaşanızın kaynağı.

¹ Her seçeneğin tüm seçeneklerin aynı olduğu varsayımıyla (boş hipotez) varsayılması genellikle yararlı olur (örneğin, tüm parametreler aynıdır veya tüm algoritmalar aynıdır);

² Bu resim benim değil. Bu siteden aldım: http://www.teamten.com/lawrence/writings/bell-curve.png

Verileri herhangi bir şekilde bölmeniz gerekmiyor. Önyükleme, modeli geliştirmek ve test etmek için tüm numuneyi kullanarak tahmin doğruluğunun daha küçük ortalama kare hata tahminlerini sağlayabilir.

Tipik bir makine öğrenme görevi, aşağıdaki iç içe döngü olarak görselleştirilebilir:

while (error in validation set > X) {
    tune hyper-parameters
    while (error in training set > Y) {
        tune parameters
    }
}

Tipik olarak, dış döngü tarafından gerçekleştirilir insan üzerinde, doğrulama grubu , ve içteki döngü makinesi üzerinde, eğitim seti . Daha sonra , modelin son performansını değerlendirmek için bir 3. test setine ihtiyacınız vardır .

Başka bir deyişle, validasyon seti insan için eğitim setidir.

Bu üç kümeyi düşünmenin bir yolu, ikisinin ( trainingve validation) geçmişten geldiği, buna karşın testkümenin "gelecekten" geldiğidir. Model, "geçmiş" ( training/ validationveri) ' den gelen veriler kullanılarak oluşturulmalı ve ayarlanmalıdır , ancak asla test"gelecekten" gelen verilerden yararlanılmamalıdır.

Pratik bir örnek vermek gerekirse, beyzbol oyuncularının gelecekte ne kadar iyi olacağını tahmin etmek için bir model inşa ettiğimizi varsayalım. A testve validationset oluşturmak için 1899-2014 arasındaki verileri kullanacağız . Model bu veriler üzerine kurgulandıktan ve ayarlandıktan sonra, 2015'in verilerini (aslında geçmişte!) Bir model olarak kullanacağız. . (Açıkçası, gerçekten istersek, teoride, 2016'dan veri bekleyebiliriz!)

Açıkçası her yerde tırnak kullanıyorum, çünkü verinin asıl geçici sırası gerçek geleceğe denk gelmeyebilir (tanımı gereği tüm veri üretimi muhtemelen gerçek geçmişte gerçekleşmiştir). Gerçekte, testküme, basitçe "tuttuğunuz" training/ validationkümelerle aynı zaman aralığındaki veriler olabilir . Bu şekilde, modelin ayarlanması üzerinde hiçbir etkisi olmadı, ancak bu verileri dışarıda tutanlar aslında gelecekten gelmiyor.

Çoğu denetimli veri madenciliği algoritması şu üç adımı izler:

1. Eğitim seti modeli oluşturmak için kullanılmaktadır. Bu, önceden sınıflandırılmış hedef ve yordayıcı değişkenlerine sahip bir veri kümesi içerir.
2. Tipik olarak bir model veri kümesi veya test seti , modelin eğitim seti dışındaki verilerle ne kadar iyi çalıştığını değerlendirmek için kullanılır. Test seti, önceden sınıflandırılmış sonuç verilerini içerir, ancak test seti verileri model boyunca sonuna kadar çalıştırıldığında, önceden sınıflandırılmış veriler model sonuçlarıyla karşılaştırıldığında kullanılmaz. Model, test setindeki hatayı en aza indirecek şekilde ayarlanmıştır.
3. Başka bir tutma veri kümesi veya doğrulama seti , ayarlanan modeli 2. adımda değerlendirmek için kullanılır; burada, doğrulama seti verisinin ayarlanan modele karşı çalıştırıldığı ve kullanılmayan önceden sınıflandırılmış verilere kıyasla sonuçların kullanıldığı.

Bazı insanlar bir doğrulama setini neden kullandığımız konusunda kafa karışıklığına neden olur, bu yüzden bir doğrulama veri seti kullanmazsanız ne olacağına dair basit ve sezgisel bir açıklama yapacağım.

Bir doğrulama seti kullanmazsanız, bunun yerine hiperparametreleri seçmeniz ve test veri setindeki modelin performansına dayalı olarak eğitimi ne zaman durduracağınıza karar vermeniz gerekir. Test veri setindeki modelin performansına dayanarak eğitimi ne zaman durduracağınıza karar verirseniz, model test veri setinde iyi olduğu zaman eğitimi sadece durdurabilirsiniz. Sonra sonuçlarınızı rapor ederken, test veri setindeki doğruluğu rapor edersiniz. Bununla ilgili sorun, modelinizin gerçekten sadece test setinde daha iyisini yapmasına neden olan rastgele bir varyasyon olduğunda, gerçekten iyi performans gösterdiğini söyleyebiliriz.

Eğitimin ne zaman durdurulacağına karar vermek yerine bir doğrulama seti kullanırsanız, test setindeki modelin doğruluğu, genel olarak görev üzerinde ne kadar iyi performans gösterdiğine dair tarafsız bir yansımadır ve sadece test setinde iyi performans göstermek için model.

Makine öğrenmesinde "farklı mahremiyet" olarak adlandırılan nispeten yeni bir yaklaşıma işaret ederek buradaki diğer çok güzel yanıtları da eklemek isterim (Dwork'ün makalelerine bakın; daha fazlası için Win Vector Blog'a bakın). Bu fikir, son model performansından ödün vermeden test setinin gerçekten yeniden kullanılmasına izin verir. Tipik bir ayarda test seti sadece son performansı tahmin etmek için kullanılır; İdeal olarak, birinin bakmasına bile izin verilmez.

Bu Win Vector blogunda iyi tanımlandığı gibi (diğer girişlere de bakınız), test setini modelin performansını etkilemeden "kullanmak" mümkündür. Bu "diferansiyel gizlilik" adı verilen özel prosedür kullanılarak yapılır. Öğrenci test setine doğrudan erişemez.

Benim fikrim, sinir ağı araç kutusundaki bu seçeneklerin fazla uydurmamak için. Bu durumda ağırlıklar sadece eğitim verileri için belirlenir ve küresel eğilimi göstermez. Bir onaylama setine sahip olarak, tekrarlamalar, eğitim verisi hatasındaki düşüşlerin doğrulama verilerinde azalmaya neden olduğu ve doğrulama verileri hatasındaki artışlara neden olduğu duruma uyarlanabilir; Antrenman veri hatasının azalmasıyla birlikte, bu durum aşırı yakıcı fenomeni göstermektedir.