Son (üretime hazır) model tam verilerde mi yoksa sadece eğitim setinde mi eğitilmeli?

Eğitim setinde birkaç model eğittiğimi varsayalım, çapraz doğrulama setini ve test setinde ölçülen performansı kullanarak en iyisini seçtim. Şimdi son bir modelim var. Mevcut tüm verilerime veya sadece eğitim setinde eğitilmiş gemi çözümüne bakmalı mıyım? İkincisi, öyleyse neden?

GÜNCELLEME: P.Windridge'in de belirttiği gibi, yeniden eğitilmiş bir modelin nakliyesi, temel olarak, doğrulanmadan bir modelin nakliyesi anlamına gelir. Ancak, test setinin performansını raporlayabiliriz ve bundan sonra, modeli performansın daha iyi olmasını beklerken tam veriler üzerinde yeniden eğitebiliriz - çünkü en iyi modelimizi ve daha fazla veriyi kullanıyoruz. Bu metodolojiden ne gibi problemler ortaya çıkabilir?

machine-learning validation regression-strategies

— yurii
kaynak

Harici olarak düzenlenmiş bir ortamda mı çalışıyorsunuz? (yani muhtemelen siz gerekir :) valide modeli gönderin ve soru yalnızca varsayımsal olduğu, ama onun değerinde zaten tartışırken). Düzenleme: Tamam görüyorum ki yayınınızı düzenlediniz.

— P.Windridge

Test verilerinizin popülasyonu temsil ettiğini / dev numunesinde olmayan popülasyonun bir bölümünü kapsadığını düşünüyor musunuz? Orijinal geliştirme örneğiniz bir şekilde eksik mi?

— P.Windridge

@ P.Windridge iyi, benim sorum sadece varsayımsal. İkinci yorumunuz hakkında, hiç kimseden bir mühendisin ona temsilci olmayan veriler verirken iyi bir model geliştirmesini beklememesi gerektiğine inanıyorum.

— Yurii

Doğrulama olmadan bir model göndereceğiniz birçok durumu hayal edemiyorum. Test numunesinin boyutunu küçültmeyi tercih ederim (tabi ki hala onu doğrulayacak kadar büyük!). Muhtemelen daha ilginç bir tartışma, tüm / verilere dayanan modelin / seçmenin / seçmenin / eksilerin / sonra bunların bir alt örneklem kullanılarak eğitilmesi ve ardından geri kalanının geçerliliği ile ilgili olmasıdır.

— P.Windridge

Benzer soru = stats.stackexchange.com/questions/174026/… , daha fazla tartışma kullanabileceğini düşünmeme rağmen

— P.Windridge 29:15

Yanıtlar:

Tüm numuneye tekrar taktıktan sonra neredeyse her zaman daha iyi bir model elde edeceksiniz. Ancak diğerlerinin dediği gibi, hiçbir onayınız yok. Bu, veri bölme yaklaşımındaki temel bir kusurdur. Veriler yalnızca genel bir modeldeki örneklem farklılıklarını doğrudan modellemek için kaybedilen bir fırsatı ayırmakla kalmaz, aynı zamanda tüm örnekleminiz 15.000 denekten daha büyük olmadığı sürece kararsızdır. Bu nedenle, hassasiyet ve stabilite elde etmek için 100 tekrarlı 10 kat çapraz doğrulama gerekmesi (örnek boyutuna bağlı olarak) ve güçlü dahili doğrulama için önyüklemenin daha da iyi olmasının nedeni budur. Önyükleme özelliği, özellik seçimi görevinin ne kadar zor ve keyfi olduğunu da gösterir.

Biyomedikal Araştırma Bölüm 10.11'deki Biyoistatistik bölümünde “dış” onaylama ile ilgili sorunları daha ayrıntılı olarak tanımladım .

— Frank Harrell
kaynak

Alanımdaki terminoloji (analitik kimya), antrenmana başlamadan önce yaptığınız (herhangi bir) verinin bölünmesini, dahili bir validasyon olarak değerlendirecektir. Dış doğrulama, özel bir doğrulama çalışması ile halka denemeleri arasında bir yerde başlayacaktır.

— cbeleites, Monica

Yeniden eğitmene gerek yok. Sonuçlarınızı bildirirken, test verilerini her zaman raporlarsınız çünkü çok daha iyi bir anlayış sağlarlar. Test verileri setiyle, bir modelin örnek dışı verilerde ne kadar iyi performans gösterebileceğini daha doğru görebiliriz.

— Ömer
kaynak

Test setinin performansını rapor edebiliriz ve bundan sonra modeli performansın daha iyi olmasını beklerken tam veriler üzerinde yeniden eğitiriz - çünkü en iyi modu ve daha fazla veriyi kullanırız. Akıl yürütmemde bir kusur mu var?

— Yurii

Testten sonra, daha fazla veri toplarsanız, verileri yeniden bölüp tekrar eğitebilir, daha sonra yeniden test edebilir ve ardından test sonucunu yeniden testten rapor edebilirsiniz.

— Ömer

Tüm numuneyi tahmin etmeyerek, daha yüksek verimlilik fırsatından vazgeçersiniz. Bu haklı değil. Ayrıca Yurii'nin yukarıdaki yorumuna katılıyorum.

— Richard Hardy

@RichardHardy, yorumumda yanlış olan ne?

— Ömer

Son yorumumda yazıldığından. Modeli tahmin etmek için tüm verileri kullanmayarak, mevcut en yüksek verimden vazgeçersiniz. Neden bunu yapıyorsun?

— Richard Hardy,