Test verilerinin eğitim verisine sızmadığından nasıl emin olabilirim?

Tahmin edici bir model inşa eden birisine sahip olduğumuzu varsayalım, ancak birinin uygun istatistiksel ya da makine öğrenmesi ilkeleri konusunda tam olarak bilgili olmadığını varsayalım. Belki o kişiye öğrenirken yardımcı oluyoruz veya belki de bu kişi kullanımı en az bilgiyi gerektiren bir çeşit yazılım paketi kullanıyor.

Şimdi bu kişi, gerçek testin, örneklem dışı verilerdeki doğruluktan (veya başka bir ölçümden) geldiğini çok iyi anlayabilir . Ancak benim endişem, endişelenecek çok fazla incelik var. Basit durumda, modellerini oluşturuyorlar ve eğitim verileri üzerinde değerlendiriyorlar ve kalıcı test verileri üzerinde değerlendiriyorlar. Ne yazık ki, bazen geri dönmek ve bazı modelleme parametrelerini ince ayar yapmak ve aynı "test" verilerindeki sonuçları kontrol etmek bu kadar kolay olabilir. Bu noktada, veriler artık örneklem dışı veriler olmaktan çıkmış durumdadır ve fazla takma bir sorun olabilir.

Bu sorunu çözmenin olası bir yolu, her test veri setinin kullanımdan sonra atılıp tekrar kullanılmayacağı şekilde pek çok örneklem dışı veri kümesi oluşturmayı önermek olacaktır. Bu, çok fazla veri yönetimi gerektirir, özellikle de bölmenin analizden önce yapılması gerekir (bu nedenle önceden kaç tane bölmeyi bilmeniz gerekir).

Belki de daha geleneksel bir yaklaşım, k kat çapraz doğrulamadır. Ancak, bir anlamda, özellikle hala öğrenenlere faydalı olabileceğini düşündüğüm bir "eğitim" ile "test" veri seti arasındaki farkı kaybeder. Ayrıca bunun tüm tahmin modellerine uygun olduğuna ikna olmadım.

Deneyimsiz bir kullanıcı için bir miktar net kalmaya devam ederken sızıntıyı fazlaarlama ve test etme sorununun üstesinden gelmek için göz ardı ettiğim bir yol var mı?

Haklısın, bu makine öğrenmesinde / istatistiksel modellemede önemli bir sorundur. Temel olarak, bu sorunu gerçekten çözmenin tek yolu bağımsız bir test setini korumak ve çalışma tamamlanıncaya kadar devam ettirmek ve son doğrulama için kullanmaktır.

Bununla birlikte, kaçınılmaz olarak insanlar test setindeki sonuçlara bakacak ve ardından modellerini buna göre değiştirecektir; bununla birlikte, genelleme performansında bir gelişme ile sonuçlanmayacaktır, çünkü farklı modellerin performansındaki fark büyük ölçüde sahip olduğumuz test verilerinin örnekleminden kaynaklanıyor olabilir. Bu durumda, bir seçim yaparken test hatasını etkili bir şekilde yerine getiriyoruz.

Bunu sınırlamanın yolu, test hatasının varyansını olabildiğince küçük kılmaktır (yani, test hatalarındaki değişkenlik, aynı temel dağılımdan alınan test seti olarak farklı veri örnekleri kullanıp kullanmadığımızı göreceğiz). Bu, eğer mümkünse büyük bir test seti veya örneğin, fazla veri yoksa önyükleme veya çapraz doğrulama kullanılarak kolayca elde edilebilir.

Model seçiminde bu tür bir aşırı uyuşmanın, genellikle performans tahminine gelince, genel olarak takdir edilenden çok daha sıkıntılı olduğunu buldum.

GC Cawley ve NLC Talbot, Model seçiminde aşırı uydurma ve performans değerlendirmesinde sonraki seçim önyargısı, Makine Öğrenimi Araştırma Dergisi, 2010. Research, vol. 11, sayfa 2079-2107, Temmuz 2010 (www)

Bu tür bir sorun, özellikle birçok çalışmada kullanılmış olan kıyaslama veri setlerinin kullanımını etkiler ve her yeni çalışma önceki çalışmaların sonuçlarından dolaylı olarak etkilenir; bu nedenle, gözlenen performansın gerçek durumun aşırı iyimser bir tahmini olması muhtemeldir. yöntemin performansı. Bunun üstesinden gelmeye çalıştığım yöntem, birçok veri kümesine bakmaktır (bu nedenle yöntem belirli bir veri kümesine ayarlanmamış) ve ayrıca performans tahmini için (tahminin varyansını azaltmak için) birden çok rastgele test / eğitim bölmesi kullanmaktır. Bununla birlikte, sonuçların hala bu kriterlerin fazlaca uyduğunu belirtmesi gerekiyor.

Bunun gerçekleştiği bir başka örnek, bir doğrulama setine dayanan bir lider kurulu ile yapılan makine öğrenme yarışmalarındadır. Kaçınılmaz olarak, bazı yarışmacılar lider yönetim kurulunu daha da geliştirmek için modelleriyle uğraşmaya devam ediyor, ancak daha sonra final sıralamasının sonuna doğru çıkıyor. Bunun nedeni, çoklu seçimlerinin validasyon setine fazlaca uyum sağlamasıdır (küçük validasyon setindeki rastgele varyasyonları etkili bir şekilde öğrenme).

İstatistiksel olarak saf bir test setini tutamazsanız, korkarım ki en iyi iki seçenek (i) yeni bir istatistiksel olarak saf test seti yapmak için bazı yeni veriler toplamak ya da (ii) yeni modelin temel aldığı uyarıyı yapmaktır. Test seti hatasını gözlemledikten sonra yapılan bir seçimde, performans tahmininin iyimser bir önyargıya sahip olması muhtemeldir.

Bunu sağlamak için bir yolu, yukarı kodlu var emin olmaktır hepsi hatta "müdahalesi", modeli sığacak şekilde yapmak şeylerden. Bu şekilde, işlemi tekrar tekrar çalıştırdığınızda, çapraz doğrulama yoluyla, işleri koşular arasında tutarlı tuttuğunuzu söyleyin. Bu, tüm potansiyel varyasyon kaynaklarının çapraz doğrulama işlemi tarafından yakalanmasını sağlar.

Hayati açıdan önemli olan bir diğer şey, her iki veri setinde de temsili bir örneğinizin olmasını sağlamaktır. Veri kümeniz, tahmin etmek için kullanmayı umduğunuz veri türünü temsil etmiyorsa, yapabileceğiniz pek bir şey yoktur. Tüm modelleme, "indüksiyon" un işe yaradığı varsayımına dayanır - gözlemlememiş olduğumuz şeyler gözlemlediklerimiz gibi davranır.

Genel bir kural olarak, (i) ne yaptığınızı bilmiyorsanız ve (ii) daha basit yöntemleri denemeden ve çalışmadıklarını ve karmaşık yöntemin nasıl düzelttiklerini tespit etmeden karmaşık model uygulama prosedürlerinden uzak durun. basit yöntemle problemler. "Basit" ve "karmaşık", fitting yapan kişiye "basit" veya "karmaşık" anlamına gelir. Bunun bu kadar önemli olmasının nedeni, sonuçlara "koklama testi" olarak adlandırdığım şeyi uygulamanıza izin vermesidir. Sonuç doğru görünüyor mu? Anlamadığınız bir prosedürden elde edilen sonuçları "koklayamazsınız".

NOT: Benim cevabın yanında oldukça uzun bir parçası olduğunu deneyimlerime dayanmaktadır ile, alana p olasılıkla büyük. Aşağıdakilerin N ≈ p veya N < p durumları için geçerli olmayacağından neredeyse eminim$N>>p$ $p$ $N\approx p$ $N<p$

Büyük bir örneğiniz varsa, belirli bir gözlemi kullanıp kullanmama arasındaki fark, modellemenizin "yerel" olmaması koşuluyla çok küçüktür. Bunun nedeni, belirli bir veri noktasının etkisinin genellikle . Bu yüzden, büyük veri setlerinde, test veri setini "uzatma" işleminden elde ettiğiniz artıklar temel olarak eğitim veri setinde kullanmaktan kalanlar ile aynıdır. Bunu sıradan en küçük kareleri kullanarak gösterebilirsiniz. Kalıntı Eğer hariç eldeigözlem inci (yani ne deney kümesinde gözlem koymak test seti hata olacaktır) olan, e t e s t i =(1-hii)-1, e t r bir i n ı ,e t r bir i n$\frac{1}{N}$$i$$e_i^{test}=(1-h_{ii})^{-1}e_i^\mathrm{train}$$e_i^\mathrm{train}$Eğitim kalıntı ve kaldıraç olan i veri noktası inci. Şimdi buna sahip Σ i h i i = p , p regresyon değişkenlerin sayısıdır. Şimdi eğer N > > p , o zaman herhangi açısından son derece zordur h i i testi kurmak ve eğitim seti hataları arasındaki kayda değer fark yaratmak için yeterince büyük olması. Basitleştirilmiş bir örnek alabiliriz, varsayalım ki p = 2 (kesişme ve 1 değişken), N × $h_{ii}$$i$$\sum_ih_{ii}=p$$p$$N>>p$$h_{ii}$$p=2$$1$$N\times p$tasarım matrisi (hem eğitim hem de test setleri) ve kaldıraç$X$

Burada , ¯ x 2 = N - 1 Σ i x 2 ı ve s 2 x = ¯ x 2 - ¯ x 2 . Son olarak, ˜ x i = x i - ¯ $\overline{x}=N^{-1}\sum_ix_i$$\overline{x^2}=N^{-1}\sum_ix_i^2$$s_x^2=\overline{x^2}-\overline{x}^2$ standartlaştırılmış yordayıcı değişkenidir vexiortalamadankaç standart sapma olduğunu ölçer. Bu nedenle, başlangıçtan itibaren test setinin "setin" yanında bulunan gözlemler için yapılan set setinden çok daha büyük olacağını biliyoruz. Ancak bu temelde yine temsili meseledir - “kenarda” gözlemler “ortada gözlemlerden daha az temsil edicidir”. Ayrıca, bu sipariş$\tilde{x}_i=\frac{x_i-\overline{x}}{s_x}$$x_i$ . Eğer var ise100gözlemler bile ~ x i=5(çoğu tanımlamalar tarafından x-uzayda bir aykırı değer), bunun anlamıhii=$\frac{1}{N}$$100$$\tilde{x}_i=5$ , ve test hatası sadece1-26faktörü ile$h_{ii}=\frac{26}{100}$ . Büyük bir verikümeniz varsa,10000 deyince, daha küçüktür,1-$1-\frac{26}{100}=\frac{74}{100}$$10000$ az olan,1%. Aslında,10000gözlemiçin, eğitim seti hatasını kullanarak test seti hatasını%25eksik tahminetmek için ˜ x =50gözlemine ihtiyacınız olacaktır.$1-\frac{26}{10000}$$1\text{%}$$10000$$\tilde{x}=50$$25\text{%}$

Büyük veri kümeleri için bir test seti kullanılarak sadece verimsizdir Yani, bu kadar uzun olarak da gereksizdir . Bu, OLS için geçerlidir ve ayrıca yaklaşık GLM'ler için de geçerlidir (detaylar GLM için farklıdır, ancak genel sonuç aynıdır). 2'den fazla boyutta "aykırı değerler", büyük "temel bileşen" puanlarına sahip gözlemlerle tanımlanır. Bu yazı ile gösterilebilir h i i = x T ı e E , T ( X , T x ) - 1 e D , T x i Burada $N>>p$$2$$h_{ii}=x_i^TEE^T(X^TX)^{-1}EE^Tx_i$$E$için (dik) özvektörler matrisi olan özdeğer matris ile, X . Biz h i i = z T i Λ - 1 z i = ∑ p j = 1 z 2 j $X^TX$$\Lambda$ zi=D, Txiiçin temel skorlar olanxi.$h_{ii}=z_i^T\Lambda^{-1}z_i=\sum_{j=1}^p\frac{z_{ji}^2}{\Lambda_{jj}}$$z_i=E^Tx_i$$x_i$

Test setinizde gözlem varsa, bir matris sürümü alırsınız e t e s t { k }$k$ , H { k } = X { k } ( X , T x ) - 1 x T { k } ve${\bf{e}}_{\{k\}}^\mathrm{test}=(I_k-H_{\{k\}})^{-1}{\bf{e}}_{\{k\}}^\mathrm{train}$$H_{\{k\}}=X_{\{k\}}(X^TX)^{-1}X_{\{k\}}^T$ , test setindeki tasarım matrisinin satırlarıdır. Dolayısıyla, OLS regresyonu için, verilerin test ve eğitim setlerine girmesi için "test seti" hatalarının ne olacağını zaten biliyorsunuz. Bu durumda (N>>p), tüm veri bölme için bir ihtiyaç vardır. Verileri bölmek zorunda kalmadan hemen hemen her boyuttaki "en iyi durum" ve "en kötü durum" test seti hatalarını bildirebilirsiniz. Bu, çok fazla zaman ve kaynak tasarrufu sağlar.$X_{\{k\}}$$N>>p$

Temel olarak, tüm bunlar BIC veya AIC gibi eğitim ve test hataları arasındaki farkı hesaba katmak için bir ceza terimi kullanımına indirgenmiştir. Bu, bir test setini kullanmakla aynı sonucu verir, ancak potansiyel olarak yararlı bilgileri atmak zorunda kalmazsınız. BIC ile, matematiksel olarak benzeyen modelin kanıtlarına yaklaşıyorsunuz:

Her modeli - Bu prosedürde, biz herhangi bir iç parametrelerini tahmin unutmayın tamamen belirtilmelidir veya onun iç parametreler göz entegre var. Bununla birlikte, bunu ürün kuralını tekrar tekrar kullanarak ve ardından sonucun günlüğünü alarak çapraz doğrulama (belirli bir kayıp işlevini kullanarak) gibi gösterebiliriz:$M_i$

= p ( y 1 | M i I ) p ( y 2 | y 1 M I I ) p ( y 3 ... y K

Bu, bir çapraz onaylama biçimi önermektedir, ancak eğitim setinin sürekli güncellendiği yerlerde, test setinden bir seferde bir gözlem - Kalman Filtresi'ne benzer. Mevcut eğitim setini kullanarak test setinden bir sonraki gözlemi tahmin ediyoruz, koşullu log olasılığını kullanarak gözlemlenen değerden sapmayı ölçüyoruz ve ardından yeni gözlemi içerecek şekilde eğitim setini güncelliyoruz. Ancak, bu prosedürün mevcut tüm verileri tamamen sindirdiğini ve aynı zamanda her gözlemin "örnek dışı" bir durum olarak test edildiğinden emin olduğunu unutmayın. Aynı zamanda “gözlem 1” veya “gözlem 10” dediğiniz şeyin önemi yoktur; sonuç aynıdır (bazı permütasyonlar için hesaplamalar diğerlerinden daha kolay olabilir). Kayıp fonksiyonu ayrıca "uyarlanabilir" , daha sonra netlik L i bağlıdır i kayıp fonksiyonu sürekli yeni verilerle güncellenmekte olduğundan,.$L_i=\log\left[p(y_i|y_1\dots y_{i-1}M_iI)\right]$$L_i$$i$

Tahminli modellerin bu şekilde değerlendirilmesinin oldukça işe yarayacağını düşünüyorum.

Sanırım bunu garanti etmenin tek yolu, başkasının test verisine sahip olmasıdır . Bir müşteri-danışman ilişkisinde bu oldukça kolay bir şekilde yönetilebilir: müşteri, danışmana, modelleri kurması için gerekli eğitim setini verir ve bu eğitim seti içinde danışman, fazladan takma işleminin yapılmamasını sağlamak için gerekli olan her şekilde verileri bölebilir meydana gelmek; daha sonra, modeller test verilerinde kullanmak için müşteriye geri verilir.

Bireysel bir araştırmacı için, bu nedenle en iyi uygulamanın bu düzeni taklit etmek olacağı aklına gelir. Bu, tüm model seçimi yapıldıktan sonra test edilecek verilerin bir kısmından kurtulmak anlamına gelir. Maalesef dediğiniz gibi, bu pek çok kişi tarafından uygulanmıyor ve daha iyisini bilmesi gereken insanlara bile oluyor !

Ancak nihayetinde modelin ne için kullanıldığına bağlı. Eğer sadece o veri setindeki tahminde bulunma ile ilgileniyorsanız, belki de istediğiniz gibi giydirebilirsiniz? Ancak, modelinizi iyi genelleyen bir model olarak tanıtmaya çalışıyorsanız veya modeli bazı gerçek dünya uygulamalarında kullanıyorsanız, o zaman elbette bu çok önemlidir.

Söylemem gerektiğini düşündüğüm bir yan sorun var; bu, tüm prosedürleri doğru izleseniz bile, gerçekte bulunmayan veriler nedeniyle, fazladan modellere sahip olabilirsiniz . Örneğin, verilerde geçici korelasyonlar varsa, o zaman 1-3 arasındaki tüm egzersiz verilerinizi alırsanız ve 4. zamanında test ederseniz, tahmin hatasının beklenenden daha büyük olduğunu görebilirsiniz. Alternatif olarak, kullanılan ölçüm cihazı gibi deneye özgü artefaktlar veya insan deneylerindeki denek havuzları, modellerin genelleştirilmesinin beklenenden daha kötü olmasına neden olabilir.

Bu çok iyi bir soru ve çok ince bir sorundur. Tabii ki sizi aldatmaya çalışan birinden kaynaklanan kötü niyetli hatalar var. Ancak, yanlışlıkla sızıntı yapmamak ve dürüst hatalardan kaçınmak konusunda daha derin bir soru var.

Operasyonel iyi uygulamaları listeleyim. Hepsi bir noktada yaptığım dürüst hatalardan kaynaklanıyor:

• Verilerinizi üç gruba ayırın: eğitin, onaylayın ve test edin.
• Neyin mantıklı olduğunu ve neyin olmadığını tartışmak için problem kurulumunu anlayın. Sorunu anlayın, çoğu zaman verilerin temsil ettiği şeyin sızıntılara yol açabileceği konusundaki yanlış anlaşılması. Örneğin, hiç kimse bir videonun aynı karesinde eğitim yapmaz ve test edemezken, aynı videonun iki karesi farklı katlara düştüğünde daha ince olur, aynı videonun iki karesi muhtemelen aynı bireyleri aynı ışıklandırmayı paylaşır. .
• Önceden yazılmış çapraz onay prosedürleri konusunda son derece dikkatli olun. Dahası, sizin tarafınızdan yazılmayanlarla (LIBSVM burada büyük bir suçludur).
• Ofis arkadaşınıza rapor veriyor olsanız bile, herhangi bir şeyi bildirmeden önce her deneyi en az iki kez tekrarlayın. Sürüm kontrolü arkadaşınızdır, bir deneme yapmadan önce bir deneme yapıp, kodun hangi sürümünü çalıştırdığınızı not edin.
• Verilerinizi normalleştirirken çok dikkatli olun. Çoğu zaman bu, aynı anda test etmek istediğiniz tam veri setine sahip olacağınıza ve çoğu zaman gerçekçi olmadığı düşüncesine neden olur.

Halen verilen mükemmel cevaplarda birçok önemli husus ele alınmıştır.

Son zamanlarda, test verilerinin istatistiksel bağımsızlığı için bu kişisel kontrol listesini geliştirdim:

• Verileri en yüksek düzeyde veri hiyerarşisinde bölme (örn. Hasta yönünden bölme)
• Aletlerdeki günlük değişiklikler gibi bilinen veya şüphelenilen karmakarışık durumlar için bağımsız olarak bölün.
• (DoE, rastgele ölçümler dizisine bakmalıdır **)
• Birden fazla hasta * içeren birinci (genellikle ön işleme) adımla başlayan tüm hesaplama adımlarının, yeniden örnekleme validasyonundaki her bir vekil model için yeniden yapılması gerekir. Bekletme / bağımsız test seti geçerliliği için test hastalarının bu adımdan önce ayrılması gerekir .
  
  • Bu, hesaplamanın ön işleme olarak adlandırılmasından veya gerçek modelin bir parçası olarak kabul edilmesinden bağımsızdır.
  • Tipik suçlular: ortalama merkezleme, varyans ölçeklendirme (genellikle sadece hafif etki), PCA veya PLS gibi boyutsallık azaltma (ağır önyargıya neden olabilir, örneğin, büyüklük sırasına göre hiçbir hatayı hafife almaz)
• Her türlü veriye dayalı optimizasyon veya model seçimi, nihai modeli bağımsız olarak doğrulamak için başka bir (dış) test gerektirir.
• Sadece belirli bağımsız test setleriyle ölçülebilen bazı genelleme performansı türleri vardır, örneğin gelecekte ölçülen vakalar için öngörücü performansın nasıl kötüleştiği (zaman aralığı tahmini ile, sadece cihaz sapmasıyla ilgilenmiyorum). Ancak bunun için uygun şekilde tasarlanmış bir onaylama çalışması gerekir.

• Alanımda başka bir tuhaf veri sızıntısı var: biyolojik dokuların uzamsal olarak çözülmüş spektroskopisini yapıyoruz. Test spektrumunun referans etiketlemesi, bir küme analizi kullanmak için cazip olsa ve sonra sadece her kümenin hangi sınıfa ait olduğunu bulsun (bu, yarı denetimli olmayan test verisi olacaktır) bulmak için, spektroskopik bilgiye karşı kör olmalıdır. hiç bağımsız değil).

• Son fakat kesinlikle en az olmayan şey: Örnekleme doğrulama kodlamasını kodlarken, hesaplanan endekslerin verilere girip girmediğini, test hastalarının eğitim hastalarından, günlerden vb.

"Bağımsızlık sağlamak için yapılmayan bölme" ve "birden fazla vakayı içeren herhangi bir hesaplama yapılmadan önce bölme" nin, bağımsız bir test seti kullandığını iddia eden testlerde de olabileceğini ve veri analisti olsa bile ikincisinin olabileceğini unutmayın. Test durumlarının referansına kör edildi. Son veriler verilene kadar test verileri saklanırsa bu hatalar olamaz.

* Hastaları sadece açıklama kolaylığı için verilerde en üst sıradüzeni olarak kullanıyorum.
** Ben analitik kimyacıyım: Alet sapması bilinen bir problemdir. Aslında, kimyasal analiz yöntemlerinin geçerliliğinin bir kısmı, kalibrasyon numunelerinin onaylama numunelerine karşı ne sıklıkta kontrol edilmesi gerektiğini ve kalibrasyonun ne sıklıkla yapılması gerektiğini belirlemektir.

FWIW: Pratikte nerede uygulamalarla ilgilenirim

• 10 2 - 10 3 büyüklüğündedir.$p$$10^2 - 10^3$ ,
• genellikle p den büyük$n_{rows}$$p$ , ancak
• $n_{biol. replicates}$$n_{patients}$$\ll p$$10^0 - 10^1$$10^2$ )
• Spektroskopik ölçüm yöntemine bağlı olarak, bir hastanın tüm sıraları, hastanın çok benzer ya da oldukça farklı olabilir, çünkü farklı spektrum tipleri, büyüklük sırasına göre değişen sinyal-gürültü oranına (alet hatası) sahiptir;

Şahsen, sınıflandırıcı gelişimi için uygun bir bağımsız test setini bir kenara koymaya izin verecek kadar bağımsız vakalar aldığım uygulamayı henüz karşılamadım. Bu nedenle, usulün hala geliştirilme aşamasında olduğu halde, uygun şekilde yapılan yeniden örnekleme geçerliliğinin daha iyi bir alternatif olduğu sonucuna vardım. Doğru doğrulama çalışmalarının sonunda yapılması gerekecek, ancak yöntem geliştirme hala bir şeylerin değiştiği bir aşamadayken bunu yapmak çok büyük bir kaynak israfıdır (veya sonuçlar değişkenlik nedeniyle faydalı bir bilgi içermez).

Doğru hatırlıyorsam, tahmin yarışmalarının bazıları (Netflix veya Kaggle'dakiler gibi) bu planı kullanır:

"Cevapları" olan bir eğitim seti var. Araştırmacının cevaplar verdiği test seti # 1 var. Araştırmacı puanlarını öğrendi. Araştırmacının cevap verdiği test seti # 2 var, ancak araştırmacı puanlarını bulamıyor. Araştırmacı, hangi tahmin durumlarının 1. ve 2. sırada olduğunu bilmiyor.

Bir noktada, set # 2 görünür hale gelmek zorunda, ancak en azından kirlenmeyi sınırlandırdın.

Biyolojik sekansa dayalı öngörücüler gibi bazı durumlarda, vakaların birden fazla kümede görünmemesini sağlamak yeterli değildir. Setler arasındaki bağımlılık konusunda hala endişelenmen gerekiyor.

Örneğin, sekansa dayalı öngörücüler için, farklı kümelerdeki (farklı çapraz doğrulama kümeleri dahil) sekansların yüksek bir sekans benzerliği seviyesi paylaşmamasını sağlayarak fazlalığı kaldırmanız gerekir.

K-fold cross validation'in teorik bakış açısına göre doğru cevap olduğunu söyleyebilirim, ancak sorunuz daha örgütsel ve öğretici şeyler gibi görünüyor, bu yüzden farklı cevap vereceğim.

İnsanlar “hala öğreniyorken” genellikle “hızlı ve kirli” bir şekilde nasıl uygulanacaklarını öğreniyor gibi düşünülür. algoritmaları ve tüm "ekstra" bilgileri (problem motivasyonu, veri seti hazırlama, doğrulama, hata analizi, pratik yaklaşımlar vb.) . ) "daha hazırlıklı" olduklarında "sonra" öğrenilirler.

Bu tamamen yanlıştır.

1. Bir öğrenci veya bir test seti ile eğitim seti arasındaki farkı anlayabilen birini istersek, en kötüsü iki seti iki farklı adama vermek, sanki "bu aşamada" "ekstra bilginin" olduğunu düşünüyoruz. zararlı. Bu, yazılım geliştirmedeki şelale yaklaşımı gibidir - birkaç ay saf tasarım, sonra birkaç ay saf kodlama, sonra birkaç ay saf test ve üzücü bir sonuç.

2. Öğrenme şelale gibi gitmemelidir. Öğrenmenin tüm bölümleri - problem motivasyonu, algoritma, pratik yaklaşımlar, sonuç değerlendirmesi - küçük adımlarla bir araya gelmelidir. (Yazılım geliştirmede çevik yaklaşım gibi).

Belki de buradaki herkes Andrew Ng'in ml-class.org adresinden geçmiştir - Kursunu sağlam bir "çevik" örneği olarak koyardım , eğer istersen, öğrenme tarzı - asla "nasıl yapılır" sorusunu vermeyecek olanı Test verilerinin eğitim verisine sızmadığından emin olun ".

Sorunuzu tamamen yanlış anladığımı unutmayın, özür dilerim! :)