Çapraz doğrulama ne zaman kullanılmaz?

Sitede okuduğumda, çoğu cevap, çapraz öğrenme işleminin makine öğrenme algoritmalarında yapılması gerektiğini gösteriyor. Ancak, "Makine Öğrenmesini Anlama" kitabını okurken bazen çapraz doğrulamanın kullanılmaması daha iyi bir alıştırma olduğunu gördüm. Gerçekten kafam karıştı. Verilerin tamamı üzerinde eğitim algoritması çapraz doğrulamadan daha iyidir? Gerçek veri setlerinde oluyor mu?

Let olmak hipotez sınıfları. Size verilen varsayalım örneklerini eğitim ve sınıf öğrenmek istiyorum IID . İki alternatif yaklaşım düşünün: $H_1,...,H_k$ $m$ $H=\cup^k_{i=1}H_i$

Bilgi üzerinde ERM kuralı kullanarak örnekler $H$ $m$

M örneklerini , bazı için bir eğitim seti ve boyutunda bir doğrulama setine bölün . Ardından, doğrulama kullanarak model seçimi yaklaşımını uygulayın. Olduğunu, fi her sınıf tren RST üzerinde göre ERM kuralını kullanarak eğitim örnekler ve izin $(1−\alpha)m$ $\alpha m$ $\alpha\in(0,1)$ $H_i$ $(1−\alpha)m$ $H_i$ $\hat{h}_1,\ldots,\hat{h}_k$ ortaya çıkan hipotezler. İkincisi, sonlu sınıfına göre ERM kuralını uygulamak { } üzerinde doğrulama örnekler. $\hat{h}_1,\ldots,\hat{h}_k$ $\alpha m$

İlk yöntemin ikinciden daha iyi olduğu ve tam tersi olduğu senaryoları tanımlayın.

Quastion görüntüsü .

machine-learning self-study cross-validation

— SMA.D
kaynak

İlginç bir alıştırma, ama etikete katılmıyorum. Bence çapraz doğrulama burada işini mükemmel yapıyor. Bir teğet olarak, bir görüntüyü eklemenin aksine, egzersizi yazıp alıntı yaptıysanız gerçekten tercih edilir. Görüntü görme engelli kullanıcılar tarafından erişilemez.

— Matthew Drury

Çapraz geçerliliğin kullanılmasının olası bir dezavantajı, aşırı uyumlu olabilir (bir çapraz geçerliliği hariç tutmak durumunda olduğu gibi). Esasen, çapraz validasyon tekniklerini kullanarak, modelin parametrelerini validasyon veri setine göre ayarlıyoruz (test veri setinde değil). Ancak bazen, bu ayar biraz fazla gidebilir ve sınıflandırıcı test setinde test edildiğinde olası aşırı uyuma neden olabilir.

— Upendra Pratap Singh

"Eşlik" burada ne anlama geliyor?

— shadowtalker

@shadowtalker Bence toplama modulo 2 demek

— SMA.D

Çapraz doğrulama ve önyükleme arasında (tekrarlanan) ayrım yapıyor musunuz?

— usεr11852

Take-ev-mesajlar:

Excercise gerektiğini bazen (alanınızda bağlı: genellikle hatta neredeyse her zaman) olduğunu öğretmek daha iyi veriye dayalı model optimizasyonu / ayarlama / seçimini yapmak değil.
Ayrıca , farklı validasyon seçenekleri arasında çapraz validasyonun en iyi seçenek olmadığı durumlar da vardır , ancak bu hususlar buradaki çalışmalarınız bağlamında geçerli değildir.
Ve modelinizi doğrulamamak (doğrulamak, test etmek) asla iyi bir seçim değildir.

Maalesef, alıntıladığınız metin yaklaşım 1 ve 2 arasında iki şeyi değiştirir:

Yaklaşım 2, çapraz doğrulama ve veriye dayalı model seçimi / ayarlama / optimizasyon gerçekleştirir
Yaklaşım 1'de ne çapraz doğrulama ne de veriye dayalı model seçimi / ayarlama / optimizasyon kullanılmamaktadır.
Veri odaklı model seçimi / ayarlama / optimizasyon olmadan yaklaşım 3 çapraz doğrulaması burada tartışılan bağlamda mükemmel bir şekilde uygulanabilir (amd IMHO daha fazla kavrayışa neden olur)
Yaklaşım 4, çapraz doğrulama yok ancak veriye dayalı model seçimi / ayarlama / optimizasyon da mümkündür, ancak daha karmaşık bir yapıya sahiptir.

IMHO, çapraz doğrulama ve veriye dayalı optimizasyon, modelleme stratejinizi oluştururken tamamen farklı (ve büyük ölçüde bağımsız) iki karardır. Sadece bağlantı, optimizasyon için işlevsel bir hedef olarak çapraz doğrulama tahminleri kullanabilirsiniz olmasıdır. Ancak kullanılmaya hazır başka hedef işlevler de var ve çapraz doğrulama tahminlerinin başka kullanımları da var (önemlisi, bunları modelinizin doğrulanması, yani doğrulama veya test için kullanabilirsiniz)

Ne yazık ki, makine öğrenme terminolojisi şu anda yanlış bağlantılar / nedenler / bağımlılıklar öneren bir karmaşa IMHO'dur.

Yaklaşım 3'e baktığınızda (optimizasyon için değil, model performansını ölçmek için çapraz doğrulama), bu bağlamda yanlış bir ikilik olarak tüm veri setinin eğitimine karşı "karar" çapraz doğrulamasını bulacaksınız: Çapraz doğrulamayı kullanırken sınıflandırıcı performansını ölçmek için, liyakat çapraz geçerlilik rakamı, tüm veri seti üzerinde eğitilmiş bir model için tahmin olarak kullanılır. Yani yaklaşım 3, yaklaşım 1'i içerir.
$p$ parametreler / katsayılar, ancak optimizasyonun yaptığı hiperparametreler olarak adlandırılan diğer parametreleri tahmin etmektir. Model uydurma ve optimizasyon / ayarlama işlemini model parametrelerini aramak için tanımlarsanız, bu hiperparametre optimizasyonu çok daha geniş bir arama alanının dikkate alındığı anlamına gelir. Başka bir deyişle, yaklaşım 1 (ve 3) 'te bu hiperparametreleri belirterek arama alanını kısıtlarsınız. Gerçek dünya veri kümeniz, bu sınırlı arama alanına sığacak kadar büyük olabilir (yeterli bilgi içerir), ancak yaklaşımların 2 (ve 4) daha geniş arama alanında tüm parametreleri yeterince iyi düzeltmek için yeterince büyük olmayabilir.

Aslında, benim alanımda sıklıkla veri odaklı optimizasyon düşüncesine izin vermeyecek kadar küçük veri kümeleri ile uğraşmak zorunda kalıyorum. Öyleyse bunun yerine ne yapmalıyım: Hangi modelin veri ve uygulamanın fiziksel doğası ile iyi uyuştuğuna karar vermek için veri ve veri oluşturma süreçleri hakkındaki alan bilgimi kullanıyorum. Bunların içinde hala model karmaşıklığımı kısıtlamam gerekiyor.

— SX ile mutsuz cbeleites
kaynak

Güzel cevap. Bir şekilde bu konuya katkıda bulunacağınızı umuyorum. Açık + 1

— usεr11852

Bilgilendirici ve yardımcı yanıtınız için teşekkür ederiz. Cevabınızdan öğrendiğim şey, doğrulama nedeniyle değil, model seçimi nedeniyle küçük veri setlerimiz olduğunda 2. yaklaşımı seçebilmemizdir. Doğrumuyum? Küçük veri kümeleri için model seçiminin kullanılması bir şekilde yetersiz oturmaya neden oluyor mu?

— SMA.D

Başka bir soru, alıştırmada hipotez sınıfının boyutunun hem yaklaşım 1 hem de 2 için aynı olmasıdır. Bu durumda yaklaşım 2 için arama alanı ne kadar geniştir?

— SMA.D

Peki, 1'de değil 2'de bir seçenek varsa, 2'deki arama alanı daha büyüktür. 2'deki arama alanı daha büyük değilse, yaklaşım 2'de gerçekten seçilecek bir şey yoktur. Cevabım ve yaklaşım 2'nin ne anlama geldiğine dair yorumum "doğrulama kullanarak model seçimi" terimi tarafından tetiklenir. Bağlam hala burada söz konusu olandan önce "ne zaman çapraz doğrulama başarısız olursa" denemesinden biriyse, kitap yukarıda yaklaşım 3 dediğim anlamına gelebilir, yani hiçbir model seçimi söz konusu değildir. Ancak bu durumda, model seçimi sözcükleri gerçekten orada olmamalıdır. Bunun ne kadar olası

— olduğuna karar veremem

... kitabın model seçimi hakkında ne söylediğini ya da ERM kurallarının ne olduğunu bilmediğim gibi (kelime dağarcığımda, ERM kurumsal risk yönetimine genişliyor ...). Ancak, cevabım modelleme algoritmasından bağımsız olarak geçerlidir.

— SB