CV / Bootstrap kullanarak makine öğrenim algoritmalarını çalıştırabilir misiniz?

Bu soru kesin bir cevap alamayacak kadar açık uçlu olabilir, ama umarım değil.

SVM, GBM, Rastgele Orman vb. Gibi makine öğrenmesi algoritmaları, genellikle bazı rehberlik kurallarının ötesinde, her bir veri setine ayarlanması gereken bazı ücretsiz parametrelere sahiptir. Bu genellikle, en iyi genelleme hatasını veren parametre setine uyması için bir çeşit yeniden örnekleme tekniği (önyükleme, CV vb.) İle yapılır.

Sorum şu ki, burada fazla ileri gidebilir misin? İnsanlar şebeke aramaları yapmaktan bahsediyorlar, ama neden bunu sadece bir optimizasyon problemi olarak ele almıyor ve mümkün olan en iyi parametre setini incelemiyorlar? Bu soruda bunun mekaniğinden bahsettim ama fazla ilgi görmedi. Belki de soru kötü bir şekilde sorulmuştu, ama belki de sorunun kendisi genellikle insanların yapmadığı kötü bir yaklaşımı temsil ediyor?

Beni rahatsız eden şey düzenlileşmenin olmaması. Bu veri seti için bir GBM'de yetişecek en fazla ağaç sayısının 647 olduğunu ve etkileşim derinliği 4 olan 647 olduğunu, ancak bunun yeni veriler için geçerli olacağından nasıl emin olabilirim (yeni popülasyonu varsayarak) Eğitim seti ile aynı mı? 'Küçültmek' için makul bir değer olmadan (veya yapacaksanız, önceden bilgilendirici hiçbir bilgi yoksa) yeniden örnekleme yapabileceğimizin en iyisine benziyor. Sadece bununla ilgili bir konuşma duymuyorum, bu yüzden eksik olduğum bir şey olup olmadığını merak ediyorum.

Açıkça görülüyor ki, bir modele ait son tahminde bulunma gücünün her bitini sıkmak için birçok yinelemenin yapılmasıyla ilgili büyük bir hesaplama maliyeti vardır, bu yüzden açıkça optimizasyonu yapmak için her zaman / huyunuz varsa yapabileceğiniz bir şeydir. performans iyileştirme değerlidir.

Bu sorunun kesin bir cevabı var: "evet, çapraz onaylama temelli bir model seçim kriterini aşmak ve sonuçsuzca genelleşen bir modelle sonuçlanmak mümkün! ". Benim görüşüme göre, bu yaygın olarak kabul görmüyor gibi görünüyor, ancak makine öğrenme yöntemlerinin uygulanmasında kayda değer bir sorun ve mevcut araştırmamın ana odağı; Konuyla ilgili şu ana kadar iki bildiri yazdım

GC Cawley ve NLC Talbot, Model seçiminde aşırı uydurma ve performans değerlendirmesinde sonraki seçim önyargısı, Makine Öğrenimi Araştırma Dergisi, 2010. Research, vol. 11, sayfa 2079-2107, Temmuz 2010. ( www )

Bu, model seçiminde aşırı uygunluğun, makine öğreniminde önemli bir sorun olduğunu göstermektedir (ve performans değerlendirmesi sırasında model seçiminde köşeleri keserseniz ciddi şekilde önyargılı performans tahminleri alabilirsiniz) ve

GC Cawley ve NLC Talbot, Hiper parametrelerin Bayesian düzenlenmesi yoluyla model seçiminde aşırı uyumu önleme, Makine Öğrenimi Araştırma Dergisi, cilt 8, sayfa 841-861, Nisan 2007. ( www )

çapraz validasyona dayalı model seçim kriterinin model seçiminde aşırı uydurmayı denemek için düzenli olduğu (birçok hiper parametresi olan bir çekirdek kullanıyorsanız, bu önemli bir sorundur).

Şu anda şebeke arama tabanlı model seçimiyle ilgili bir yazı yazıyorum, ki bu, çok iyi seçilmiş bir ızgarayı kullanmanızın mümkün olduğunu gösterir. kaba ızgara (Bu, yığın araştırmasına bakmak için beni ilham alan StackExchange'teki bir soruydu).

Bu yardımcı olur umarım.

PS Tarafsız performans değerlendirmesi ve güvenilir model seçimi gerçekten hesaplamalı olarak pahalı olabilir, ancak benim deneyimime göre çok değerli. Dış çapraz doğrulamanın performans tahmini için kullanıldığı ve model seçimi için iç çapraz doğrulamanın kullanıldığı iç içe çapraz doğrulama iyi bir temel yaklaşımdır.

Çapraz doğrulama ve önyükleme işleminin, neredeyse doğru olmayan ve bazı durumlarda çapraz doğrulama üzerinden önyükleme tarafından daha doğru bir şekilde hata oranı tahminleri verdiği gösterilmiştir. Yeniden ikame gibi diğer yöntemlerle ilgili sorun, sınıflandırıcıya uyacağınız aynı veri setindeki hatayı tahmin ederek, hata oranını büyük ölçüde hafife alabilmeniz ve çok fazla parametre içeren algoritmalara yönlendirilebilmesi ve gelecekteki değerleri kesin olarak tahmin etmeyecek olmasıdır. küçük bir parametre setine uyan bir algoritma. İstatistiksel yöntemleri kullanmanın anahtarı, sınıflandırıcıya yerleştirmek zorunda olduğunuz verilerin, gelecekte sınıfların eksik olduğu ve sınıflayıcı tarafından tahmin edilmesi gerektiği durumlarda göreceğiniz verilerin tipik olmasıdır. Gelecekteki verilerin çok farklı olabileceğini düşünüyorsanız, istatistiksel yöntemler yardımcı olamaz ve ben

Buradaki bir cevabın, optimizasyon bağlamında, bulmaya çalıştığınız şeyin bir noisymaliyet işlevinde küresel bir asgari olduğu şüphesi var . Bu nedenle, çok boyutlu bir küresel optimizasyonun tüm zorluklarına ek olarak maliyet fonksiyonuna eklenen stokastik bir bileşene sahipsiniz.

Yerel minima zorlukları ve pahalı bir arama alanı ile başa çıkmak için kullanılan yaklaşımların birçoğu, benzetilmiş tavlama veya monte edilmiş carlo yöntemleri gibi ayar gerektirebilecek parametrelere sahiptir.

İdeal, hesaplamalı olarak sınırlandırılmamış bir evrende, parametre fonksiyonunuzun global bir minimumunu, hata fonksiyonuna ilişkin tahmininizin önyargı ve sapması üzerinde uygun bir şekilde sınırlı sınırlarla bulmaya çalışacağınızdan şüpheleniyorum. Bu senaryonun düzenlenmesi, reklam sonsuzluğunu yeniden örnekleyebileceğinizden bir sorun olmaz mıydı?

Gerçek dünyada, kendinizi yerel bir asgari düzeyde kolayca bulabileceğinizden şüpheleniyorum.

Bahsettiğiniz gibi, bu ayrı bir konudur, ancak bu hala sizin için mevcut olan verilerle ilişkili örnekleme sorunları nedeniyle örnekleme sorunlarına ve sizi örnek alanın gerçek altta yatan dağılımı ile olan ilişkisine bağlı olarak bırakmaya açık bırakmaktadır.

Bu, algoritmaya kesinlikle bağlıdır, ancak kesinlikle yapabilirsiniz - çoğu durumda sadece iyi bir çaba kaybı olacaktır.

$f(\mathbf{x})$$\mathbf{x}$$\mathbf{x}_{\text{opt}}$$f(\mathbf{x})+\epsilon$$\epsilon$$\mathbf{x}$$f$$X_\text{opt}\ni \textbf{x}_\text{opt}$$f+\epsilon$

$\textbf{x}_\text{opt}$$X_\text{opt}$$X_\text{opt}$$f$

$f$

Bu nedenle, (iyi dergilerde mevcut olan uygulamalara dayanarak) tam, parametre seçiminin harici olarak doğrulanması, titizlikle yapmanız gereken bir şey değildir (özellik seçiminin onaylanmasından farklı olarak), ancak yalnızca optimizasyonun elverişli olması ve sınıflandırmanın oldukça hassas olması durumunda parametreler.

Evet, parametreler çapraz değerlendirme veya ön yükleme sırasında eğitim ve test setine "takılabilir". Ancak, bunu önlemek için bazı yöntemler vardır. İlk basit yöntem, veri kümenizi 3 bölüme ayırıyorsunuz, biri test etmek için (~% 20), biri optimize edilmiş parametreleri test etmek için (~% 20) diğeri de sınıflandırıcıyı set parametrelerine uydurmak için. Sadece oldukça büyük bir veri kümeniz varsa mümkündür. Diğer durumlarda çift çapraz değerlendirme önerilmektedir.

Romain François ve Florent Langrognet, "Model Bazlı Sınıflandırma için Çift Çapraz Doğrulama", 2006