Jackknifing'in çağdaş kullanımları var mı?

Soru: Bootstrapping jackknifing'ten üstündür ; Ancak, jackknifing'in parametre tahminlerindeki belirsizliği karakterize etmek için tek veya en azından uygulanabilir bir seçenek olup olmadığını merak ediyorum. Ayrıca, pratik durumlarda önyüklemeye göre önyargılı / yanlış jackknifleme vardır ve jackknife sonuçları daha karmaşık bir bootstrap geliştirilmeden önce ön fikir verebilir mi?

Bazı bağlamlar: Bir arkadaş, "yalnızca varlık" veya "yalnızca pozitifler" olan coğrafi verileri sınıflandırmak için bir kara kutu makinesi öğrenme algoritması ( MaxEnt ) kullanıyor. Genel model değerlendirmesi genellikle çapraz validasyon ve ROC eğrileri kullanılarak yapılır. Bununla birlikte, model çıktısını, model çıktısının tek bir sayısal tanımını türetmek için kullanıyor ve bu sayı etrafında bir güven aralığı istiyor; Jackknifing, bu değer etrafındaki belirsizliği karakterize etmek için makul bir yol gibi görünmektedir. Her veri noktası, harita üzerinde değiştirme ile yeniden örneklenemeyen benzersiz bir konum olduğu için önyükleme ilgili görünmüyor. Modelleme programının kendisi nihayetinde ihtiyacı olanı sağlayabilir; ancak, jackknifing'in yararlı olabileceği / ne zaman faydalı olabileceği konusunda genel olarak ilgileniyorum.

Jackknifing'i yalnızca dışarıda bırakma değil, katlama prosedürleri gibi değiştirmeden herhangi bir yeniden örnekleme dahil etmek için alıyorsanız , bunu uygun bir seçenek olarak görüyorum ve düzenli olarak kullanıyorum, örneğin Beleites ve ark. : Astrositom dokularının Raman spektroskopik derecelendirmesi: yumuşak referans bilgileri kullanılarak. Anal Bioanal Chem, 2011, 400, 2801-2816$k$

ayrıca bkz: Çapraz onaylı sınıflandırma doğruluğu için güven aralığı

Ben çeşitli nedenlerden dolayı LOO önlemek ve bunun yerine yinelenen / tekrarlanan katlama şeması kullanın. Alanımda (kimya / spektroskopi / kemometri), çapraz doğrulama önyükleme dışı doğrulamadan çok daha yaygındır. Verilerimiz / tipik uygulamalarımız için, -yinelenmiş katlanmış çapraz doğrulamanın ve önyükleme dışı performans tahminlerinin yinelemelerinin çok benzer toplam hataya sahip olduğunu bulduk [Beleites et al. : Seyrek veri kümeleri kullanılarak sınıflandırma hatasını tahmin etmede varyans azalması. Chem.Intell.Lab.Syst., 2005, 79, 91-100.] .$k$$i$$k$$i \cdot k$

Önyükleme üzerinden yinelenen çapraz doğrulama şemalarına bakmanın gördüğüm özel avantajı, sezgisel olarak açıklanabilecek kararlılık / model belirsizlik ölçümlerini çok kolay bir şekilde türetebilmem ve performans ölçümünde daha fazla iç içe geçmiş varyans belirsizliğinin iki farklı nedenini ayırmasıdır. önyükleme dışı ölçümler.
Beni çapraz doğrulamaya / jackknifing'e götüren bir akıl yürütme modeli, modelin sağlamlığına bakıyor: çapraz doğrulama, doğrudan " yeni vaka için vaka değiştirdiğimde ne olur ?" $x$$x$veya "Modelim, vakayı değiştirerek eğitim verilerini bozmaya karşı ne kadar sağlam ?"$x$ Bu, önyükleme için de geçerlidir, ancak daha az doğrudan.

Ben anlamına Not değil verilerim doğal (kümelenmiş olduğu için, derived güven aralıkları deneyin spektrumları arasında hastalar) Ben rapora tercih böylece,$n_s$$n_p \ll n_s$

1. ortalama gözlemlenen performans ve örnek boyutu olarak kullanan (muhafazakar) binom güven aralığı ve$n_p$

2. çapraz doğrulamanın yinelemeleri arasında gözlemlediğim sapma . kıvrımlarından sonra , her bir vaka farklı vekil modeller tarafından tam olarak bir kez test edilir. Bu nedenle çalışmaları arasında gözlenen her türlü varyasyon , model kararsızlığından kaynaklanmalıdır.$i$$k$$i$

Tipik olarak, yani model iyi kurulmuşsa 2. sadece 1.'deki varyanstan çok daha küçük olduğunu ve dolayısıyla modelin oldukça kararlı olduğunu göstermek için gereklidir. 2. ihmal edilemez hale gelirse, toplu modelleri dikkate almanın zamanı gelmiştir: model toplama sadece model kararsızlığından kaynaklanan varyans için yardımcı olur, sınırlı sayıda test örneği nedeniyle performans ölçümündeki varyans belirsizliğini azaltamaz .

Bu tür veriler için performans güven aralıkları oluşturmak için en azından çapraz doğrulamanın çalışmaları arasında gözlenen varyansın , bu kararsızlığın modellerinin ortalaması olduğunu düşünürüm, yani model kararsızlığı varyansı diyebilirim olduğu çapraz geçerlilik çalışmaları arasında gözlenen varyans; artı sonlu vaka numarasına bağlı varyans - sınıflandırma (isabet / hata) performans ölçümleri için bu binomdur. Sürekli ölçümler için, varyansı çapraz-doğrulama çalışma varyansı, ve türetilmiş tip-varyans tahmininden türetilmiş modelleri için türetmeye çalışacağım .$i$$k$$k \cdot$$k$$k$

Çapraz geçerlilik avantajı burada modeli istikrarsızlık ve test vakalarının sonlu sayıda neden belirsizlik nedeniyle belirsizlik arasında net bir ayrım elde ediyoruz. Karşılık gelen dezavantaj , elbette, sınırlı sayıda gerçek vakayı dikkate almayı unutursanız, gerçek belirsizliği ciddi şekilde küçümseyeceğinizdir. Ancak bu önyükleme için de olur (daha az oranda olsa da).

Şimdiye kadar, akıl yürütme, belirli bir veri kümesi için türettiğiniz model için performansın ölçülmesine odaklanmaktadır . Belirli bir uygulama için ve verilen örneklem büyüklüğü için bir veri kümesi göz önünde bulundurursanız , temelde yeniden örnekleme ile ölçülemeyen varyansın üçüncü bir katkısı vardır, bkz. Örneğin Bengio & Grandvalet: K-Katlı Çapraz Varyansının Tarafsız Tahmincisi Yok Doğrulama, Makine Öğrenimi Araştırmaları Dergisi, 5, 1089-1105 (2004). , Beleites ve ark. : Sınıflandırma modelleri için örneklem büyüklüğü planlaması., Anal Chim Acta, 760, 25-33 (2013). DOI: 10.1016 / j.aca.2012.11.007 )
Bence burada olan şey, yeniden örneklemenin tamamen yeni bir örnek koparmaya benzer olduğu varsayımının sonucudur.

Uygulama için belirli bir model oluşturmak ve bu modeli doğrulamak yerine model oluşturma algoritmaları / stratejileri / buluşsal yöntemlerinin karşılaştırılması gerekiyorsa bu önemlidir.