“Ablasyon” un orijinal anlamı , vücut dokusunun cerrahi olarak çıkarılmasıdır . “Ablasyon çalışması” teriminin kökleri 1960'ların ve 1970'lerin deneysel nöropsikoloji alanındadır ve burada hayvan beyinlerinin bir kısmının davranışları üzerindeki etkisini incelemek için çıkarılmıştır.
Makine öğrenmesi ve özellikle karmaşık derin sinir ağları bağlamında, ağın davranışının daha iyi anlaşılması için ağın belirli bölümlerinin kaldırıldığı bir prosedürü tanımlamak için “ablasyon çalışması” benimsenmiştir.
Terim, Keras derin öğrenme çerçevesinin birincil yazarı Francois Chollet'in Haziran 2018'deki tweetinden bu yana dikkat çekti :
Ablasyon çalışmaları derin öğrenme araştırmaları için çok önemlidir - bunu yeterince vurgulayamaz. Sisteminizdeki nedenselliğin anlaşılması, güvenilir bilgi (herhangi bir araştırmanın amacı) oluşturmanın en kolay yoludur. Ve ablasyon nedenselliğe bakmak için çok az çaba gerektiren bir yoldur.
Karmaşık bir derin öğrenme deney düzeneği alırsanız, performans kaybı olmadan birkaç modülü kaldırabilir (veya bazı eğitimli özellikleri rastgele olanlarla değiştirebilirsiniz). Araştırma sürecindeki gürültüden kurtulun: ablasyon çalışmaları yapın.
Sisteminizi tam olarak anlayamıyor musunuz? Birçok hareketli parça mu? Çalışmasının nedeninin hipotezinizle gerçekten ilgili olduğundan emin olmak ister misiniz? Bir şeyleri çıkarmayı deneyin. Tezinizi çürütmek için deneme sürenizin en az% 10'unu dürüst bir çaba harcayın.
Örneğin, Girshick ve arkadaşları (2014) üç “modülden” oluşan bir nesne algılama sistemini tanımlamaktadır: Birincisi, bir görüntünün içinde Seçici Arama algoritmasını ( Uijlings ve arkadaşları 2012 ) kullanarak bir nesnenin aranacağı bölgeleri önerir. özellik çıkarma işlemini gerçekleştiren büyük bir kıvrımlı sinir ağına (5 kıvrımlı katman ve 2 tam bağlantılı katman ile) beslenir, bu da sınıflandırma için bir dizi destek vektör makinesine beslenir. Sistemi daha iyi anlamak için yazarlar, sistemin farklı bölümlerinin kaldırıldığı bir ablasyon çalışması gerçekleştirdiler - örneğin, CNN'nin tamamen bağlı katmanlarından birini veya her ikisini kaldırmak, şaşırtıcı bir şekilde az performans kaybıyla sonuçlandı ve bu da yazarların sonuçlandırmasına izin verdi.
CNN'in temsili gücünün çoğu, çok daha yoğun bir şekilde bağlanmış katmanlardan ziyade kıvrımlı katmanlarından gelir.
OP, bir ablasyon etüdü hakkında / nasıl / yapılacağına dair detaylar ve kapsamlı referanslar ister. Ben buna "tek beden herkese uyar" cevabı olduğuna inanmıyorum. Metrikler, uygulamaya ve model türüne bağlı olarak farklılık gösterebilir. Sorunu basitçe bir derin sinir ağına daraltırsak, katmanları ilkeli bir şekilde kaldırabileceğimizi ve bunun ağın performansını nasıl değiştirdiğini keşfedebileceğimizi görmek nispeten kolaydır. Bunun ötesinde, pratikte her durum farklıdır ve büyük karmaşık makine öğrenimi uygulamaları dünyasında bu, her durum için benzersiz bir yaklaşıma ihtiyaç duyulacağı anlamına gelecektir.
OP - lineer regresyondaki örnek bağlamında - bir ablasyon çalışması mantıklı değildir, çünkü lineer regresyon modelinden "çıkarılabilen" her şey öngörücülerden bazılarıdır. Bunu "ilkeli" bir tarzda yapmak, genellikle kaşlarını çatmış bir ters adım seçim prosedürüdür - ayrıntılar için buraya , buraya ve buraya bakın. Kement gibi bir düzenleme prosedürü doğrusal regresyon için çok daha iyi bir seçenektir.
refs:
Girshick, R., Donahue, J., Darrell, T. ve Malik, J., 2014. Doğru nesne tespiti ve anlamsal bölümleme için zengin özellik hiyerarşileri. Bilgisayar görme ve örüntü tanıma konulu IEEE konferansı bildirilerinde (s. 580-587).
Uijlings, JR, Van De Sande, KE, Gevers, T. ve Smeulders, AW, 2013. Nesne tanıma için seçici arama. Uluslararası bilgisayar görme dergisi, 104 (2), s.154-171.