Parametre Devil - Yer gerçekliğine karşı hiçbir doğrulama mümkün olmadığında nasıl ayarlanır [kapalı]

Soru:

Yer gerçekliğine karşı hiçbir doğrulama mümkün olmadığında (belki de yer gerçekliği elde edilemediği veya elde edilmesi çok zor / sıkıcı olduğu için) insanların algoritmik parametreleri nasıl ayarladıkları hakkında bir tartışma başlatmak istiyorum.

Çok sayıda makale okudum ve temel algoritmaları uyguladım; burada --- bir dizi parametre "ampirik olarak" ayarlandığı söylenir ve sık sık bunların algoritmanın genelliğini etkileyen ( yöntemin altında yatan teori zarif, cazip ve sağlamdır).

Düşüncelerinizi paylaşabilseniz çok memnun olurum. Ve bu sorunun doğru ya da yanlış cevabı yok. Sadece herkesin bununla nasıl başa çıktığını bilmek istiyorum.

Arkaplan / Kaynak-of-the sorusuna:

Görüntü analizi, bilgisayarla görme ve makine öğrenimi alanlarında çalışan bir bilgisayar bilimciyim ve yeni bir algoritma tasarladığımda bu ikilemle tekrar tekrar karşılaştığım için bu soru bir süredir aklımın arkasındaydı. kendimi parametreleri ayarlamak için oldukça fazla zaman harcadım.

Ayrıca, bence, buradaki sorum, hesaplama algoritmalarının yoğun olarak dahil olduğu herhangi bir alan için daha genel ve ilgili tüm alanlardan insanların düşüncelerini davet etmek istiyorum.

Size somut bir örnek vermek istedim, bu yüzden düşünmenize yardımcı olur:

--- Özellik algılama durumunu ele alalım (dairesel lekeler veya göze çarpan noktalar diyelim). Bazı ölçeklerde (ihtiyaç parametreleri) farklı ölçeklerde (ölçek parametreleri) çalıştırırsınız ve muhtemelen yanıtı (eşik parametresi) eşiklersiniz. Bu tür senaryolarda parametrelere karşı doğrulamak ve böylece parametrelerinizi otomatik olarak ayarlamak için bir zemin gerçekliği elde etmek genellikle mümkün değildir.

--- Çok sayıda sinyal işleme bileşeni içeren herhangi bir hesaplama çerçevesini ele alalım. Ayarlamak için her zaman parametreler vardır ve genellikle bir zemin gerçekliği yoktur ve bunları veri kümenizin küçük bir rastgele alt kümesinde subjektif olarak ayarladığınızda, bir gün genellemediği durumla karşılaşırsınız.

Bu parametre şeytan, algoritmanızdaki bazı ara adımlar için parametreleri ayarladığınızda daha zahmetlidir.

Ve sık sık buldum, bu parametreler için iyi değerler bulma problemini, bir türev alabileceğiniz ve böylece iyi değerleri bulmak için standart optimizasyon algoritmalarını kullanabileceğiniz bir objektif fonksiyonu ile bir optimizasyon problemi olarak kullanmak mümkün değildir.

Ayrıca, birçok senaryoda, bu parametreleri son kullanıcıya açıklamak bir seçenek değildir, çünkü çoğunlukla hesaplama dışı son kullanıcılar için (biyologlar, doktorlar diyelim) uygulamalar / yazılım geliştiririz ve ayarlamalarını istediğinizde genellikle clueless giderler çok sezgisel olmadığı sürece (yaklaşık nesne boyutu gibi).

Lütfen düşüncelerinizi paylaşın.

Bir zemin gerçeği olduğu varsayılarak , ( en azından teorik olarak ) "sıkıcılık" probleminin üstesinden gelmenin olası yollarından biri "bootstrap" zemin gerçeği yaratmasıdır. Halihazırda işi yapan iyi bir algoritmaya sahipseniz, örneğin vakaların% 80-% 90'ını, algoritmanızı geniş bir örnek kümesinde çalıştırabilir ve bir kullanıcıdan yalnızca hataları işaretlemesini isteyebilirsiniz. Bu yaklaşımın algoritmanıza karşı önyargı gibi kendi kusurları vardır.

Bununla birlikte, hiçbir zemin gerçeğinin olmadığı, sadece farklı sistem değiş tokuşlarının olduğu bazı durumlar vardır. Örneğin, keskin, renk hassasiyeti olan, gürültülü olmayan bir görüntü elde etmek için bir görüntü işleme sistemi gereklidir. Açıkçası, hepsine aynı anda sahip olamazsınız. Bu durumda, sisteminizin sonucu üzerinde hesaplanabilecek objektif metrikleri kullanmalısınız. ( Görüntü işleme için bkz. Imatest , DXO analizörü ).

Bunlara sahip olduğunuzda, ödünleşmelerden (kullanıcıya açık olan) iç parametrelere bir eşleme oluşturabilen çok amaçlı optimizasyon yöntemleri vardır.

Her durumda, kullanıcıya asla anlayamayacağı bir parametre vermemelisiniz. Hepsi başarısız olursa, parametreyi kodlayın.

Bu gerçekten, gerçekten zor bir problem, ama bölgede iyi bir iş var. Bir örnek olarak, SURE yaklaşımı hakkında Ramani & Fessler tarafından hazırlanan bu makaleye bir göz atın . Giriş, parametre seçim yöntemlerine büyük bir genel bakışa sahiptir, referanslarını kontrol ettiğinizden emin olun.