Bir düzlem tabloda birkaç nesne ile bir görüntü verilen bir algoritma uygulamaya çalışıyorum, istenen her nesne için segmentasyon maskeleri çıktı. CNN'lerin aksine, buradaki amaç, yabancı bir ortamda nesneleri tespit etmektir. Bu soruna en iyi yaklaşımlar nelerdir? Ayrıca, çevrimiçi olarak kullanılabilecek uygulama örnekleri var mı?

Edit: Üzgünüm, soru biraz yanıltıcı olabilir. "Bilmediğiniz ortam" ile kastettiğim, nesnelerin algoritma tarafından bilinmeyebilmesidir. Algoritmanın nesnenin ne olduğunu anlaması gerekmez, sadece nesneyi algılaması gerekir. Bu soruna nasıl yaklaşmalıyım?

Hızlı cevaplama

$O(n)$$O(n^2)$

Bazı açıklamalar

$K$$O(n)$$K$O eliptik kümeleri ve bulmak için tasarım çünkü -Ben başarısız DEĞİL rasgele şekil olanlar.

Tam tersine , rastgele şekillerle küme sayısını otomatik olarak bulabilen - ne aradığınızı bilmediğinizde faydalı - Ortalama Şekiller var .

$K$$K$

Görüntü segmentasyonu kümelenmesi için bir tavsiye

Renk alanınızı öklid mesafesi için daha iyi olan RGB'den LUV'a dönüştürün.

$K$

• $O(\alpha.n)$
• $O(\beta.n)$
• $\alpha \gt \beta$

Ortalama Vites LSH daha yavaştır, ancak ihtiyaçlarınıza daha iyi uyar. Hala doğrusal kalır ve ayrıca söz konusu uygulama ile ölçeklenebilir .

Not: Profil resmim, nasıl çalıştığını anlamaya yardımcı olabilirse, ortalama Shift LSH'nin kendimdeki bir uygulamasıdır.

CVPR 2018 için gönderilen ve kabul edilen bu çalışmaya bir göz atmanız gerekebilir: Her Şeyi Bölümlendirmeyi Öğrenme

Bu çalışmada, her şeyi, hatta ağ tarafından bilinmeyen nesneleri bile segmentlere ayırmaya çalışırlar. Maske R-CNN kullanılmıştır, bir transfer öğrenme alt ağı ile birlikte, neredeyse her şeyi segmentlere ayırmada çok iyi sonuçlar elde etmektedirler.

Görüntü segmentasyonu için en son teknoloji (SOTA) Facebook'un Mask-RCNN'si olacaktır .

Genellikle gerçek yaşam nesneleri içeren COCO veya Pascal gibi veri kümelerinde eğitilirken, gerçek ya da değil, seçtiğiniz bir veri kümesinde yeniden eğitilebilir.

Facebook , Apache2 lisansı altında bir uygulama ( Detectron ) sağlar. Bir şans ver!

Aslında, göreviniz denetlenir. Segnetuygulamalarından birine buradan erişilebilen amacınız için iyi bir mimari olabilir . SegNet, denetimli öğrenmeden piksel bazlı sınıf etiketlerini tahmin etmeyi öğrenir. Bu nedenle, karşılık gelen yer gerçeği etiketlerine sahip bir girdi görüntü veri kümesine ihtiyacımız var. Etiket görüntüleri kendi sınıfında ile etiketlenmiş her piksel tek kanallı olmalıdır ... .

Ayrıca, göreviniz için çok uygun olan Tam Konvolüsyon Ağlarına da bir göz atın .

Sorudaki düzenlemelere dayanarak, fazladan bilgi ekliyorum. Bu görev için uygulanabilecek çok sayıda yöntem vardır. Temel olarak en kolay olanı bir arka plan etiketi kullanmak ve arka plan olarak bilmediğiniz sınıfları belirtilen mimarileri kullanarak sınıflandırmaktır. Böylece, bu yaklaşımın muhtemel bir dezavantajı olan arka plan sınıfı için üst üste gelebilecek etiketler olacak, ancak avantajı, eğitimli etiketlerin girişlerde sıkça kullanıldığı durumlarda, mimarinin nispeten hafif bir sürümüne sahip olabilmenizdir. bilinmeyen sınıfları tanır.

Bu aradığınız bir şey olabilir. Segmentasyondan ziyade görüntü segmentasyonu istediğinden, görüntüdeki semantic / instanceher segment için etiketlemeye gerek olmadığını varsayıyorum.

Yöntem, scene-cutbir görüntüyü denetimsiz bir şekilde sınıf agnostik bölgelere bölen yöntem olarak adlandırılır . Bu, kapalı ortamlarda çok iyi çalışır.

Kağıt bağlantısı: arxiv

Kod: kod