Sinir ağları - En çok benzer görselleri bulun

Python, scikit-learn ve keras ile çalışıyorum. Aşağıdakiler gibi 3000 binlerce ön yüzlü saat resmim var: Watch_1 , Watch_2 , Watch_3 .

Yukarıdaki fotoğraflardan daha az ideal koşullarda (farklı arka plan rengi, daha koyu yıldırım vb.) Alınan gerçek bir saatin fotoğrafını girdi olarak alan bir program yazmak ve 3000 saat arasında en benzer saatleri bulmak istiyorum. Benzerlikle, bir girdi olarak ince dantelli yuvarlak, kahverengi bir saatin fotoğrafını verirsem, yuvarlak şekilli, koyu renkli ve ince dantelli bir çıkış saatleri olarak bekliyorum.

Bunu yapmak için en verimli makine öğrenme algoritması nedir?

Örneğin, bu bağlantıyı takip ederek aklımda iki farklı çözüm var:

1) Bir CNN'yi özellik çıkarıcı olarak kullanmak ve bu görüntüler arasındaki mesafeleri giriş görüntüsüne referansla her görüntü çifti için karşılaştırın.

2) Siyam Sinir Ağında iki CNN kullanarak görüntüleri karşılaştırmak.

Bu iki seçenek bu görev için en iyi seçenek mi yoksa başka bir şey önerir misiniz?

Bu görev için önceden eğitilmiş sinir ağı (önceden belirlenmiş hiperparametrelerle) biliyor musunuz?

Bu konuda StackOverflow üzerinde bazı ilginç mesajlar buldum ama oldukça eski: Post_1 , Post_2 , Post_3 .

Yüksek seviyeli bir mimarinin en uygun olduğunu düşünmüyorum, ancak birçok faktöre ve ayrıntıya bağlı. İlk yaklaşımın farkında olduğumdan özellikle TiefVision'da yapılan ek adımlarla genişletildiğinde umut vericidir :

1. Görüntünün ilgili kısmını diğerlerinden ayırmak için ek bir sınırlama kutusu ağı kullanılır
2. Özellik vektörleri doğrudan karşılaştırılmakla kalmaz, daha çok üçüzler kullanarak bir karşılaştırma ağını eğitmek için kullanılır (daha fazla benzer örnek için özellik vektörlerine ve örneklere dayalı benzerliği öğrenme).

Bu çalışma, yayınladığınızdan çok daha yeni (2016/17) ve güzel bir araç seti ve daha ayrıntılı bir kağıtla birlikte geliyor .

Neden Deeplets olarak üçüz kullanıyorsunuz?

Yorumlarda belirtildiği gibi: Neden özellik vektörlerini öğrenmek ve mesafelerini hesaplamak yerine görüntü benzerliği için üçüz kullanılmalıdır? Üçüzler, temel olarak benzerlikle ilgilenmeyen özellik vektörlerini öğrenmek yerine benzerlik sorusunu bir öğrenme problemi olarak formüle etmenin bir yoludur. Bu yaklaşım, özellikle makine algısından farklı olabilecek insan tarafından algılanan benzerliğin önemli olduğu durumlarda anlamlıdır.

Üçüzler şu şekilde çalışır: 3 görüntü sağlarsınız. Biri ile karşılaştırılacak, biri benzer (yakın) ve diğeri çok benzer (uzak) görüntü. Bu eğitim / test / doğrulama verilerinizdir. Ağınızı bu örnekler üzerinde eğitmek ve genel olarak doğru sırayı tahmin etmek (benzer olmayan görüntülerden benzer şekilde sınıflandırmak) ağın görüntüleri benzerliklerine göre nasıl sipariş vereceğini öğrenmesini sağlar.

Sonuç olarak bu yaklaşım nispeten karmaşıktır. Değişim gerektirmiş olabilir, ancak siz de bunu yapmanın en iyi yolunu istediniz ve Deep Ranking çok yüksek hassasiyet değerleri elde ediyor.

Imagenet sınıflarında iyi çalışan VGG-16 gibi bir sınıflandırıcı seçerdim. Ardından saat görüntülerinizi içinden geçirin. Elbette, çıktının yüksek olasılıkla çoğunlukla "izlemesini" bekleyebilirsiniz.

Bununla birlikte, ekstra özellikler elde edersiniz: diğer tüm kategorilerin aktivasyon seviyesi. Bu, 0 ile 1 arasında bin değere sahip bir vektör verir.

Etkinleştirmeyi ağdaki çeşitli noktalardan da ayıklayabilirsiniz. Daha sonra bu aktivasyonların ve çıktıların benzerliği, ancak görüntüler benzer olduğunda iki durum arasında benzer olmalıdır.

Önce veri artırmaya odaklanırdım. Resimleriniz beyaz bir arka plana sahip olduğundan biraz daha kolay. Beyaz arka planı saydam bir arka plana dönüştürün, görüntüyü ölçeklendirin, döndürün ve hedef verilerinize benzer arka planlara yerleştirin.

Bunu farklı kombinasyonlarla birkaç kez yapın ve her saat için bir etiket bulundurun. O zaman sınıflandırma için düzenli bir evrişimli sinir ağı kullanmanızı öneririm. Her etiketin bir puanı olacak, en yüksek güvene sahip olanı seçin ve en benzer olanı seçin .

Örneğin, sınıflandırıcıyı bir resimle çalıştırdığınızı ve bu sonucu aldığınızı varsayalım:

Watch1: 0.51

Watch2: 0.30

Watch3: 0.25

CNN, Watch1'in giriş görüntüsündeki saat olduğuna% 51 güven duyduğunu söylüyor. Ama aynı zamanda doğru olan, daha benzer göründüğünü düşündüğü şeydir, Watch2 bir sonraki benzer ve benzeri olacaktır.

İyi sonuçlar alamıyorsanız, her zamanki gibi yapın. Parametreleri deneyin ve / veya daha fazla katman ekleyin. Nerede başarısız olduğunu bulmaya çalışın. Bu kavrayışa sahip olduktan sonra, probleminiz için daha özel bir evrişim ağı türü seçmek için kullanabilirsiniz. Bunu nasıl yapacağına dair önceden bilgi sahibi olmadan aramak doğru bir yaklaşım değildir. Temel bir evrişimsel modelle başlayıp oradan çalışmanızı öneririm.