Örüntü tanıma görevlerinde son teknoloji topluluk öğrenme algoritması?


14

Bu sorunun yapısı şöyledir: ilk olarak, topluluk öğrenme kavramını sağlarım , ayrıca örüntü tanıma görevlerinin bir listesini veririm, daha sonra topluluk öğrenme algoritmalarına örnekler veririm ve son olarak sorumu tanıtırım. Tüm ek bilgilere ihtiyaç duymayanlar sadece başlıklara bakabilir ve doğrudan soruma gidebilirler.


Topluluk öğrenimi nedir?

Wikipedia makalesine göre :

İstatistik ve makine öğreniminde, topluluk yöntemleri , yalnızca kurucu öğrenme algoritmalarından herhangi birinden elde edilebileceğinden daha iyi tahmin performansı elde etmek için çoklu öğrenme algoritmaları kullanır . Genellikle sonsuz olan istatistiksel mekanikteki istatistiksel bir topluluğun aksine , bir makine öğrenimi topluluğu sadece alternatif sonlu somut bir dizi modeli ifade eder, ancak tipik olarak bu alternatifler arasında çok daha esnek bir yapının var olmasına izin verir.


Örüntü tanıma görevlerine örnekler:


Topluluk öğrenme algoritmalarına örnekler:

PR görevleri için kullanılan aşağıdaki öğrenme algoritmaları (Wiki'ye göre):

Topluluk öğrenme algoritmaları (çoklu öğrenme algoritmalarını bir araya getirmek için denetimli meta algoritmalar):

  • Boosting (öncelikleönyargıyıazaltmak içinbir makine öğrenme topluluğumeta-algoritmasıve ayrıcadenetimli öğrenmedevaryansve zayıf öğrenicileri güçlü olanlara dönüştüren bir makine öğrenme algoritmaları ailesi)

  • Bootstrap toplama (" torbalama ") (istatistiksel sınıflandırmaveregresyondakullanılan makine öğrenme algoritmalarının kararlılığını ve doğruluğunu artırmak için tasarlanmış bir makine öğrenme topluluğu meta algoritması).

  • Topluluk ortalaması (birden fazla model oluşturma ve bunları tek bir model oluşturmanın aksine, istenen çıktıyı üretmek için birleştirme işlemi. Genellikle bir model topluluğu, her modelden farklıdır, çünkü modellerin çeşitli hataları "ortalama" dır. )

  • Uzman karışımı, hiyerarşik uzman karışımı

Farklı uygulamalar

  • Sinir ağlarının toplulukları ( bireysel modellerin sonuçlarının ortalamasını alarak karar veren bir dizi sinir ağı modeli).
  • Rastgele orman (çok sayıda oluşturarak faaliyet sınıflandırma, regresyon ve diğer görevler için bir topluluk öğrenme yöntemi,karar ağaçlarızaman yetiştirmeyi ve bir sınıfını çıkışımodubireyin sınıfları (sınıflandırma) ya da ortalama tahmini (regresyon) arasında ağaçlar).
  • AdaBoost (diğer öğrenme algoritmalarının çıktısı ('zayıf öğrenenler') artırılmış sınıflandırıcının nihai çıktısını temsil eden ağırlıklı bir toplamda birleştirilir).

Bunlara ek olarak:

  • Farklı sınıflandırıcıları birleştirmek için bir sinir ağı kullanan yöntemler
  • Yetkinlik alanları yöntemi

Benim sorum

Which of the ensemble learning algorithms is considered to be state-of-the-art nowadays and is actually used in practice (for face detection, vehicle registration plates recognition, optical character recognition, etc.) by enterprises and organizations? Using ensemble learning algorithms is supposed to increase recognition accuracy and lead to a better computational efficiency. But, do matters stand this way in reality?

Hangi topluluk yöntemi, potansiyel olarak, örüntü tanıma görevlerinde daha iyi sınıflandırma doğruluğu ve performansı gösterebilir? Belki de, bazı yöntemler şimdi modası geçmiş ya da etkisiz olduğunu göstermiştir. Topluluk yöntemlerinin artık bazı yeni algoritmaların gücünde kullanılma eğiliminde olması da mümkündür. Alanında tecrübesi olan veya bu alanda yeterli bilgiye sahip olanlar, konuların açıklığa kavuşturulmasına yardımcı olabilir misiniz?


Son zamanlarda duyduğum şey, insanların XGBoost'u sevmesi ve birkaç Kaggle yarışmasında gerçekten etkileyici bir performans göstermesidir.
Sangwoong Yoon

Cevap kısa: en iyi CV puanını veren cevap. Genellikle istif
Alexey Grigorev

Bir topluluk modelinin başarısı ve başarısızlığı topluluk üyesi modellerinin bir fonksiyonudur ve verilerin niteliği. Topluluk çalışıyor çünkü üye modeller bir çeşit çeşitlilik sağlıyor. Hem topluluğunuza koyduğunuz bu modellerin hem de söz konusu veri kümesinin özellikleri olmadan sorunuz muhtemelen cevapsızdır.
horaceT

Yanıtlar:


9

En gelişmiş algoritmalar endüstride üretimde kullanılanlardan farklı olabilir. Ayrıca, ikincisi, akademisyenlerin yaptıklarından daha iyi çalışması için daha temel (ve genellikle daha yorumlanabilir) yaklaşımların ince ayarına yatırım yapabilir.

Örnek 1: TechCrunch'a göre , Nuance bu eylül ayında Dragon konuşma tanıma ürünlerinde "derin öğrenme teknolojisini" kullanmaya başlayacak.

Örnek 2: Chiticariu, Laura, Yunyao Li ve Frederick R. Reiss. "Kural Tabanlı Bilgi Çıkarma Öldü! Yaşasın Kural Tabanlı Bilgi Çıkarma Sistemleri!" EMNLP'de, hayır. Ekim, sayfa 827-832. 2013. https://scholar.google.com/scholar?cluster=12856773132046965379&hl=tr&as_sdt=0,22 ; http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

resim açıklamasını buraya girin

Bununla birlikte:

Topluluk öğrenme algoritmalarından hangilerinin günümüzde son teknoloji olarak kabul edildiği

Görüntü sınıflandırması için en gelişmiş sistemlerden biri, toplulukla (bildiğim kadarıyla diğer birçok sistem gibi) hoş bir kazanç elde ediyor: O, Kaiming, Xiangyu Zhang, Shaoqing Ren ve Jian Sun. "Görüntü tanıma için derin öğrenme." arXiv baskı öncesi arXiv: 1512.03385 (2015). https://scholar.google.com/scholar?cluster=17704431389020559554&hl=tr&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

resim açıklamasını buraya girin


3

SLAM gibi çok özel görevler dışında, derin öğrenmenin bilgisayar görüşünün alt alanlarının çoğunda (sınıflandırma, algılama, süper çözünürlük, kenar algılama, ...) hemen hemen en son teknoloji olduğunu söyleyebilirim. derin öğrenme henüz mevcut yöntemlerle aynı değildir.

Genellikle rekabet ağlarını kazanmak için birkaç ekstra yüzde elde etmek için ortalamalar kullanılır, ancak ağlar o kadar iyi oluyor ki artık o kadar önemli değil.

Üretimde tamamen farklı. Büyük şirketler genellikle etkili olduğu kanıtlanmış olan eski algoritmalara güvenmektedir ve uzmanların bunları kullandığı ve yıllarca uyguladıkları bilgiye sahiptir.
Ayrıca yeni bir algoritmayı tedarik zincirine entegre etmek çok zaman gerektirir. Bazı kamera şirketlerinin hala yüz tespiti için Viola Jones dedektörü kullandığını düşünüyorum ve SIFT'in endüstrideki birçok uygulamada yoğun olarak kullanıldığını biliyorum.

Ayrıca, tehlikeli kara kutular olarak kabul edilen derin öğrenme yöntemlerine hala biraz şüphecidirler.
Ancak bu algoritmaların etkileyici sonuçları yavaş yavaş insanları bu konudaki fikirlerini değiştiriyor.

Yeni kurulan şirketler, fon alabilmek için yenilikçi çözümlere sahip olmaları gerektiği için bu çözümleri kullanmaya daha istekli.

Yirmi yıl içinde bilgisayar görüş tabanlı ürünlerin çoğunun, aralarında daha etkili bir şey keşfedilse bile derin öğrenme kullanacağını söyleyebilirim.
Kaiming He ResNets böylece hızlı değişiyor Franck'in cevabı derin öğrenmeye eklemek için değil devlet sanat artık bir Yoğun kıvnmsal Ağlar bağlı ve Geniş ve SGD yeniden başlatılmasına neden olan Derin ağlar bundan SOTA olan DÜZENLEME muhtemelen IMAGEnet çok ve hatta bu cifar ve SVHN ve 16 Eylül'de ILSVRC 2016 sonuçları ile birkaç gün içinde değişebilir.

MS-COCO ile ilgili daha gelişmiş sonuçlarla ilgileniyorsanız, en zorlu tespit veri seti Ekim ayında ECCV'de yayınlanacak.


1
Aslında, çift kontrol ettikten sonra, alıntıladığım makaleler Imagenet'teki sonuçlarından bahsetmiyor! Bu benim hatam! ama CIFAR ve SVHN'de çok daha üstün oldukları için bunun Imagenet'te aynı olması gerektiğini düşünüyorum ama asla bilemezsiniz. Sanırım ILSVRC sonuçlarını beklemek için bahsetmediler ama yanlış olabilir!
jean

1
@FranckDernoncourt bu sonuç çılgınlığı çok heyecan verici ama aynı zamanda bu alanda yayın yapmak isteyen insanlar üzerinde çok fazla baskı yaratabilir, bu da yazarın bugün NIPS'den çektiği bu rezil SARM makalesi gibi hatalara yol açabilir .
jean

Teşekkürler, evet bunu gerçekten gördüm, ancak bu makaleyi kontrol etme şansım olmadı… Tüm bu yeni ANN PDF'leri ile okuma listemi boşaltma konusunda sorun yaşıyorum: /
Franck Dernoncourt

Bu SARM geri çekilme olayı, istatistiklerdeki tekrarlanabilirlik krizini yeniden düşünmemi sağlıyor. İnceleme sürecinde ne kadar uygulama ayrıntısına ihtiyaç duyulacağı, ne kadar az olduğu vb.
horaceT

2

Sorunuzla ilgili bir çok şey var ve genellikle en iyi modeli bulmak, bunların çoğunun veriler üzerinde test edilmesini içerir. Teoride bir modelin daha doğru sonuçlar üretebilmesi, her zaman en düşük hataya sahip bir model üreteceği anlamına gelmez.

Bununla birlikte ... Sinir Ağı toplulukları, kara kutuyu kabul edebildiğiniz sürece çok doğru olabilir. Hem düğüm sayısına hem de katman sayısına göre değişiklik yapmak, verilerde çok fazla varyasyonu kapsayabilir, bu birçok modelleme faktörünün sunulmasıyla verilerin üzerine sığması kolay olabilir.

Rastgele Ormanlar nadiren en doğru sonuçları vermiştir, ancak güçlendirilmiş ağaçlar, aşırı uyum riski olmadan tartıştığınız AI görevlerinde olduğu gibi karmaşık ilişkileri modelleyebilir.

Biri, neden bu modellerin hepsini bir araya getirmenin değil, bu modelin bireysel modellerin olası güçlerinden ödün vereceğini düşünüyoruz. Yine bu muhtemelen bazı aşırı sığdırma sorunlarına yol açacaktır.

Hesaplama açısından verimli olan modeller farklı bir konudur ve çok karmaşık bir sinir ağı ile başlamam. Bir nöral ağı bir kriter olarak kullanmak, tecrübelerime göre, güçlendirilmiş ağaçlar kullanmak en verimli yöntemdi.

Bu benim deneyimlerime ve tartışılan modelleme türlerinin her birinin altında yatan teori hakkında makul bir anlayışa dayanıyor.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.