Optunity'nin baş geliştiricisi olarak iki sentimi ekleyeceğim.
Optunity'yi gerçek dünya sorunları üzerinde en popüler Bayes çözücülerle (örn., Hipermetrop, SMAC, bayesopt) karşılaştıran kapsamlı testler yaptık ve sonuçlar PSO'nun aslında birçok pratik durumda daha az verimli olmadığını gösteriyor. SVM sınıflandırıcılarını çeşitli veri kümelerinde ayarlamayı içeren karşılaştırmamızda, Optunity aslında hipermetrop ve SMAC'dan daha etkilidir, ancak BayesOpt'tan biraz daha az verimlidir. Sonuçları burada paylaşmak isterim, ancak Optunity nihayet JMLR'de yayınlanana kadar bekleyeceğim (bir yıldan uzun bir süredir inceleniyor, bu yüzden nefesinizi tutmayın ...).
Belirttiğiniz gibi, artan verimlilik Bayesian optimizasyonu için yaygın olarak kullanılan bir satış noktasıdır, ancak pratikte yalnızca temel vekil modellerin varsayımları önemsiz olmaktan uzak olduğunda su tutar. Deneylerimizde, Optunity'nin çok basit PSO çözücüsü, işlev değerlendirmeleri sayısı açısından karmaşık Bayesci yaklaşımlarla çoğu zaman rekabetçidir. Bayes çözücüler iyi önceliklerle sağlandıklarında çok iyi çalışırlar, ancak önceden bilgilendirici olmayanlar ile verimlilik açısından PSO gibi meta-sezgisel yöntemlere göre neredeyse hiçbir yapısal fayda yoktur.
PSO için büyük bir satış noktası, büyük ölçüde paralel olması. Bayes optimizasyonunun doğası gereği ardışık yapısı nedeniyle paralel hale getirilmesi genellikle zordur (hipermetrop uygulaması tek gerçek istisnadır). Norm haline gelen dağıtım fırsatları göz önüne alındığında, Optunity hızla iyi çözümler elde etmek için duvar saati zamanında liderlik alıyor.
Optunity ve diğer birçok özel hiperparametre optimizasyon kütüphanesi arasındaki bir diğer önemli fark hedef kitledir: Optunity en basit arayüze sahiptir ve makine dışı öğrenme uzmanlarına yöneliktir, diğer kütüphanelerin çoğu da etkin bir şekilde kullanmak için Bayesian optimizasyonunun biraz anlaşılmasını gerektirir (ör. uzmanlara yönelik).
Kütüphaneyi oluşturmamızın nedeni, özel hiperparametre optimizasyon yöntemlerinin mevcut olmasına rağmen, uygulamada benimsenmemeleri. Çoğu insan ya hiç ayarlama yapmıyor, manuel olarak yapıyor ya da ızgara ya da rastgele arama gibi naif yaklaşımlarla. Bize göre, bunun temel bir nedeni, Optunity'i geliştirmeden önce mevcut kütüphanelerin kurulum, dokümantasyon, API açısından kullanımı çok zor olması ve genellikle tek bir ortamla sınırlı olmasıdır.