Keşifsel veri analizi ve algoritmalar geliştirirken, zamanımın çoğunun görselleştirme, bazı kod yazma, küçük veri kümesinde çalıştırma, tekrarlama döngüsünde harcandığını görüyorum. Sahip olduğum veriler bilgisayar görme / sensör füzyon tipi şeyler olma eğilimindedir ve algoritmalar görme açısından ağırdır (örneğin nesne algılama ve izleme vb.) Ve raf dışı algoritmalar bu bağlamda çalışmaz. Bunun çok fazla yineleme aldığını (örneğin, algoritma türünü aramak veya algoritmadaki parametreleri ayarlamak veya bir görselleştirme hakkı elde etmek için) ve ayrıca küçük bir veri kümesinde bile çalışma sürelerinin oldukça uzun olduğunu görüyorum. hep birlikte biraz zaman alıyor.
Algoritma geliştirmenin kendisi nasıl hızlandırılabilir ve daha ölçeklenebilir hale getirilebilir?
Bazı özel zorluklar:
Yineleme sayısı nasıl azaltılabilir? (Esp. Özellikleri ne olursa olsun, ne tür bir algoritma farklı versiyonları denemeden ve davranışlarını incelemeden kolayca öngörülebilir görünmüyorsa)
Geliştirme sırasında daha büyük veri kümelerinde nasıl çalıştırılır? (Genellikle küçükten büyük veri kümesine gitmek, bir sürü yeni davranış ve yeni sorun görüldüğü zamandır)
Algoritma parametreleri nasıl daha hızlı ayarlanabilir?
Makine öğrenimi türü araçlarını algoritma geliştirmenin kendisine nasıl uygulayabilirim? (Örneğin, algoritmayı elle yazmak yerine, birkaç basit yapı taşı yazın ve bunları problemden öğrenilen bir şekilde birleştirin, vb.)