Katkıda bulunmak için açık kaynaklı veri bilimi projeleri

Açık kaynak projelerine katkı genellikle yeni başlayanlar için biraz pratik yapmanın ve deneyimli veri bilimcileri ve analistleri için yeni bir alan denemenin iyi bir yoludur.

Hangi projelere katkıda bulunuyorsunuz? Lütfen Github'da bir giriş + bağlantısı sağlayın.

Julia projesi Ben aktif olarak gelişmiş bilgi işlem ve XGBoost kütüphaneleri dahil, katkıda biridir. Bu yüzden, toplumun bakımı ve kalitesi için kesinlikle kefil olabilirim.

Yeni başlayanların bile katkıda bulunabileceği gerçekten iyi açık kaynaklı veri bilimi projeleri şunlardır:

• Sklearn : Her zaman hızlı bir şekilde gelişmekte olan sklearn topluluğu her zaman yeni geliştiricilere ve katkıda bulunanlara açıktır.
• H2O : H2O, ölçeklenebilir makine öğrenimi ve Derin Öğrenme çözümleri üzerinde çalışan, hızla büyüyen bir başka veri bilimi projesidir.
• Go : Açık kaynak veri bilimi yol haritası ve kaynakları. Gerçekten teknik bir proje değil, mutlak yeni başlayanlar ve hevesli analistler için çok yararlı.
• Pylearn2 : Bir diğer hızlı büyüyen Makine Öğrenmesi ve Derin Öğrenme projesi.
• Vowpal Wabbit : Vowpal Wabbit (VW) projesi, Microsoft Research ve (önceden) Yahoo! Araştırma.

İşte bu tür projeler ve bu yanıtta bahsedilmeyen bazı Quora tartışmaları .

İşte Python'daki açık kaynaklı Veri Bilimi ve ML projeleri hakkında güzel bir tartışma .

Bunlardan bol miktarda var. Bunu yapmama izin verilip verilmediğini bilmiyorum (lütfen yanlış olup olmadığını bana bildirin), ancak bir tane geliştirdim ve git hub'da 2 yıldan fazla bir süredir var (aslında github'dan bir yıl önce başladı). Projeye rapaio denir, burada git hub'da ve son zamanlarda bunun için bir el kitabı yazmaya başladım (bazı arkadaşlarım bana bunu sordu). Kılavuz burada bulunabilir .

Java 8'de gelişmek istiyorsanız, kendinize herhangi bir araç yapmak istiyorsanız ve denemek isterseniz ihtiyaçlarınıza uyuyor. Uyguladığım sadece iki prensip var. İlki sadece ihtiyacınız olduğunda bir şeyler yazmak . Çünkü sadece bir araca ihtiyacınız olduğunda, çıktı, performans, bilgi açısından gerçekten ne istediğinizi bildiğinize inanıyorum. İkinci prensip sadece jdk'ye bağımlı olmanızdır, eğer bir şeye ihtiyacınız varsa onu yazacaksınız . Eski moda olduğumu kabul edebilirim, ancak istediğiniz herhangi bir özelliği bu şekilde özelleştirebilirsiniz.

Bunu bir aswer olarak yapma iznim yoksa, lütfen bana bildirin. Her ne kadar açık kaynaklı bir girişim olduğu için, kar türü proje olmayan insanlara bir şey vermekle birlikte , neden yapamadığımı görmüyorum.

Bu projeyi github'da kontrol edin: https://github.com/josephmisiti/awesome-machine-learning . Bazı kısa açıklamaları ile dile göre gruplandırılmış açık kaynaklı projelerin kapsamlı bir listesini içerir. Sanırım ihtiyaçlarınızı karşılayan bazılarını orada bulabilirsiniz.

ELKI (ayrıca GitHub'da ) veri madenciliği ve veri bilimi açık kaynak projesidir. Modüler mimarisi açısından benzersizdir: Hızlanma için algoritmaları, mesafe işlevlerini ve dizinleri çok az sınırlama ile birleştirebilirsiniz (elbette, mesafeleri kullanmayan algoritmalar mesafelerle birleştirilemez). Verimlilik nedeniyle en kolay kod değildir. Veri madenciliği için, bellek konusunda dikkatli olmanız gerekir - ArrayList<Integer>ölçeklenebilirlik istiyorsanız kullanmak hiç de kolay değildir.

Modüler mimari nedeniyle, tek mesafe fonksiyonu veya algoritma gibi sadece küçük modüllere katkıda bulunmak kolaydır.

Kabaca zorluklara göre gruplandırılmış veri madenciliği proje fikirlerinin bir listesini tutarız . Çoğu proje bir algoritmanın bazı varyantlarının uygulanmasıdır. ELKI, algoritmaların karşılaştırmalı çalışmalarına izin vermeyi amaçlamaktadır, bu nedenle herhangi bir kombinasyona izin vermeye çalışıyoruz ve ayrıca algoritma varyantlarını da kapsıyoruz. Örneğin k-araçlarında, sadece Lloyds algoritmasına değil, genel k-araç temasının 10 çeşidine sahibiz. 220'den fazla makale ELKI'de (en azından kısmen) yeniden uygulanmıştır.

Her şeyi aynı araçta uygulayarak çok daha karşılaştırılabilir sonuçlar elde ederiz. Kıyaslama için R kullanırsanız, genellikle elma ve portakalları karşılaştırırsınız. R'nin içindeki k-araçları aslında eski bir Fortran programıdır ve çok hızlıdır. k-R 'de, ancak "flexclust" paketinde 100x daha yavaştır, çünkü gerçek R kodunda yazılmıştır. Bu yüzden R ... 'de bir kıyaslamaya güvenmeyin, R modülleri uyumsuz olma eğilimindedir, bu nedenle ELKI'de B modülünden B algoritması ile A modüllerinden A mesafesini sık sık kullanamazsınız. bu tür eserleri azaltmak için uygulamalarda mümkün (elbette,% 100 adil bir kıyaslamaya sahip olmak asla mümkün olmayacaktır - her zaman optimizasyon için yer vardır), aynı zamanda modüllerin kolayca birleştirilmesine izin vermek.

Hartigan & Wong k-araç varyantı gibi küçük bir şeyle başlayabilir ve daha sonra küresel k-araçlara (farklı performans optimizasyonlarının gerekli olabileceği seyrek veriler içindir) devam edebilir ve kategorik veriler için daha iyi destek eklemeye devam edebilirsiniz; veya indeksleme işlevselliği ekleme.

Ayrıca ELKI için daha iyi bir kullanıcı arayüzü görmek isterim , ancak bu büyük bir çaba.

Platformlar arası görsel programlama araçlarını seviyorsanız, Turuncu bir seçenektir. Kısa bir süre önce Python 3'e taşındıktan sonra, henüz tüm widget'ları taşımadılar. PyData yığınını (NumPy, SciPy, SciKit Learn, ...) Python 3, PyQt, PyQtGraph'a getiriyor ve GitHub'da GPL'd .