İnternet şirketleri neden veri bilimci işi için Java / Python'u tercih ediyor?

Python / Java deneyimini isteyen veri bilimcileri için iş tanımında defalarca görüyorum ve R'yi göz ardı ediyorum. Aşağıda linkedin aracılığıyla başvurduğum bir şirketin baş veri bilimcisinden aldığım kişisel bir e-posta adresi.

X, İlgilendiğiniz ve bağlantı kurduğunuz için teşekkür ederiz. İyi Analytics Becerileriniz var. Bununla birlikte, tüm veri bilimcilerimiz Java / Python'da bir internet / mobil organizasyon olduğumuz ve yaptığımız her şey çevrimiçi olduğu için iyi programlama becerilerine sahip olmalıdır.

Baş veri bilimcisinin kararına saygı duymakla birlikte, Python'un R'nin yapamayacağı görevlerin neler olduğu konusunda net bir resim alamıyorum. Birileri detaylandırmak ister mi? Aslında biraz daha fazla bilgi edinmem şartıyla Python / Java'yı öğrenmek istiyorum.

Düzenleme: Quora hakkında ilginç bir tartışma buldum. Python neden veri bilimcileri için tercih edilen bir dil?

Düzen2: Makine Öğrenimi için Dil ve Kütüphanelerdeki Udacity Blog

Böylece kod tabanının kalanıyla bütünleşebilirsiniz. Görünüşe göre şirketiniz Java ve python karışımı kullanıyor. Sitenin küçük bir köşesinde makine öğrenmesi gerekiyorsa ne yapacaksınız; Verileri bir veritabanıyla veya önbellekle dolaştırıp R'ye bırakma vb. Neden hepsini aynı dilde yapmıyorsun? Daha hızlı, daha temiz ve bakımı kolaydır.

Yalnızca R’de çalışan herhangi bir çevrimiçi şirketi tanıyor musunuz? Hiçbirini yapmam...

Bütün bunlar Java'nın veri bilimini yapacağım son dil olduğunu söyledi.

Bunun gibi birçok neden olabilir:

1. İşgücü esnekliği: Bir Java / Python programcısı başka işlere veya projelere kolayca taşınabilir.

2. Adayların bulunabilirliği: Bol miktarda Java / Python programcısı var. Daha sonra kalifiye işçi olmadığını veya çok pahalı olduğunu bulmak için yeni bir programlama dili tanıtmak istemezsiniz.

3. Entegrasyon ve ETL: Bazen verileri doğru kalitede elde etmek projenin en zor kısmıdır. Bu nedenle, diğer sistemlerle aynı dili kullanmak doğaldır.

4. İşletme modeli tanımı: Çoğu işletme kuralları ve işletme modelleri zaten bu dillerde yazılmıştır.

5. Sadece işleri basit tutmak. Zaten teknolojilerle güncel olmak için yeterince zor. Farklı bir dil temeli kaotik olabilir. Bunun için R, bunun için Ruby, Scala, Clojure, F #, Swift, Dart ... Farklı sunuculara, farklı yollara, idare etmeye cehenneme ihtiyaçları olabilir. Hepsinde araçlar ve eklentiler içeren kendi IDE'leri vardır (her zaman ücretsiz değildir). Bob Amca'nın dil seçimi ve yeni teknolojiler hakkındaki bazı noktalarına bakın

Dolayısıyla, belirli bir görev için R'yi kullanarak% 5 -% 15 verimlilik avantajınız olsa bile, en verimli şekilde olmasa bile işi yapan bir aracı tercih edebilirler.

Genel olarak, veri bilimi ve istatistik alıştırmaları için R'nin en iyi ve en hızlı (özellikle data.tablepaketi kullanıyorsanız ) araç ve yöntemleri sunduğu, aksi takdirde Python'da uygulanması daha ağır olacağı doğrudur ( Python tarafından hepimiz Pandalar demek istiyoruz). ). Çoğu veri bilimcisi, modellerini ve hesaplamalarını yapmak için ya da sadece verinin nasıl davrandığını görmek için aslında R'yi kullanırlar.

Egzersiz tamamlandıktan sonra, onu kullanmak zorunda kalanların (yani konuşlandırmak için) diğer kişilerin kullanımına sunma zamanıdır; Bu amaç için genellikle Python’da iki ana nedenden dolayı kodun gönderilmesi tercih edilir:

1. Mimarilerin çoğu Python'da yazılmıştır veya Python'a uygundur, bu nedenle bu dilde yerel olarak yazılmış modelleri uygulamak daha kolay olacaktır.
2. R sözdizimi ve gramer oldukça karmaşıktır. Ben kendimden R’yi başka hiçbir şeyden çok daha fazla severim ancak sözdiziminin gerçekten kolay olmadığını ve öğrenilmiş bir öğrenme eğrisi olduğunu kabul etmek zorundayım.

Yukarıda belirtilenler, R kodu kolayca başka bir dile çevrilebilir, ancak metotlar, kütüphaneler ve paketler mevcutsa (Python'da çoğu problem vardır, bu yüzden hiç sorun olmaz) doğrudur. Çok sayıda altyapı ve veri tabanı, altta yatan R kodunu destekliyor, bu nedenle taşınabilirlik gerçekten bir sorun değil, özellikle de birinin hesaplamaların sonuçlarını sunması gerekiyorsa (bu kapsamda, hiç kimse altta yatan kodu gerçekten görmez).

Java, saf veri biliminin kendisi için neredeyse hiçbir işe yaramaz (Stanford Üniversitesi, Java'da hatırladığım kadarıyla Java'da yazılmış bir makine öğrenen NLP kütüphanesi koleksiyonuna sahip olmasına rağmen - ama kontrol edin). Gerekli olabilmesinin tek nedeni, şirketin geri kalanının büyük miktarlarda kullanması ve yeni bir şeyle değiştirmek istememesidir.

"Data Engineer" tipindeki rolleri için Data Scientist ünvanını kullanan birkaç şirket gördüm. Özellikle büyük veri alanlarında.

Eğer şirket Hadoop veya Spark gibi dağıtılmış bir çerçeve kullanıyorsa, o zaman Java veya Python (veya muhtemelen Scala) 'da analitiktir ve en mantıklı olan dillerdir.

Java

Java ile ilgili diğer afişlere katılmam gerek. Biri Java'da mapreduce işleri yazmak için gereken bazı noSQL veritabanları (hadoop gibi) vardır . Şimdi aynı sonucu elde etmek için HIVE kullanabilirsiniz .

piton

Python / R tartışması devam ediyor. Her ikisi de genişletilebilir dillerdir, bu nedenle potansiyel olarak her ikisi de aynı işleme yeteneğine sahip olabilir. Sadece R'yi biliyorum ve piton bilgim oldukça yüzeysel. Küçük bir işletme sahibi olarak konuşurken, işletmenizde çok fazla araç bulunmasını istemiyorsanız, aksi takdirde genel olarak derinlemesine bir eksikliği olacak ve onları desteklemekte zorluk çekeceksiniz. Takımda takım bilgisinin derinliğine ineceğini düşünüyorum. Eğer takım python'a odaklanmışsa, o zaman başka bir python veri bilimcisi işe almak, mevcut kod tabanı ve tarihi deney koduyla ilgilenebilecekleri için mantıklı olacaktır.

En azından şu anki ekibim için (~ 80 veri bilimcisi ve mühendis), böyle bir tercihimiz yok. Buradaki veri bilimcilerin yarısı R, bir diğer kısmı Python kullanıyor. Birçok kişi her ikisini de kodlayabilir. Üretimde Python ve R kodlarını kullanıyoruz.

Veri bilimcilerimizin hiçbirinin Java kullandığını sanmıyorum. Büyük verilerle uğraşmaları gerekiyorsa, SparkSQL veya PySpark'ı kullanabilirler. Veri mühendisliği ekibi Java / Scala / Python / Go'nun bir karışımını kullanıyor.

Küçük bir şirketteki az sayıdaki veri insanından biriyseniz, neden belirli dil becerilerine ihtiyaç duyduklarını anlayabiliyorum, böylece hem veri bilimi hem de mühendislik yapabilirsiniz. Ancak tbh, bence çoğu küçük şirket Python veya R'nin üretimde kullanamayacağı kadar büyük veriye sahip olmayacak.

Küçük bir R deneyimi olan genel amaçlı bir programcı olarak benim bakış açım: R, veri bilimi için mükemmel, ancak verileri elle yorumlayan insanlara yönelik. Sonuçları otomatikleştirilmiş bir şey için kullanmak istiyorsanız, başka bir şeyle arabirim kurmanız ve R gibi bir soruna özel bir dilde başka bir şey yapmanın zor olması gerekir. :) Öte yandan, python veri bilimi konularında hazır kütüphanelere sahip ve onunla başka bir şey yapmanın önüne geçmeyen genel amaçlı bir programlama dili. Java gelince, yüzbinlerce ila milyonlarca satır kod içeren büyük programlama projeleri için iyidir. Eğer veri bilimi bölümü bununla arayüze ihtiyaç duyuyorsa, o zaman Java'da her şeyi yapmak mantıklı gelebilir.

Rastgele whine: Neden her StackExchange sitesinde ayrı ayrı oturum açmak zorundayım?

Python'daki araçlar R'den sadece daha iyi. Thert topluluğu oldukça durgun, Python topluluğu gerçekten hızlı bir şekilde gelişiyor. Özellikle Veri Bilimi araçlarında.
Ayrıca Python etrafındaki her şeyle daha kolay çalışır. Web'i kolayca kazıyabilir, veritabanlarına bağlanabilirsiniz. Bu prototiplemeyi çok hızlı yapar.
Ve eğer çalışan bir prototipiniz varsa ve daha hızlı hale getirmek veya şirketin iş akışına entegre etmek için özen gösterirseniz, genellikle Java'da yeniden düzenlenir.

R'nin birkaç zarif aracı ve görselleştirmesi var, ancak içinde yeni şeyler inşa etmek o kadar da iyi değil.