Veri bilim adamları Excel kullanıyor mu?

Kendimi bir seyahatçi veri bilimcisi olarak kabul ediyorum. Çoğu gibi (sanırım) ilk çizelgemi yaptım ve ilk toplanmalarımı lise ve üniversitede Excel kullanarak yaptım. Kolejden, yüksek lisans okulundan ve ~ 7 yıllık iş deneyimimden geçerken, SQL, R, Python, Hadoop, LaTeX, vb. Gibi daha gelişmiş araçlar olarak düşündüğüm şeyi hemen aldım.

Bir veri bilimci pozisyonu için röportaj yapıyoruz ve bir aday 15 yaşından büyük bir deneyime sahip olan kendisini “kıdemli veri bilimcisi” (bugünlerde çok soğuk bir terim) olarak tanıtıyor. Tercih ettiği araç setinin ne olduğu sorulduğunda, Excel olduğuna cevap verdi.

Bunu, özgeçmişinin iddia edebileceği kadar tecrübeli olmadığı, ancak emin olamadığının kanıtı olarak aldım. Sonuçta, sadece benim tercih ettiğim araç olmadığı için, başkalarının olmadığı anlamına gelmez. Deneyimli veri bilimcileri Excel kullanıyor mu? Öncelikle Excel kullanan birinden deneyim eksikliği olduğunu varsayabilir misiniz?

Teknik olmayan kişilerin çoğu Excel'i veri tabanı değişikliği olarak kullanır. Bence bu yanlış ama tolere edilebilir. Bununla birlikte, veri analizinde deneyimli olan bir kişi basitçe Excel'i ana aracı olarak kullanamaz (verilere ilk kez bakma görevi dışında). Bunun nedeni, Excel'in bu tür bir analiz için hiçbir zaman amaçlanmadığı ve bunun bir sonucu olarak, Excel'de hata yapmak inanılmaz derecede kolaydır (başka araçlar kullanırken başka tür hatalar yapmanın inanılmaz derecede kolay olmadığı söylenemez). Excel durumu daha da ağırlaştırır.)

Excel'in sahip olmadığı ve herhangi bir analiz için bir zorunluluk olduğunu özetlemek için:

1. Yeniden üretilebilirlik. Bir veri analizi tekrarlanabilir olmalıdır.
2. Sürüm kontrolü İşbirliği için iyi ve tekrarlanabilirlik için iyi. Xls kullanmak yerine, csv kullanın (hala çok karmaşık ve çok sayıda uç durum var, ancak csv ayrıştırıcıları bugünlerde oldukça iyi.)
3. Test yapmak. Testleriniz yoksa, kodunuz bozulur. Kodunuz bozulursa, analiziniz yararsızdır.
4. İdame.
5. Doğruluk, kesinlik. Sayısal doğruluk, kesin tarih ayrıştırma, diğerleri arasında Excel'de gerçekten yoksundur.

Daha fazla kaynak:

Avrupa Elektronik Tablo Riskleri Faiz Grubu - Korku Hikayeleri

Önemli işler için bir elektronik tablo kullanmamalısınız (Demek istediğim)

Microsoft'un Excel'i Gezegendeki En Tehlikeli Yazılım Olabilir

Verilerinizi Bu Bir Tuhaf Numara ile Excel Kullanarak Yok Edin!

Excel elektronik tablolarını doğru elde etmek zor

Deneyimli veri bilimcileri Excel kullanıyor mu?

Excel'i tercih eden veya iş yerlerinin işletme ve BT ortamına özgü özellikleri nedeniyle (örneğin, pek çok finansal kuruluş en azından modelleme için en büyük aracı olarak Excel'i kullanıyor), Excel kullanan bazı deneyimli veri bilimcileri gördüm. Ancak, çoğu deneyimli veri bilim adamının belirli görevler için en uygun araçları kullanma ihtiyacını tanıdıklarını ve bu yaklaşıma uyduklarını düşünüyorum.

Öncelikle Excel kullanan birinden deneyim eksikliği olduğunu varsayabilir misiniz?

Hayır yapamazsın. Bu yukarıda bahsettiğim düşüncelerimin sonucu. Veri bilimi otomatik olarak büyük veri anlamına gelmez - Excel'in oldukça iyi bir şekilde idare edebileceği çok sayıda veri bilimi çalışması vardır. Bir veri bilimcisi (hatta deneyimli biri olsa bile), büyük veri odaklı olanlar da dahil olmak üzere modern veri bilimi araçlarının bilgisine (en azından temel) sahip değilse, bu biraz rahatsız edicidir. Bunun nedeni, keşifsel veri analizinin gerekli ve hatta bunun çok önemli bir parçası olmasından dolayı, deneylerin veri biliminin doğasına derinden gömülü olmasıdır. Bu nedenle, kendi alanlarındaki diğer araçları keşfetmeye istekli olmayan bir kişi, bir veri bilimi konumuna genel olarak uygun adaylar arasında daha düşük rütbeli olabilir (elbette, bu, bazı insanlar öğrenmede çok hızlı olduğu için, oldukça bulanık. yeni malzeme, artı

Bu nedenle, sonuç olarak, deneyimli bir veri bilimcisinin tercih ettikleri araçla ilgili olarak bir soruya sorması gereken en iyi cevabın şu olduğunu düşünüyorum: Tercih edilen aracım en uygun olanı, yani eldeki işe en uygun olanı.

Bence çoğu insan iyi bir excel bilgisine sahip olmadan cevap veriyor. Excel'in (2010'dan beri) güç pivot (csv / veritabanlarından giriş yapılmasına izin veren vb.) Olarak adlandırılan ve milyonlarca satır saklayabilmesini sağlayan (elektronik tabloya yüklenmesi gerekmez) bir bellek sütununda [çoklu masa] veritabanı vardır . Ayrıca, güç sorgusu adı verilen ve çeşitli kaynaklardan (hadoop dahil) verileri okumanızı sağlayan bir ETL aracı vardır. Ve bir görselleştirme aracı (güç görünümü ve güç haritası) vardır. Birçok veri bilimi, power pivot'un üstün olduğu toplama ve en üst düzey analizleri yapıyor. Buna, bu araçların etkileşimli doğasını ekleyin - herhangi bir kullanıcı, sonuçları kıracağınız bir boyutu kolayca sürükleyip bırakabilir ve bunun yararlarını göreceğinizi umuyorum. Yani evet, makine öğrenmesi yapamazsınız

Data Smart adlı kitabında John Foreman, Excel kullanarak ortak veri bilimi problemlerini (kümeleme, naif baylar, topluluk yöntemleri, ...) çözüyor. Gerçekten de, Python veya R hakkında biraz bilgi sahibi olmak her zaman iyidir, ancak Excel'in hala işin çoğunu yapabileceğini düşünüyorum!

Yapılacak gerçek iş yerine, kaç kişinin mesleğin serinliğine bağlı olduğuna şaşırdım. Excel, ücretsiz Powerpivot, Powerquery ile mükemmel bir araçtır, çok yapabilir. (bunlar OS X'te mevcut değildir). Ve eğer VBA'yı tanıyorsanız, bazı güzel şeyler yapabilirsiniz. Ve eğer bu python bilgisinin üstüne eklerseniz, veri çıkarma ve manipülasyonun ilk adımlarını python ile birleştirebilir ve daha sonra özellikle görsel bir kişiyseniz excel kullanabilirsiniz. Excel ile başka işlemlere başlamadan veya görselleştirmeden önce toplu verileri gerçekten inceleyebilirsiniz. Onun bir zorunluluk aracı var.

Excel yalnızca çok küçük verilere izin verir ve makine öğrenmesi ve hatta sadece çizim yapmak için yeterince kullanışlı ve esnek bir şey içermez. Excel'de tek yapabileceğim, gözle görülebilir bir şeyi kaçırmamamı sağlamak için değerler üzerinde ilk bakışta veri alt kümesine bakmak.

Bu nedenle, en sevdiği araç Excel ise, bu durum nadiren makine öğrenmesi, istatistik, daha büyük veri boyutları veya herhangi bir gelişmiş çizim ile ilgilenebileceğini önerebilir. Böyle birisine Veri Bilimcisi demeyeceğim. Tabi ki unvanlar önemli değil ve bu sizin gereksinimlerinize çok bağlı.

Her durumda, tecrübe veya özgeçmiş beyanları ile karar vermeyin. Özgeçmişleri gördüm ve arkasındaki insanları tanıdım.

Farz etme. Test et onu! Bir test hazırlayacak kadar iyi olmalısın. Becerilerin belirlenmesinde yalnız görüşmelerin işe yaramaz olduğu gösterilmiştir (sadece kişilik gösterirler). Çok basit bir denetimli öğrenme testi yapın ve istediği herhangi bir aracı kullanmasına izin verin.

Ve önce bir röportajda insanları taramak istiyorsanız, o zaman ona istatistikler veya makine öğrenmesi hakkında çok temel fakat önemli görüşler hakkında sorular sorun. Mevcut çalışanlarınızın her birinin bildiği bir şey.

Öncelikle, bir programcı ve veritabanı geliştiricisi açısından veri bilimine yolculuğuma başladığımı açıklığa kavuşturmama izin verin. Ben 10 yıllık bir veri bilimi uzmanı veya istatistiksel bir tanrı değilim. Bununla birlikte, dünya çapında oldukça büyük müşterileri ile çalışan bir şirket için veri uzmanı ve büyük veri setleri veriyorum.

Tecrübelerime göre, veri bilimcisi işi yapmak için ihtiyaç duydukları araçları kullanıyor. Excel, R, SAS, Python ve daha fazlası, iyi veri bilimci için bir araç kutusundaki araçlardır. En iyisi, verileri analiz etmek ve sıkıştırmak için çok çeşitli araçlar kullanabilir.

Bu nedenle, R'yi Python ile karşılaştırırken bulursanız, o zaman muhtemelen veri bilimi dünyasında her şeyi yanlış yapıyorsunuzdur. İyi veri bilimcileri, ikisini birden diğerine kullanmanın mantıklı olduğu durumlarda kullanırlar. Bu aynı zamanda Excel için de geçerlidir.

Her şeyde harika iken birçok farklı araç ve dilde deneyime sahip birini bulmak oldukça zor. Ayrıca sadece karmaşık algoritmaları programlamakla kalmayıp aynı zamanda istatistiksel bir bakış açısıyla nasıl kullanılacağını da bilen veri bilimci bulmanın zor olacağını düşünüyorum.

Çalıştığım veri bilimcisinin çoğu yaklaşık 2 lezzetle geliyor. Programlayabilenler ve yapamayanlar. Python'da veri çekebilen, Pandas gibi bir şeyle işleyebilen, R'deki verilere modelleyen ve ardından hafta sonunda yönetime sunan veri bilimcisi ile nadiren çalışıyorum.

Yani, onların var olduğunu biliyorum. Web kazıyıcıları geliştiren, Hadoop'a iten, Python'da geri çeken, karmaşık şeyleri programlayan ve önyüklemek için R üzerinden çalıştıran birçok veri bilimi blogunu okudum. Onlar var. Dışarıdalar. Sadece hepsini yapabilen çok fazla şey yaşamadım. Belki de sadece benim alanım?

Yani, bu sadece kötü bir konuda uzmanlaşmak anlamına mı geliyor? Hayır. Çok sayıda arkadaşım sadece bir ana dilde uzmanlaşıp onu öldürüyor. Sadece R'yi tanıyan ve öldüren birçok veri adamı tanıyorum. Ayrıca veriyi analiz etmek için Excel'i kullanan çok sayıda insan tanıyorum, çünkü çoğu veri dışı bilim insanının açabileceği ve kullanabileceği tek şey (özellikle B2B şirketlerinde). Gerçekten cevaplamanız gereken soru, eğer bu pozisyon için ihtiyacınız olan TEK şey mi? Ve en önemlisi, yeni şeyler öğrenebilirler mi?

PS

Veri Bilimi sadece "BÜYÜK VERİLER" veya NoSQL ile sınırlı değildir.

Excel, keşfedici veri analizi için mükemmel bir araç olabilir, bu gerçekten sizin ihtiyaçlarınıza bağlıdır ve elbette herhangi bir araç gibi sınırlamaları vardır, ancak excel, kesinlikle veri biliminde ün şöhretindeki bir yeri hak ediyor.

Uygulamada çoğu kullanıcının yine de (bir SQL sorgusu üzerinden oluşturulan) büyük ölçüde azaltılmış bir veri kümesi araştıracağını hatırlamakta fayda var.

Excel, "tablo" nesnesini pivot tablolarla birlikte kullandığınızda verileri keşfetmek için güçlüdür, görselleştirme en fazla 1-2 tıklamadır ve powerpoint'te çok sayıda excel çizelgesi mükemmel görünür, örneğin çok özel bir ürün oluşturmak istemediğiniz sürece bilimsel bilgi işlem içeriği. Etkileşimli doğa, hızla keşfedebileceğiniz anlamına gelir.

"Table" nesnesinin faydaları, yeni dağıtımları keşfetmenizi sağlamak için excel'deki verileri daha fazla dönüştürdüğünüzde, pivot tabloların tümü değişkeni hatırlar.

Excel'in zayıf olduğu yerde, formül listesinin tartışmasız bir şekilde sınırlandırılması söz konusudur, örneğin, bir SQL case ifadesi veya python statüsü if fonksiyonlarının sonsuz bir zincirinden çok daha esnektir.

Bu gerçekten sizin ihtiyaçlarınıza bağlıdır, ancak excel kesinlikle veri biliminde ün şöhretindeki bir yeri hak ediyor.

İlginç fıkra, Facebook haber besleme algoritması üzerinde çalışan ekibin düzenli olarak excel ve çok sayıda elektronik tablo ile oynadığı görülebilir.

SQL ve Excel içeren bir Business Analytics kursunu öğretiyorum. Bir işletme okulunda öğretmenlik yapıyorum, böylece öğrencilerim teknik açıdan en yetenekli değil, bu yüzden R, Panda veya Weka gibi bir şey kullanmadım. Olduğu söyleniyor, Excel bazı veri analizi için kullanmak için yeterince güçlü bir araçtır. Bu madenciliğin çoğunu Veri Madenciliği Eklentisini kullanarak SQL Server Analiz Hizmetlerine (SQL Server'da veri analizi için bir bileşen) ön uç gibi davranma yeteneğinden alır.

SSAS karar ağaçları oluşturmanıza, doğrusal ve lojistik regresyonlar gerçekleştirmenize ve hatta bayes ya da sinir ağları oluşturmanıza izin verir. Excel'i ön uç olarak kullanmanın, daha önce Excel kullandıklarından, bu tür analizleri yapmak için daha az tehdit edici bir yaklaşım olduğunu öğrendim. Excel olmadan SSAS kullanmanın yolu Visual Studio'nun özel bir versiyonundan geçiyor ve bu kullanıcı için en kullanıcı dostu araç değil. Power Query ve Power Pivot gibi birkaç Excel aracıyla birleştirdiğinizde, oldukça karmaşık bir veri analizi yapabilirsiniz.

Tam Açıklama, gelecek sene kursun yeni versiyonunu öğrettiğimde muhtemelen tekrar kullanmayacağım (biri veri analizine daha yoğun bir şekilde odaklanabilmemiz için iki kursa ayrılıyoruz). Ancak bunun nedeni, üniversitenin Alteryx için kullanımı daha kolay ve daha güçlü, ancak bir şekilde ücretsiz olamıyorsanız 4-85k $ / kullanıcı / yıl olan yeterli lisans alabilmesidir. Excel hakkında ne yapacağınızı söyleyin, ancak bu fiyat noktasını atıyor.

Excel mükemmel bir araç olabilir. Tabii ki, yaptığınız işe bağlı olarak, faturaya uymayabilir, ancak eğer öyleyse, reddetmek neredeyse aptalca olur. Boru hattınızı ayarlamak biraz zaman alırken, Excel'de toprağı hemen hemen çalıştırabilirsiniz: dahili UI, Pyba ile bile VBA üzerinden kolayca genişletilebilir (örneğin, https://www.xlwings.org ). Sürüm kontrolü gibi şeyler söz konusu olduğunda ideal olmayabilir, ancak Git ile çalışmasını sağlamanın yolları vardır (örneğin, https://www.xltrail.com/blog/auto-export-vba-commit-hook ).

Bu bireysel 'Büyük Veri' ile çalışıyor ve öncelikle Excel kullanıyor? Ciddi anlamda?!?! Excel, tek bir e-tabloda yalnızca 1, 048, 576 satıra kadar veri işleyebilir. Bunun ötesindeki veri setleri için bir eklentiye ihtiyacı var. Ayrıca Excel'deki pivot tabloların, bunları kullanarak gerçekleştirilebilecek analiz üzerinde ciddi kısıtlamaları vardır.

Çalıştığınız işte ne tür veri analitiği görevlerine ihtiyaç duyulur?

Göz önünde bulundurulacak işte yapılması gerekecek görev türlerinin testlerini içeren röportajlar yapmanızı öneririm. Gizlilik, gizlilik veya veri koruması ihlal edilmeksizin, görüşmenin bir parçası olarak ayarlanan programlama veya veri analizi görevi, görüşülen gönderi ile ilgili bir veri kümesinin (takma) alt kümesini içermelidir. Aksi halde, konuşmaya dayalı bir mülakatta açıkça ifade edilen ancak asıl işi yerine getirme konusunda yetkin olmayan birini işe almaya başlayabilirsiniz.