Veri bilimcisi nedir?

Doktora programımdan son zamanlarda istatistiklerden mezun olduktan sonra son birkaç aydır istatistik alanında iş aramaya başladım. Neredeyse her şirkette " Data Scientist " ünvanı olan bir iş ilanı vardı . Aslında, çoktan gitmiş gibi hissetmek, İstatistik Bilimcisi ya da İstatistikçi iş unvanlarını görmenin günleriydi . Veri bilimcisi olmak, istatistikçi olmanın yerini aldı mı ya da merak ettiğim başlıklar mıydı?

İşlerin niteliklerinin çoğu, istatistikçi unvanına uygun niteliklere sahipti. Çoğu iş, istatistik ( ), en çok gerekli deneysel tasarım ( ), doğrusal regresyon ve anova ( ), genelleştirilmiş doğrusal modeller ( ) ve PCA ( ) gibi diğer çok değişkenli yöntemleri anlama konusunda doktora istedi. ve ayrıca R veya SAS ( ) gibi istatistiksel bir bilgi işlem ortamındaki bilgiler . Bir veri bilimcisi gibi görünüyor gerçekten istatistikçiler için sadece bir kod adıdır.✓ ✓ ✓ ✓ $\checkmark$$\checkmark$$\checkmark$$\checkmark$$\checkmark$$\checkmark$

Ancak, yaptığım her röportajda şu soruya başladım: "Makine öğrenme algoritmalarına aşina mısın?" Sık sık değil, kendimi büyük veriler, yüksek performanslı bilgi işlem ve sinir ağları, CART, vektör makinelerini destekleme, ağaçları artırma, denetlenmeyen modeller, vb. İle ilgili soruları denemek ve cevaplamak zorunda buldum. kalpte istatistiksel sorular, ancak her röportajın sonunda yardımcı olamadım, ancak bir veri bilimcisinin ne olduğu hakkında daha az şey bildiğimi hissediyorum.

Ben istatistikçiyim ama veri bilimcisi miyim? Bilimsel problemler üzerinde çalışıyorum, bu yüzden bilim adamı olmalıyım! Ayrıca verilerle çalışıyorum, bu yüzden bir veri bilimcisi olmalıyım! Ve Wikipedia'ya göre çoğu akademisyen benimle aynı fikirdeydi ( https://en.wikipedia.org/wiki/Data_science , vs.)

İş dünyasında "veri bilimi" teriminin kullanımı patlamış olsa da, birçok akademisyen ve gazeteci veri bilimi ile istatistik arasında bir fark görmüyor.

Fakat bir veri bilimci pozisyonu için tüm bu iş görüşmelerine devam edersem, neden bana asla istatistiksel sorular sormuyorlar gibi geliyor?

Son görüşmemden sonra iyi bir bilim adamının yapmasını istedim ve bu sorunu çözmek için veri aradım (hey, sonuçta veri bilimcisiyim). Bununla birlikte, birçok sayısız Google araması yapıldıktan sonra, bir veri bilimcisinin ne olduğunun tanımıyla bir kez daha boğuşuyormuşum gibi hissetmeye başladım. Bir veri bilimcisinin tam olarak ne olduğunu bildiğim için pek çok tanımı yoktu, ( http://blog.udacity.com/2014/11/data-science-job-skills.html , http: // www -01.ibm.com/software/data/infosphere/data-scientist/ ) ama herkes bana bir tane olmak istediğimi söylüyor gibiydi:

• https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
• http://mashable.com/2014/12/25/data-scientist/#jjgsyhcERZqL
• vb .... liste devam ediyor.

Günün sonunda, anladım ki "veri bilimcisi nedir" sorusu cevaplaması çok zor. Heck, Amstat'ta iki ay vardı, bu soruyu cevaplamaya çalışmak için zaman ayırdılar:

• http://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/
• http://magazine.amstat.org/blog/2015/11/01/statnews2015/

Şimdilik, veri bilimcisi olmak için seksi bir istatistikçi olmak zorundayım ama umarım çapraz onaylanmış topluluk biraz ışık tutabilir ve veri bilimcisi olmanın ne demek olduğunu anlamama yardımcı olabilir. Tüm istatistikçiler veri bilimcileri değil midir?

(Edit / Güncelleme)

Bunun sohbeti arttıracağını düşündüm. Amerikan İstatistik Kurumu'ndan Microsoft ile Veri Bilim Adamı arayan bir iş hakkında bir e-posta aldım. İşte link: Veri Bilimci Durumu . Bunun ilginç olduğunu düşünüyorum çünkü pozisyonun rolü, bahsettiğimiz birçok özel özelliğe dayanıyor, ancak bunların çoğunun, istatistiklerin yanı sıra aşağıda verilen cevapların çoğu ile çelişen çok titiz bir arka plan gerektirdiğini düşünüyorum. Bağlantının kesilmesi durumunda, Microsoft'un bir veri bilimcisinde aradığı özellikler şunlardır:

Temel İş Gereksinimleri ve Becerileri:

Analytics'i Kullanarak İş Etki Alanı Deneyimi

• Karmaşık işletme problemlerini kavramsallaştırmak için eleştirel düşünme becerilerinin kullanımında ve büyük ölçekli gerçek dünyadaki iş veri setlerinde gelişmiş analitik kullanarak çözümlerini ilgili birçok işletme alanında deneyime sahip olmalıdır.
• Aday, bağımsız bir şekilde analitik projeler yürütebilmeli ve şirket içi müşterilerimizin bulgularını anlamalarına ve işlerine fayda sağlamak için eyleme dönüştürmelerine yardımcı olmalıdır.

Tahmini Modelleme

• Tahmini modellemede endüstriler arasında deneyim
• Önemli problemleri ortaya çıkarmak ve sistem kapsamını tanımlamak için müşteri ile iş probleminin tanımı ve kavramsal modellemesi

İstatistik / Ekonometri

• Sürekli ve kategorik veriler için keşif veri analizi
• İşletme ve tüketici davranışları için yapısal model denklemlerinin belirlenmesi ve tahmini, üretim maliyeti, faktör talebi, kesikli seçim ve gerektiğinde diğer teknoloji ilişkileri
• Sürekli ve kategorik verileri analiz etmek için gelişmiş istatistiksel teknikler
• Zaman serileri analizi ve tahmin modellerinin uygulanması
• Çok değişkenli problemlerle çalışma konusunda bilgi ve tecrübe
• Model doğruluğunu değerlendirebilmek ve tanı testleri yapabilmek
• İstatistik veya ekonomik modelleri yorumlayabilme
• Kesikli olay simülasyonu oluşturma ve dinamik simülasyon modelleri hakkında bilgi ve tecrübe

Veri yönetimi

• Veri dönüşümü için T-SQL ve analitik kullanımına ve çok büyük gerçek dünya veri kümeleri için keşif veri analizi tekniklerinin uygulanmasına aşinalık
• Veri fazlalığı, veri doğruluğu, anormal veya aşırı değerler, veri etkileşimleri ve eksik değerler dahil veri bütünlüğüne dikkat.

İletişim ve İşbirliği Becerileri

• Bağımsız çalışın ve zorlu iş sorunlarına yenilikçi çözümler araştıracak sanal bir proje ekibiyle çalışabilir
• Ortaklarla işbirliği yapın, eleştirel düşünme becerileri uygulayın ve analitik projeleri baştan aşağı yönlendirin
• Hem sözlü hem de yazılı olarak üstün iletişim becerileri
• Analitik sonuçların görselleştirilmesi, çeşitli paydaşlar tarafından tüketilebilecek bir biçimde

Yazılım paketleri

• Gelişmiş İstatistik / Ekonometrik yazılım paketleri: Python, R, JMP, SAS, Eviews, SAS Kurumsal Madenci
• Veri keşfi, görselleştirme ve yönetim: T-SQL, Excel, PowerBI ve eşdeğer araçlar

Nitelikler:

• Minimum 5+ yıl ile ilgili deneyim gerekli
• Kantitatif alanda lisans üstü derecesi istenmektedir.

Henüz verilmemiş birkaç komik tanım vardır:

Veri Bilimcisi: Mac'te istatistik yapan biri.

Bunu sevdim, maddeden daha yutturmaca açısıyla iyi oynuyor.

Veri Bilimcisi: San Francisco'da yaşayan bir istatistikçi.

Benzer şekilde, bu tüm bunların Batı Yakası'ndaki lezzetini de etkiler.

Şahsen, tartışmayı (genel olarak ve burada) biraz sıkıcı ve tekrarlayıcı buluyorum. Ne istediğimi düşündüğümde --- belki çeyrek asır veya daha uzun bir süre önce - kantitatif analisti hedefledim. Bu hala ne yapıyorum (ve seviyorum!) Ve çoğunlukla burada çeşitli cevaplarda verilenleri örtüşüyor ve anlatıyor.

(Not: İkinci teklif için daha eski bir kaynak var ancak şu anda bulamıyorum.)

İnsanlar Veri Bilimini farklı şekilde tanımlıyorlar, ancak bence ortak kısım şu:

• veri ile nasıl başa çıkılacağına dair pratik bilgiler,
• pratik programlama becerileri

Adının aksine, nadiren "bilim". Yani, veri biliminde vurgu, pratikte (mühendislikte olduğu gibi) kanıtlar, matematiksel saflık veya akademik bilime özgü titizlik değil. İşlerin çalışması gerekiyor ve eğer akademik bir belgeye, mevcut bir kütüphanenin kullanımına, kendi kodunuza veya doğaçlama bir kesime dayanıyorsa, çok az fark var.

İstatistikçi bir programcı gerekli değildir (kalem, kağıt ve özel bir yazılım kullanabilir). Ayrıca, veri bilimindeki bazı iş aramalarının istatistiklerle ilgisi yoktur. Örneğin, büyük veri işleme gibi veri mühendisliği gibi, en gelişmiş matematik ortalama hesaplama olsa bile (kişisel olarak bu aktiviteye "veri bilimi" demezdim). Dahası, "veri bilimi" varsayımsaldır, bu yüzden teğetsel olarak ilgili işler bu başlığı kullanır - başvuru sahiplerini cezbetmek veya mevcut işçilerin egolarını yükseltmek için.

Michael Hochster'ın Quora'ya verdiği cevabın taksonomisini beğendim :

A Tipi Veri Bilimcisi: A Analiz içindir. Bu tür, öncelikle verileri anlamayla veya bununla oldukça statik bir şekilde çalışmayla ilgilidir. A Tipi Veri Bilimcisi bir istatistikçiye çok benzemektedir (biri olabilir) ancak istatistik müfredatında öğretilmeyen verilerle çalışmanın tüm pratik detaylarını bilir: veri temizleme, çok büyük veri kümeleriyle başa çıkma yöntemleri, görselleştirme belirli bir alanın derin bilgisi, veriler hakkında iyi yazılar, vb.

B Tipi Veri Bilimcisi: B Bina içindir. B Tipi Veri Bilim adamları, A Tipi ile bazı istatistiksel geçmişleri paylaşırlar, ancak aynı zamanda çok güçlü kodlayıcılardır ve yazılım mühendisleri olarak eğitilebilirler. B Tipi Veri Bilimcisi, çoğunlukla “üretimde” verilerinin kullanılmasıyla ilgilenmektedir. Kullanıcılar ile etkileşime giren, sıklıkla önerilerde bulunan ürünler (ürünler, tanıdığınız insanlar, reklamlar, filmler, arama sonuçları) sunmaktadır.

Bu anlamda, A Tipi Veri Bilimcisi, programlayabilen bir istatistikçidir. Ancak, nicel kısımlar için bile, bilgisayar bilimlerinde (örneğin makine öğrenmesi) düzenli istatistiklerden daha çok arka plana sahip insanlar ya da örneğin veri görselleştirmeye odaklananlar olabilir.

Ve Veri Bilimi Venn Şeması (burada: bilgisayar korsanlığı ~ programlama):

ayrıca bkz. alternatif Venn şemaları ( bu ve bu ). Hatta mizahi olsa bile, bir tweet bile , veri bilimcisinin tipik becerilerinin ve faaliyetlerinin dengeli bir listesini gösterir:

Ayrıca bu yazıya bakınız: Veri bilimcisi - istatistikçi, programcı, danışman ve görselleştirici? .

Çok sayıda veri bilimi alanı araştırması var. Sevdiğim bu aslında veri fen işleri tutan insanların profillerini analiz çalışır çünkü karşı tarafa. Anekdot kanıt veya yazarın önyargısını kullanmak yerine, veri bilimci DNA'sını analiz etmek için veri bilimi tekniklerini kullanırlar.

Veri bilimcileri tarafından listelenen becerilere bakmak oldukça açıklayıcıdır. İlk 20 yeteneğin çok fazla BT becerisi içerdiğine dikkat edin.

Günümüz dünyasında, bir veri bilim adamının tüm işlemlerin bir jack olması bekleniyor; Sağlam bir nicel temele, programlama yeteneğine, sınırsız entelektüel meraka ve mükemmel iletişim becerilerine sahip olan bir öğrenci.

GÜNCELLEME:

Ben istatistikçiyim ama veri bilimcisi miyim? Bilimsel problemler üzerinde çalışıyorum, bu yüzden bilim adamı olmalıyım!

Eğer doktora yaparsanız, bilhassa bildiğiniz bir bilim adamısınız, özellikle de makaleler ve aktif araştırmalar yayınladıysanız. Yine de bir veri bilimcisi olmak için bilim adamı olmanıza gerek yok. Bazı firmalarda, Walmart gibi (aşağıya bakınız), doktora gerektiren bazı roller vardır, ancak genellikle veri bilimcilerinin aşağıdaki örneklerden görebileceğiniz gibi, BS ve MS dereceleri vardır.

Yukarıdaki çizelgeden de anlaşılacağı gibi, büyük olasılıkla, iyi programlama ve veri işleme becerilerine sahip olmanız gerekecektir. Ayrıca, çoğu zaman veri bilimi, makine öğrenmede uzmanlık seviyesinin, genellikle “derin” olan bir seviyesi ile ilişkilidir. İstatistiklerde doktora yapmışsanız kesinlikle kendinize bir veri bilimcisi diyebilirsiniz. Bununla birlikte, en iyi okullardan bilgisayar bilimlerinde doktora yapanlar, istatistik mezunlarından daha rekabetçi olabilir, çünkü güçlü programlama becerileri ile desteklenen uygulamalı istatistik bilgisine sahip olabilirler - işverenler tarafından aranan aranır. Onlara karşı koymak için güçlü programlama becerileri edinmeniz gerekir, bu nedenle dengede çok rekabetçi olursunuz. İlginç olan, genellikle tüm istatistik doktoralarının bazı programlama tecrübelerine sahip olmaları, ancak veri biliminde çoğu zaman gereksinimin bundan daha yüksek olması,

Bana göre istatistikte doktora yapmanın avantajı, genellikle bırakılan "tüm işlemlerin bir jack" ifadesinin geri kalanında yakalanan sorunda: "hiçbirinin ustası". Her şeyi biraz bilen insanlara sahip olmak iyidir, ancak istatistiklerinin veya bilgisayar bilimlerinin çok önemli olmadığı bir şeyleri her zaman çok derinden bilen insanlara bakarım. Önemli olan, adamın dibe varabilmesi, ihtiyacınız olduğunda kullanışlı bir kalite.

Anket ayrıca, veri bilimcilerinin en iyi işverenlerini listeler. Microsoft üstte, görünüşe göre, bu benim için şaşırtıcıydı. Aradıkları şey hakkında daha iyi bir fikir edinmek istiyorsanız, İşler bölümünde LinkeIn'i "veri bilimi" ile aramak yardımcı olacaktır. Aşağıda, MS ve Walmart’ın LinkedIn’deki işlerine değinmek için iki alıntı bulunmaktadır.

• Microsoft Veri Bilimcisi

  • Veri İşleme Sistemleri / Hizmetleri oluşturmada 5+ yıllık Yazılım Geliştirme deneyimi
  • İstatistik, Veri Madenciliği veya Makine Öğrenmesi konularında uzmanlık derecesi ile Bilgisayar Bilimi, Enerji Verimliliği veya Matematikteki lisans veya daha yüksek nitelikler.
  • Büyük ölçekli verilerin işlenmesinde Mükemmel Programlama Becerileri (C #, Java, Python, Etc)
  • Hadoop veya diğer Büyük Veri işleme teknolojisi hakkında çalışma bilgisi
  • Analitik ürün bilgisi (ör. R, SQL AS, SAS, Mahout vb.) Bir artı.

Dikkat edin, stat paketlerini bilmek sadece bir artı, ama Java'da mükemmel programlama becerileri bir zorunluluktur.

• Walmart, Veri Bilimcisi

  • Bilgisayar bilimi veya benzeri alanlarda doktora veya en az 2-5 yıl ilgili deneyime sahip yüksek lisans
  • C ++ veya Java'da iyi fonksiyonel kodlama becerileri (Java oldukça tercih edilir)
  • üretim kodunu C ++ / Java / Hadoop / Hive’de günlük iş gününe% 10’a kadar harcayabilmelidir
  • Python veya Perl gibi betik dillerinden birinin uzmanlık bilgisi.
  • Büyük veri kümeleriyle ve dağıtılmış hesaplama araçlarıyla çalışma deneyimini artı bir şekilde yaşayın (Harita / Azaltma, Hadoop, Hive, Spark vb.)

Burada doktora tercih edilir, ancak yalnızca bilgisayar bilimleri uzmanı seçildi. Hadoop veya Spark ile dağıtılmış hesaplama, muhtemelen bir istatistikçi için alışılmadık bir beceridir, ancak bazı teorik fizikçiler ve uygulamalı matematikçiler benzer araçlar kullanır.

GÜNCELLEME 2:

Veri Scientist "Başlık‘’Bu zaten öldür Time" başlıklı 2012 yılında Harvard Business Review makaleyi birlikte yazdığı Thomas Davenport diyor ": 21. Yüzyılın en seksi İşi Veri Scientist" tür veri bilimci çılgınlığı başladı:

Bugün sizin bir “veri bilimcisi” olduğunuzu, ya da çalışmak istediğinizi veya işe almak istediğinizi belirtmek ne yazık ki değil.

Bunu okuduğum bir yerde (EDIT: Josh Will tweet'ini açıklıyor ):

Veri bilimcisi istatistikte herhangi bir programcıdan daha iyi ve programlamada herhangi bir istatistikçiden daha iyi bir kişidir.

Bu alıntı, bu veri bilimi süreci ile kısaca açıklanabilir . Bu şema üzerine ilk bakış, "peki, programlama kısmı nerede?" Gibi görünüyor, ancak tonlarca veriniz varsa, bunları işleyebilmelisiniz.

Birkaç cevap yazdım ve her zaman uzadı ve sonunda bir sabun kabuğuna çıkmaya karar verdim. Ancak bu konuşmanın iki önemli faktörü tam olarak keşfetmediğini düşünüyorum:

1. Bilim Veri Bilimi. Bilimsel bir yaklaşım, kendi modellerinizi, teorilerinizi, özelliklerinizi, teknik seçimlerinizi vs. yok etmeye çalıştığınız bir yaklaşımdır ve ancak bunu yapamadığınızda sonuçlarınızın faydalı olabileceğini kabul edersiniz. Bu bir zihniyet ve tanıştığım en iyi Veri Bilim İnsanlarının birçoğu, zor bilim geçmişlerine (kimya, biyoloji, mühendislik) sahip.

2. Veri Bilimi geniş bir alandır. İyi bir Veri Bilimi sonucu genellikle her biri kendi uzmanlık alanına sahip küçük bir Veri Bilimcileri ekibinden oluşur. Örneğin, bir ekip üyesi daha titiz ve istatistikseldir, diğeri mühendislik altyapısına sahip daha iyi bir programcıdır ve diğeri iş meraklısı konusunda güçlü bir danışmandır. Üçü de konuyu öğrenmek için hızlı ve üçü de meraklı ve gerçeği bulmak istiyor - ancak bununla birlikte acı verici - ve müşteri (iç veya dış) müşterinin çıkarına en uygun olanı yapmak istiyor. anlamadım

Son birkaç yıldaki soluk - şimdi soluk, sanırım - küme teknolojilerinde uzmanlaşan (Hadoop ekosistemi, vb.) Bilgisayar Bilimcilerini işe almak ve bunun ideal Veri Bilimcisi olduğunu söylemek. OP’nin karşılaştığı şeyin bu olduğunu düşünüyorum ve OP’e güçlerini titizlik, doğruluk ve bilimsel düşünce konusunda zorlamalarını tavsiye ediyorum.

Bitwise cevabımın çoğunu kapsıyor ama 2c'yi ekleyeceğim.

Hayır, üzgünüm ama istatistikçi, en azından bugün çoğu şirketin rolünü nasıl tanımladığına dayanan bir veri bilimcisi değil. Tanımın zaman içinde değiştiğini ve uygulayıcıların bir zorluğunun ilgili kaldıklarından emin olmak olduğunu unutmayın.

"Data Scientist" rolleri için adayları neden reddettiğimize dair bazı ortak nedenleri paylaşacağım:

• İşin kapsamı hakkında beklentiler . Tipik olarak DS'nin bağımsız çalışabilmesi gerekir. Bu, kendisine tahsis edilen sorunu çözmek için veri setini oluşturacak başka hiç kimsenin olmadığı anlamına gelir. Bu yüzden, veri kaynaklarını bulabilmesi, sorgulayabilmesi, bir çözümü modelleyebilmesi ve ardından sık sık sorunu çözen bir prototip oluşturabilmesi gerekiyor. Çoğu zaman bu sadece bir gösterge panosu, alarm veya sürekli güncellenen bir canlı rapor oluşturulmasıdır.
• Haberleşme . Görünüşe göre, birçok istatistikçi fikirlerini iş dünyasına “basitleştirmek” ve “satmak” için zor zamanlar yaşıyor. Sadece bir grafik gösterip, odadaki herkesin alabileceği şekilde verilerden bir hikaye anlatabilir misiniz? Unutmayın, bunun güvencenizden sonra olduğunu varsayalım, analizin her bir parçasını karşı koyabilirseniz savunabilirsiniz.
• Becerilerini Kodlama . Üretim düzeyinde kodlama becerilerine ihtiyacımız yok, çünkü bunun için geliştiricilere sahibiz, ancak bir prototip yazabilmesi ve bir AWS EC2 örneğinde bir web servisi olarak konuşlandırması için ona ihtiyacımız var. Bu nedenle, kodlama becerileri, R komut dosyaları yazma yeteneği anlamına gelmez. Buradaki bir yerde Linux'ta akıcılık ekleyebilirim Bu nedenle, çubuk çoğu istatistikçinin inanma eğilimindekinden daha yüksektir.
• SQL ve veritabanları . Hayır, bu işi yapamaz, çünkü zaten bildiği temel SQL'i uyarlaması için ona ihtiyacımız var ve her biri Redshift, HIVE ve Presto dahil org boyunca kullandığımız farklı DB sistemlerini nasıl sorgulayacağımızı öğreniyor. kendi lezzetini kullanan SQL. Ayrıca, işyerinde SQL öğrenmek, adayın verimli sorguları nasıl yazacaklarını öğrenene kadar diğer tüm analistlerde problem yaratacağı anlamına gelir.
• Makine Öğrenimi . Genellikle, belirli bir veri kümesine (Kaggle stili) dayalı bir sorunu çözmek için Lojistik Regresyon veya birkaç başka teknik kullanmışlardır. Bununla birlikte, görüşme algoritmalardan ve yöntemlerden başlasa bile, kısa süre sonra, özellik oluşturma (veri setini oluşturmanız gerektiğini unutmayın, sizin için oluşturacak başka kimsenin olmadığını unutmayın), sürdürülebilirlik, ölçeklenebilirlik ve performans gibi konulara odaklanın. takaslar. Bazı bağlamlar için, NIPS 2015'te yayınlanan Google'dan alakalı bir makaleye göz atabilirsiniz .
• Metin Analizi . Zorunlu olmamakla birlikte, Doğal Dil İşlemede bazı deneyimlere sahip olmak iyidir. Sonuçta, verilerin büyük bir kısmı metin biçimindedir. Tartışıldığı gibi, bir ML veya başka bir istatistiksel yaklaşımla tüketilebilir hale getirmek için dönüşümleri yapacak ve metni sizin için temizleyecek başka kimse yoktur. Ayrıca, bugün bile CS sınıflarının bile bu kutuyu işaretleyen bir proje yaptığını unutmayın.

Elbette küçük bir rol için yukarıdakilerin hepsine sahip olamazsınız. Ancak, bu becerilerden kaç tanesini kaybedebilir ve işe başlayabilirsiniz?

Son olarak, açıklığa kavuşturmak için, istatistikçi olmayanları reddetmenin en yaygın nedeni, temel istatistik bilgilerinin bile olmamasıdır. Ve bir yerlerde bir veri mühendisi ile bir veri bilimcisi arasındaki fark var. Bununla birlikte, veri mühendisleri bu rollere başvurma eğilimindedir, çünkü çoğu zaman "istatistiklerin" sadece ortalama, varyans ve normal dağılım olduğuna inanırlar. Bu nedenle, “istatistik” ile ne demek istediğimizi netleştirmek ve karışıklığı önlemek için iş tanımlarına birkaç alakalı, ancak korkutucu istatistik buzzwords ekleyebiliriz .

Hype ve buzzwords'ü görmezden gelmeme izin ver. Bence "Veri Bilimcisi" (veya ne demek istersen) gerçek bir şey ve bu bir istatistikçiden farklı. Etkili bir şekilde veri bilimcisi olan ancak bu isim verilmeyen birçok pozisyon tipi vardır - bunlardan bir tanesi genomikte çalışan insanlardır.

Gördüğüm gibi, bir veri bilimcisi, büyük miktarlarda karmaşık veriler üzerinde araştırma tasarlama ve yürütme becerisine ve uzmanlığına sahip bir kişidir (örneğin, temel mekanizmaların bilinmediği ve karmaşık olduğu boyutlar).

Bu şu anlama gelir:

• Programlama: Genellikle bir miktar paralelleştirme ve veri tabanları ve yüksek performanslı bilgi işlem kaynakları ile arayüz oluşturma gerektiren analiz ve boru hatları uygulayabilmek.
• Bilgisayar Bilimi (algoritmalar): Seçilen analizin uygulanabilir olduğu ve hata oranının kontrol edildiği şekilde verimli algoritmalar tasarlamak / seçmek. Bazen bu aynı zamanda sayısal analiz, optimizasyon vb. Bilgileri gerektirebilir.
• Bilgisayar bilimi / istatistikleri (genellikle makine öğrenmesine vurgu yapar): Veriler hakkında soru sormak veya içinde “kalıplar” bulmak için bir çerçeve tasarlamak ve uygulamak. Bu, yalnızca farklı testler / araçlar / algoritmalar hakkındaki bilgiyi değil aynı zamanda uygun görüş, çapraz doğrulama vb.
• Modelleme: Çoğunlukla, hem faydalı tahminler yapabilmemiz hem de verinin altında yatan mekanizmalar hakkında fikir edinebilmemiz için verilerin daha basit bir sunumunu veren bir model üretebilmek istiyoruz. Olasılıklı modeller bunun için çok popüler.
• Etki alanına özgü uzmanlık: Karmaşık verilerle başarılı bir şekilde çalışmanın önemli bir yönü, alana özgü içgörü içerir. Bu nedenle, veri bilimcisinin, alanda uzmanlığa sahip olması, yeni alanları hızlıca öğrenebilmesi veya bu alandaki verilere nasıl yaklaşılacağı konusunda yararlı bilgiler verebilecek uzmanlarla iyi bir şekilde iletişim kurabilmesi gerektiğini belirttim. .

Ancak tüm bu büyük cevaplar, iş avcılık deneyimimde, "veri bilimcisi" teriminin, iletişim kurduğum işe alım uzmanlarının kafasında "küçük veri analisti" ile karıştırıldığını belirtmiştim. Böylece, birkaç yıl önce yaptıkları tanıtım dersi dışında, istatistik deneyimi olmayan pek çok hoş insan şimdi kendilerine veri bilimcileri diyor. Bilgisayar bilimi geçmişine ve veri analisti olarak uzun yıllara dayanan deneyime sahip biri olarak, daha sonra kariyerimde kalabalığın arasından sıyrılmama yardım edebileceğini düşündüğüm İstatistikler alanında doktora yaptım. ". Sanırım "istatistikçi" ye geri dönebilirim!

Ben küçük bir çalışanım ama iş ünvanım "veri bilimcisi". Bitwise'ın cevabının, işe alınmamın işe yarayıp yaramadığını gösteren bir açıklama olduğunu düşünüyorum, ancak işteki günlük deneyimime dayanarak bir nokta daha eklemek istiyorum:

Bilim bir soruşturma sürecidir. Veri, bu araştırmanın yapıldığı araç olduğunda, veri bilimi gerçekleşiyor. Bu, verileri deney yapan veya araştırma yapan herkesin mutlaka bir veri bilimcisi olduğu anlamına gelmez, aynı şekilde kablolama ile deney yapan veya araştırma yapan herkesin mutlaka bir elektrik mühendisi olmadığı anlamına gelmez. Ancak bu, profesyonel bir "elektrik araştırmacısı" olmak için yeterli bir eğitim alabilmesi, aynı şekilde profesyonel bir elektrikçi olmak için yeterli bir eğitim alabileceğiniz anlamına gelir. Bu eğitim az ya da çok, Bitwise'un cevabındaki noktalardan oluşuyor, ki bu istatistiklerin bir bileşeni ama bütünü değil.

Piotr'ın cevabı da, belirli bir haftada nasıl yapacağımı bilsem yapmam gereken her şeyin güzel bir özetidir . Şu ana kadarki işim çoğunlukla, Venn diyagramının "Tehlikeli Bölge" bileşenine ait olan eski çalışanların verdiği hasarı gidermeye yardımcı oldu.

Son zamanlarda veri bilimi ile kariyer olarak ilgilenmeye başladım ve veri bilimi mesleği hakkında öğrendiğim şeyleri aldığım (ve zevk aldığım) sayısız istatistik dersine kıyasla ne düşündüğümü düşündüğümde, veri bilimcileri olarak düşünmeye başladım. dikkatini verilere dönüştüren bilgisayar bilimcileri. Özellikle, aşağıdaki ana farklılıkları not aldım. Farklılıklar ruh hali göründüğü halde unutmayın. Aşağıdaki sadece öznel izlenimlerimi yansıtıyor ve genellik iddia etmiyorum. Sadece izlenimlerim!

1. İstatistiklerde, dağılımlara, olasılıklara ve çıkarımsal işlemlere çok önem veriyorsunuz (temel dağılımlar olan hipotez testleri nasıl yapılır?). Anladığım kadarıyla, veri bilimi tahminden daha sık değildir ve çıkarımsal ifadelerle ilgili endişeler bir dereceye kadar çapraz doğrulama gibi bilgisayar bilimlerindeki prosedürler tarafından emilir.

2. İstatistiksel derslerde, sıklıkla kendi verilerimi oluşturdum ya da oldukça temiz bir formatta hazır bazı hazır veriler kullandım. Bu, güzel bir dikdörtgen biçiminde, bazı mükemmel elektronik çizelgelerde veya RAM'e iyi uyan bir şey olduğu anlamına gelir. Veri temizliği elbette söz konusudur, ancak artık RAM'e uymayan bir veriyi tutabilmek için oluşturulmuş veritabanlarından bağımsız olarak, web'den "veri çıkarmak" ile uğraşmak zorunda kalmamıştım. Benim izlenimim, bu hesaplama yönünün veri biliminde çok daha baskın olduğu yönünde.

3. Belki de bu, istatistikçilerin tipik istatistik işlerinde neler yaptıkları konusundaki cehaletimi yansıtıyor, ancak veri biliminden önce, daha büyük bir ürüne model oluşturmayı hiç düşünmedim. Yapılacak bir analiz, çözülmesi gereken istatistiksel bir sorun, tahmin edilebilecek bazı parametreler vardı. Veri biliminde, genellikle (her zaman olmamakla birlikte) öngörücü modellerin daha büyük bir şeye inşa edildiği görülmektedir. Örneğin, bir yere tıklarsınız ve milisaniye içinde, tahmin edici bir algoritma, neyin sonuç olarak gösterileceğine karar vermiş olur. Dolayısıyla, istatistiklerdeyken, her zaman "hangi parametreyi tahmin edebiliriz ve bunu nasıl zarif bir şekilde yaparız?" Diye merak etmişimdir; veri biliminde odaklanmanın "bunun bir veri ürününde potansiyel olarak yararlı olacağını ne tahmin edebileceğimize" daha fazla olduğu görülmektedir. .

Yine, yukarıdaki genel bir tanım vermeye çalışmamaktadır. Sadece kendimi algıladığım büyük farklılıkları işaret ediyorum. Henüz veri biliminde değilim, ancak önümüzdeki yıl geçiş yapmayı umuyorum. Bu anlamda iki kuruşumu birer tane tuzla buraya alın.

Veri Bilim Adamı'nın, sonucun istatistiki olarak sağlam (önemli) olması için yöntemleri kullanarak, işletmeler için insan tarafından okunabilir sonuçlar yarattığı bir rol olduğunu söylüyorum.

Bu tanımın herhangi bir kısmına uyulmazsa, bir geliştirici, gerçek bir bilim insanı / istatistikçi veya veri mühendisinden bahsederiz.

Ben her zaman konunun özünü kesmeyi severim.

statistics - science + some computer stuff + hype = data science

Veri bilimi, analitik olarak karmaşık sorunları çözmek için veri çıkarımı, algoritma geliştirme ve teknolojinin multidisipliner bir karışımıdır. Ancak, Veri Bilimcilerin azlığı nedeniyle, veri bilimindeki bir kariyer gerçekten çok sayıda fırsat yaratabilir. Bununla birlikte, kuruluşlar SAS, Amerika Veri Bilimi Konseyi (DASCA), Hortonworks vs.'den sertifikalı profesyoneller arıyorlar. Bunun iyi bir bilgi olduğunu umuyorum!

Veri bilimcileri Python, MySQL ve Java gelişiminde çok yetenekli becerilere sahiptir.

Matematiksel, istatistik, veri madenciliği, tahmine dayalı analiz becerileri konusunda oldukça iyi bir analitik fonksiyona sahip oldukları ve Python ve R gibi kodlama dilleri hakkında gerçekten iyi bir bilgiye sahip olmaları

Şu anda birçok veri bilimcisi doktora derecesine sahipler. ya da yüksek lisans derecesi aslında araştırmaya göre sadece% 8'inin sadece bir lisans derecesi var, bu yüzden çok daha derinlemesine.

Verilere dayalı kararlar veren istatistiksel modeller oluşturmak. Her karar zor olabilir, örneğin bir sayfanın oluşturulmasını engelleme veya yumuşak, örneğin, aşağı doğru sistemler veya insanlar tarafından kullanılan bir sayfanın kötüye kullanımı için bir puan atama.

Gözlenen bir olgunun kök nedenini belirlemeye çalışan nedensellik deneyleri yapmak. Bu, A / B deneyleri tasarlayarak veya A / B deneyinin soruna epidemiyolojik yaklaşım uygulamak mümkün olmadığı durumlarda yapılabilir, örneğin @ Rubin nedensel modeli

Veri değerinin kilidini açmaktan gelen yeni ürün veya özellikleri belirlemek; Verinin değeri konusunda düşünce lideri olmak. Buna güzel bir örnek, Amazon'un ilk kitlesel kitleye sunduğu ürün önerileri özelliğidir.

Sorunuza cevap vermek için "Veri bilimcisi nedir?" Belirtildiği gibi bir veri Scientist ve Veri Mechanic arasındaki farkın farkında olmak değerli olabilir http://sites.temple.edu/deepstat/data-scientist-and-data-mechanic/