Örneğin altyapı yığınları / iş akışları / boru hatları aranıyor

Tüm "büyük veri" bileşenlerinin gerçek dünya kullanım durumunda nasıl oynandığını anlamaya çalışıyorum, örneğin hadoop, monogodb / nosql, fırtına, kafka, ... Bunun için kullanılan çok çeşitli araçlar olduğunu biliyorum farklı türlerde, ancak uygulamalardaki etkileşimleri hakkında daha fazla bilgi edinmek istiyorum, örneğin bir uygulama için düşünme makinesi öğrenmesi, webapp, çevrimiçi mağaza.

Ziyaretçiler / oturum, işlem verileri vb. Var ve bunu saklamak; ama anında önerilerde bulunmak istersem, bunun için bazı büyük günlük veritabanında yavaş harita / işleri azaltamam. Altyapı unsurları hakkında nereden daha fazla bilgi edinebilirim? Sanırım aletlerin çoğunu kendi başlarına kullanabiliyorum, ancak bunları birbirine bağlamak kendi başına bir sanat gibi görünüyor.

Herkese açık örnekler / kullanım örnekleri vb. Var mı? Bireysel boru hatlarının güçlü bir şekilde kullanım durumuna ve kullanıcıya bağlı olduğunu anlıyorum, ancak sadece örnekler muhtemelen benim için çok yararlı olacaktır.

Makine öğreniminin üretim uygulamalarına entegre edilmesinin çeşitli yollarını anlamak için, altyapılarını tanımlayan şirketlerden açık kaynaklı projelere ve makalelere / blog yayınlarına bakmak yararlı olduğunu düşünüyorum.

Bu sistemlerin ortak teması model eğitiminin model uygulamasından ayrılmasıdır. Üretim sistemlerinde, model uygulamasının 100 ms civarında hızlı olması gerekir, ancak takılan model parametrelerinin (veya eşdeğerinin) ne sıklıkta güncellenmesi gerektiği konusunda daha fazla özgürlük vardır.

İnsanlar model eğitimi ve dağıtımı için çok çeşitli çözümler kullanır:

• Bir model oluşturun, ardından PMML ile dışa aktarın ve dağıtın

  • AirBnB , R / Python'daki model eğitimini ve PMML modellerinin OpenScoring aracılığıyla dağıtımını açıklar.

  • Kalıp , PMML tüketebilen ve öngörülü modelleri dağıtabilen Basamaklı ile ilgili bir projedir .

• MapReduce'da model oluşturma ve özel bir sistemde değerlere erişme

  • Conjecture, Etsy'den Scalding ile model eğitimine , MapReduce etrafında kullanımı kolay bir skala sarmalayıcıya ve Php üzerinden konuşlandırmaya olanak tanıyan açık kaynaklı bir projedir .

  • Kiji, WibiData'nın gerçek zamanlı model puanlamasına (uygulama) ve aynı zamanda Scalding yoluyla bu veriler üzerinde kalıcı kullanıcı verilerine ve eğitim modellerine yönelik işlevlere izin veren açık kaynaklı bir projedir .

• Model parametrelerini sürekli güncellemeye izin veren çevrimiçi bir sistem kullanın.

  • Google , Google Haberler'deki önerileri ele almak için uyguladıkları çevrimiçi ortak çalışma filtrelemesi hakkında harika bir makale yayınladı .

Karmaşık bir analitik boru hattı kurmanın en ayrıntılı ve net açıklamalarından biri Twitch'teki kişilerden .
Verilerinin toplanması, taşınması, koordinasyonu, işlenmesi, depolanması ve sorgulanması için mimari seçeneklerin her birinin ayrıntılı motivasyonlarını verirler.
Zorlayıcı okuma! Burada ve burada bulun .

Airbnb ve Etsy yakın zamanda iş akışları hakkında ayrıntılı bilgi yayınladılar.

R ile Pratik Veri Bilimi Bölüm 1 ( http://www.manning.com/zumel/ ), takım rolleri ve bunların belirli görevlerle nasıl ilişkili olduğu dahil olmak üzere veri bilimi sürecinin büyük bir dökümüne sahiptir. Kitap, bu ya da belirli bir görevin hangi aşamada / personel tarafından yapılacağına atıfta bulunarak bölümde ortaya konan modelleri takip eder.