MapReduce'taki yenilik nedir?

Birkaç yıl önce, MapReduce dağıtılmış programlama devrimi olarak selamlandı. Aynı zamanda eleştirmenler de vardı, ancak genel olarak hevesli bir yutturmaca vardı. Hatta patentli bile oldu! [1]

Adı anımsatır mapve reducefonksiyonel programlamada, ama ben okuduğumda (Vikipedi)

Harita adımı: Ana düğüm girişi alır, daha küçük alt problemlere böler ve bunları çalışan düğümlere dağıtır. Bir işçi düğümü bunu tekrar yapabilir ve çok seviyeli bir ağaç yapısına yol açar. İşçi düğümü daha küçük olan sorunu işler ve yanıtı ana düğümüne geri gönderir.

Küçültme adımı: Ana düğüm daha sonra tüm alt sorunların cevaplarını toplar ve çıktıyı oluşturacak şekilde bunları birleştirir - başlangıçta çözmeye çalıştığı sorunun cevabı.

veya [2]

MAP'ın Internals: [...] MAP giriş değerini kelimelere ayırır. [...] MAP, girişin verilen her bir anahtar / değer çiftini potansiyel olarak birçok ara anahtar / değer çifti ile ilişkilendirmek içindir.

REDUCE'in İç: [...] [REDUCE] zorunlu birleştirme gerçekleştirir (örneğin, azaltma): birçok değer alır ve bunları tek bir değere düşürür.

Yardım edemem ama düşün: bu bölünme ve fethetme (Mergesort anlamında), sade ve basit! Öyleyse, MapReduce'da bir yerde (kavramsal) bir yenilik var mı, yoksa belirli senaryolarda yararlı olan eski fikirlerin yeni bir uygulaması mı?

1. ABD Patenti 7,650,331: "Verimli büyük ölçekli veri işleme için sistem ve yöntem" (2010)
2. Google'ın MapReduce programlama modeli - R. Lämmel (2007) tarafından revize edildi

Yardım edemem ama düşünün: bu bölünme ve fethetme, sade ve basit!

M / R bölünmez ve fethedilmez. Önceki algoritmanın daha küçük bir alt kümesine bir algoritmanın tekrar tekrar uygulanmasını içermez. Boru hattı aşamalarının alternatif harita oluşturduğu ve işlemleri azalttığı bir boru hattıdır (daha basit fonksiyonların bileşimi olarak belirtilen bir fonksiyon). Farklı aşamalar farklı işlemler gerçekleştirebilir.

Öyleyse, MapReduce'da bir yerde (kavramsal) bir yenilik var mı, yoksa belirli senaryolarda yararlı olan eski fikirlerin yeni bir uygulaması mı?

MapReduce, hesaplama teorisinde yeni bir çığır açmaz - bir problemi daha basit işlemlere ayırmanın yeni bir yolunu göstermez. Belirli basit işlemlerin belirli bir problem sınıfı için pratik olduğunu göstermektedir.

MapReduce gazetenin katkısı oldu

1. Belli bir problem üzerinde etkin ve hataya dayanıklı bir şekilde dağıtılabilen iki iyi anlaşılmış ortogonal operatörün bir boru hattının değerlendirilmesi: büyük korpustan bir metin indeksi oluşturma
2. Harita kıyaslama - düğümler arasında ne kadar veri aktarıldığını ve aşamalardaki gecikme farklılıklarının toplam gecikmeyi nasıl etkilediğini göstermek için bu sorunu azaltın
3. Sistem hatasını nasıl toleranslı hale getirebileceğini göstermek, böylece hesaplama sırasında makine arızalarını otomatik olarak telafi etmek
4. Özel faydalı uygulama seçenekleri ve optimizasyonlarının belirlenmesi

Eleştirilerin bazıları bu sınıflara giriyor:

1. “Harita / azalt, hesaplama teorisinde yeni bir zemin oluşturmuyor.” Doğru. Orijinal makalenin katkısı, belirli bir optimizasyon setine sahip bu iyi anlaşılmış operatörlerin, gerçek sorunları bir kereye mahsus çözümlerden daha kolay ve hataya dayanıklı bir şekilde çözmek için başarıyla kullanılmasıydı.
2. "Bu dağıtık hesaplama kolayca haritaya dönüşmez ve işlemleri azaltmaz". Yeterince adil, ama çoğu var.
3. "Bir n harita / azaltma aşaması boru hattı, herhangi bir sonuç alınmadan önce boru hattının azaltma adımlarının sayısıyla orantılı olarak gecikme gerektirir." Muhtemelen doğru. Küçültme operatörü, tam bir çıktı üretmeden önce tüm girişini almak zorundadır.
4. "Harita / azaltma, bu kullanım durumu için geçersizdir." Olabilir. Mühendisler parlak yeni bir çekiç bulduğunda, çiviye benzeyen bir şey aramaya meyillidirler. Bu, çekiçin belirli bir niş için iyi yapılmış bir araç olmadığı anlamına gelmez.
5. "Harita / azalt, ilişkisel bir DB için kötü bir alternatif." Doğru. İlişkisel bir DB veri setinize ölçeklenirse, o zaman sizin için harika - seçenekleriniz vardır.

EDIT (Mart 2014) O zamandan beri MapReduce tipi hesaplama modelleri için algoritmalar üzerinde daha fazla çalıştığımı söylemeliyim ve kendimi aşırı olumsuz hissediyorum. Aşağıda bahsettiğim Divide-Compress-Conquer tekniği şaşırtıcı derecede çok yönlüdür ve önemsiz ve ilginç olduğunu düşündüğüm algoritmaların temeli olabilir.

Mike'ın anlaşılırlık açısından çok aşağılayıcı bir cevap vereyim, ancak bir hesaplama / algoritmik teori bakış açısıyla.

$O(n^\epsilon)$$o(\log n)$

$O(1)$

• Problem vakasını bölümleme (genellikle rastgele)
• Paralel olarak her bölüm üzerinde bir miktar hesaplama yapın ve hesaplamanın sonucunu kompakt bir şekilde gösterin.
• Kompakt olarak temsil edilen tüm alt problem çözümlerini tek bir işlemcide birleştirin ve hesaplamayı burada bitirin

$n$$O(\sqrt{n})$$\sqrt{n}$

Şimdi, bence bu aslında bölünme ve fethetme konusunda ilginç bir büküm, büküm, bölme aşamasından sonra, alt işlemci çözümlerini tek bir işlemcinin ele geçirebilmesi için sıkıştırmanız gerektiğidir. Ancak, bu gerçekten bugüne kadar bulduğumuz tek teknik gibi görünüyor. Örneğin, seyrek bağlantı gibi seyrek grafiklerle ilgili problemlerde başarısız olur. Bunu, Flajolet ve Martin'in ustaca örnekleme algoritması, Misra ve Gries'in deterministik eşleştirme algoritması, basit çizim tekniklerinin gücü vb. Gibi yeni fikirlerin zenginliğine yol açan akış modeliyle karşılaştırın.

Bir programlama paradigması olarak, harita azaltma çok başarılı olmuştur. Haritaya ilişkin yorumlarım ilginç bir hesaplama modeli olarak azaltıyor. İyi teorik modeller biraz tuhaf. Gerçeği çok yakından takip ediyorlarsa, hantaldırlar, ancak daha da önemlisi, (makine öğrenmesinden bir terim ödünç almak için) çok spesifik olan modeller için kanıtlanmış teoremler genelleştirmez, yani başka modellerde yoktur. Bu yüzden, mümkün olduğu kadar fazla ayrıntıyı soyutlamak istiyoruz, ancak yine de yeni algoritmalar geliştirmemize meydan okuyacak kadar ayrılıyoruz. Son olarak, bu yeni fikirler sonunda gerçek dünyaya dönüş yollarını bulabilmelidir. PRAM ilginç fikirlere yol açan gerçekçi olmayan bir modeldir ancak bu fikirlerin gerçek dünya paralel hesaplamasına nadiren uygulanabilir olduğu kanıtlanmıştır. Diğer taraftan, akış aynı zamanda gerçekçi değildir. ama gerçekte gerçek dünyada kullanılan algoritmik fikirlere ilham verdi. Görmeksayım dakika çizim . Eskiz teknikleri aslında harita azaltmaya dayalı sistemlerde de kullanılmaktadır.

Sana tamamen katılıyorum. Kavramsal açıdan bakıldığında, gerçekten yeni bir şey yok: Map / Reduce aslen Paralel Hesaplama'da veri akışı programlama modeli olarak biliniyordu. Bununla birlikte, pratik bir bakış açısına göre, Google tarafından ve daha sonra açık kaynak kodlu uygulamalarla önerildiği gibi Harita / Azaltma, Cloud Computing'i de körüklemiştir ve şimdi çok basit paralel ayrıştırma ve işleme için oldukça popülerdir. Tabii ki, karmaşık alan veya fonksiyonel ayrışma gerektiren herhangi bir şey için uygun değildir.

Bence yorumunuzla kafadaki tırnağa çarptınız.

Herhangi bir fonksiyonel dilde haritaların paralelleştirilebileceği doğru değildir - dil saf olmalıdır . (Haskell'in belli belirsiz ana akım tamamen işlevsel bir dil olduğuna inanıyorum. Lisp, OCaml ve Scala tamamen saf değil.)

Mühendislerin işlemcilerini ilk kez boru hattıyla donattıklarında, zaman aşımından önce bile, saf kodun faydalarını biliyoruz. Peki neden hiç kimse saf bir dil kullanmıyor?

Gerçekten, gerçekten, gerçekten zor. Saf bir dilde programlama genellikle iki elinizle arkanıza bağlı olarak programlama gibi gelir.

MR'ın yaptığı şey, saflık kısıtını bir miktar gevşetmek ve diğer parçalar için (karışık faz gibi) bir çerçeve sağlamak, büyük bir sorun bölümü için dağıtılabilir kod yazmayı oldukça kolaylaştırıyor.

$NC=P$