MapReduce çerçevesi bir tür BSP mi?


11

MapReduce çerçevesini, senkronizasyonlar arasındaki işlemcilerde yerel bellek tutması olmayan bir tür toplu senkron paralel programlama çerçevesi olarak adlandırmak doğru mu? Değilse, hangi paralel programlama modeli mapReduce çerçevesini en doğru şekilde kapsar?


1
bu güzel bir soru!
Suresh Venkat

teşekkürler Suresh, ne düşünüyorsun, katılıyorum?
Jeff Kubina

hepsinin bana mapreduce ve başkalarının nasıl gördükleri hakkında daha fazla bilgi edinmemde yardımcı olduğunu düşündüğüm için en iyi cevabı seçmede zor bir seçim. Sasho'nun cevabını seçtim, çünkü bu benim sorumun en iyisi olan bir kağıda götürdü. herkese teşekkürler.
Jeff Kubina

Yanıtlar:


11

Http://arxiv.org/abs/1101.1902 , bölüm 2'de yazarlar, BSP gibi kasıtlı olarak yapılandırılmış bir MapReduce modeli tanımlamaktadır. Simülasyon teoremlerini de kanıtlıyorlar. Başlamak için iyi bir yer olabilir.


5

Evet, benim düşüncem klasik MapReduce'un bir BSP modeli olduğu ve bu nedenle elde edilebilecek maksimum olası paralel performans üzerindeki doğal sınırlamaları olduğu. Bununla birlikte, MapReduce üzerindeki daha yeni çalışmalar, bu "genelleştirilmiş MapReduce" i katı BSP çerçevesinden çıkaracak olan daha gevşek senkronizasyon kavramlarına odaklanmış gibi görünmektedir. Özellikle, eğer verilerin bir kısmı çoğaltılırsa, senkronizasyon yapısı gevşetilerek performans kazanımları elde edilebilir.

Örneğin Foto Afrati ve Jeff Ullman'ın çalışmalarına bakın: Harita küçültme ortamında birleşimleri optimize etme , EDBT 2010. ( ön baskı )


2

MapReduce'da hesaplamanın altında yatan basit ve yapılandırılmış bir grafik olduğundan, IMHO bir veri akışı modeli olarak sınıflandırılabilir.


Kabul ediyorum, MapReduce etiketli bir veri akışı makinesiyle aynı hesaplama stratejisine sahiptir. Yahoo'nun Domuz dili MapReduce'un üzerine bir veri akışı dili bile oluşturur.
Sığır Eti
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.