«mapreduce» etiketlenmiş sorular

Basit bir Java "dönüşümü" bilen Listden Y-> Zyani: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Şimdi temelde bir Harita ile aynı şeyi yapmak istiyorum, yani: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: { "key1" -> 41, // …

210 java  mapreduce  java-8  java-stream  collectors 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Yanıtların gerçekler, referanslar veya uzmanlık tarafından desteklenmesini bekliyoruz, ancak bu soru muhtemelen tartışma, tartışma, oylama veya genişletilmiş tartışma talep edecektir. Bu sorunun çözülebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, yardım için yardım merkezini ziyaret edin . 7 yıl önce kapalı . …

202 mapreduce 

Benim CouchDB sorumla ilgili. MapReduce'u uyuşuklukların anlayabileceği bir şekilde açıklayan var mı?

166 frameworks  mapreduce  glossary 

" Harita ve Küçült " algoritmasının kullanımını hangi senaryolar garanti eder ? Bu algoritmanın bir .NET uygulaması var mı?

152 c#  mapreduce 

MapReduce'u uyguladığınız birçok gerçek yaşam durumunda, son algoritmalar birkaç MapReduce adımı olur. ör. Map1, Reduce1, Map2, Reduce2 vb. Böylece, bir sonraki harita için girdi olarak gerekli olan son azaltmanın çıktısına sahip olursunuz. Ara veriler, ardışık düzen başarıyla tamamlandıktan sonra (genel olarak) saklamak istemediğiniz bir şeydir. Ayrıca bu ara veriler genel …

124 hadoop  mapreduce 

Göre Hadoop - The Definitive Guide FileInputFormats tarafından tanımlanan mantıksal kayıtlar, genellikle HDFS bloklarına düzgün bir şekilde sığmaz. Örneğin, TextInputFormat'ın mantıksal kayıtları, HDFS sınırlarını hiç olmadığı kadar sıklıkla aşan çizgilerdir. Bunun programınızın işleyişiyle bir ilgisi yoktur - örneğin, satırlar gözden kaçmaz ya da kopmaz - ancak veri-yerel haritalar (yani, kendi …

119 hadoop  split  mapreduce  block  hdfs 

Harita Azaltma programlamasında, azaltma aşamasının alt parçaları olarak karıştırma, sıralama ve azaltma vardır. Sıralama maliyetli bir meseledir. Map Reduce Programming'de redüktörde karıştırma ve sıralama aşamasının amacı nedir?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

MapReduce'un gücünü göstermede kullanılan ana örneklerden biri Terasort karşılaştırmasıdır . MapReduce ortamında kullanılan sıralama algoritmasının temellerini anlamakta güçlük çekiyorum. Bana göre sıralama, basitçe bir öğenin diğer tüm öğelerle olan göreceli konumunu belirlemeyi içerir. Yani sıralama, "her şeyi" "her şey" ile karşılaştırmayı içerir. Ortalama sıralama algoritmanız (hızlı, kabarcık, ...) bunu basitçe …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Kapalı. Bu soru Yığın Taşması yönergelerini karşılamıyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek mi istiyorsunuz? Stack Overflow için konuya uygun olması için soruyu güncelleyin . 4 yıl önce kapalı . Bu soruyu geliştirin Bu yüzden, Hadoop'a büyük bir ilgiyle bakıyordum ve dürüst olmak gerekirse, büyüleniyorum, işler pek …

98 c#  .net  hadoop  mapreduce 

Spark ve Hadoop arasında herhangi bir bağımlılık var mı? Eğer değilse, çalıştırdığınızda ben özleyeceğim herhangi özellikler vardır Spark olmadan Hadoop'un ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

MongoDB'nin $incümlesini kullanırken , döndürülen belgelerin sırası her zaman dizi bağımsız değişkeninin sırasına karşılık gelir mi?

90 mongodb  mongoose  mapreduce  mongodb-query  aggregation-framework 

Hadoop v1'de, her 7 eşleyici ve düşürücü yuvasını 1 GB boyutunda atadım, eşleyicilerim ve indirgeyicilerim sorunsuz çalışıyor. Makinemde 8G bellek, 8 işlemci var. Şimdi YARN ile aynı uygulamayı aynı makinede çalıştırdığımda konteyner hatası alıyorum. Varsayılan olarak şu ayarlara sahibim: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> …

85 hadoop  mapreduce  yarn  mrv2 

Özellikle Google'ın büyük ölçüde paralel hesaplama sistemi bağlamında, eşleme / azaltma hakkında çok şey duyuyorum. Tam olarak nedir?

84 language-agnostic  mapreduce 

Hadoop'ta azaltma görevleri ne zaman başlar? Haritacıların belirli bir yüzdesi (eşiği) tamamlandıktan sonra mı başlıyorlar? Öyleyse, bu eşik sabit mi? Tipik olarak ne tür bir eşik kullanılır?

82 hadoop  mapreduce  reduce