«yarn» etiketlenmiş sorular

YARN'de bir Spark işi çalıştırırken çekirdek sayısının ve uygulayıcı sayısının ilişkisini anlamaya çalışıyorum. Test ortamı aşağıdaki gibidir: Veri düğümü sayısı: 3 Veri düğümü makine özellikleri: İşlemci: Core i7-4790 (çekirdek sayısı: 4, iplik sayısı: 8) Rastgele erişimli hafıza: 32GB (8GB x 4) HDD: 8 TB (2 TB x 4) Ağ: 1Gb …

194 hadoop  apache-spark  yarn 

Diğer uygulamalarımın herhangi bir kaynak tahsis etmeyeceği tüm çekirdekleri kapladığı çalışan bir Spark uygulamam var. Hızlı bir araştırma yaptım ve insanlar komutu öldürmek için YARN kill veya / bin / spark-class kullanmayı önerdiler. Ancak, CDH sürümünü kullanıyorum ve / bin / spark-class hiç mevcut değil, YARN kill uygulaması da çalışmıyor. …

102 apache-spark  yarn  pyspark 

Hadoop v1'de, her 7 eşleyici ve düşürücü yuvasını 1 GB boyutunda atadım, eşleyicilerim ve indirgeyicilerim sorunsuz çalışıyor. Makinemde 8G bellek, 8 işlemci var. Şimdi YARN ile aynı uygulamayı aynı makinede çalıştırdığımda konteyner hatası alıyorum. Varsayılan olarak şu ayarlara sahibim: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> …

85 hadoop  mapreduce  yarn  mrv2