«hadoop» etiketlenmiş sorular

Şu anda çalıştıran bir sunucuda Hadoop yapılandırarak ediyorum CentOS . Çalıştırdığımda start-dfs.shveya stop-dfs.shaşağıdaki hatayı alıyorum: WARN util.NativeCodeLoader: Platformunuz için yerel hadoop kitaplığı yüklenemiyor ... varsa yerleşik java sınıflarını kullanarak Koşuyorum Hadoop 2.2.0. Çevrimiçi bir arama yapmak şu bağlantıyı getirdi: http://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html Ancak, /native/hadoop 2.x dizin içeriği farklı görünüyor bu yüzden ne …

269 java  linux  hadoop  hadoop2  java.library.path 

Kapalı . Bu soru görüş temelli . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Bu yayını düzenleyerek gerçekler ve alıntılarla yanıtlanabilmesi için soruyu güncelleyin . 4 yıl önce kapalı . Bu soruyu geliştir Geçmişim - Hadoop dünyasında 4 haftalık. Cloudera'nın Hadoop VM'sini kullanarak Hive, Pig ve Hadoop'ta …

256 hadoop  hive  apache-pig 

YARN'de bir Spark işi çalıştırırken çekirdek sayısının ve uygulayıcı sayısının ilişkisini anlamaya çalışıyorum. Test ortamı aşağıdaki gibidir: Veri düğümü sayısı: 3 Veri düğümü makine özellikleri: İşlemci: Core i7-4790 (çekirdek sayısı: 4, iplik sayısı: 8) Rastgele erişimli hafıza: 32GB (8GB x 4) HDD: 8 TB (2 TB x 4) Ağ: 1Gb …

194 hadoop  apache-spark  yarn 

Hadoop veya HBase veya Hive kullanmanın faydaları nelerdir ? Anladığım kadarıyla, HBase harita küçültmeyi kullanmaktan kaçınır ve HDFS'nin üstünde sütun odaklı bir depolama alanına sahiptir. Hive , Hadoop ve HBase için sql benzeri bir arayüzdür . Hive'ın Pig ile nasıl karşılaştırıldığını da bilmek istiyorum .

185 hadoop  hbase  hive  apache-pig 

Spark'ı AWS EC2 kılavuzunu kullanarak yükledim bin/pysparkve kıvılcım komut istemine ulaşmak için komut dosyasını kullanarak programı iyi başlatabilirim ve ayrıca Hızlı Başlangıç ​​işlemini başarılı bir şekilde yapabilirim. Ancak, hayatım boyunca INFOher komuttan sonra tüm ayrıntılı günlük kaydını nasıl durduracağımı anlayamıyorum . Ben her uygulamayı yanı sıra her düğüm üzerinde uygulamayı …

144 python  scala  apache-spark  hadoop  pyspark 

Ben bir CSV kıvılcım okumak ve DataFrame olarak dönüştürmek ve ile HDFS depolamak istiyorum df.registerTempTable("table_name") Denedim: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Aldığım hata: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Apache Parquet'in özellikleri: Kendinden açıklayan Sütunlu biçim Dil bağımsız Avro, Sıra Dosyaları, RC Dosyası vb. İle karşılaştırıldığında Biçimlere genel bir bakış istiyorum. Zaten okudum: Impala Hadoop Dosya Biçimleriyle Nasıl Çalışır, biçimler hakkında bazı bilgiler verir, ancak bu biçimlerin her birinde verilere erişimin ve verilerin depolanmasının nasıl yapıldığını bilmek istiyorum. Parkenin …

137 file  hadoop  hdfs  avro  parquet 

HDFS'den yerel dosya sistemine dosya kopyalama. Dosyanın altında fiziksel bir konum yoktur, dizin bile değildir. nasıl daha fazla doğrulama için onları yerelime taşındı. ben winscp denedim.

135 hadoop  copy  hdfs 

Bu biraz saf bir soru ama NoSQL paradigmasında yeniyim ve bu konuda pek bir şey bilmiyorum. Yani birisi HBase ve Hadoop arasındaki farkı anlamama yardımcı olabilirse veya farkı anlamama yardımcı olabilecek bazı ipuçları verebilirse. Şimdiye kadar biraz araştırma yaptım ve doğruladım. Anladığım kadarıyla Hadoop, HDFS'deki ham veri yığınlarıyla (dosyalar) çalışmak …

130 hadoop  nosql  hbase  hdfs  difference 

Her ikisinin de tablodaki bir sütunda yapıldığını biliyorum, ancak her işlem nasıl farklıdır.

130 hadoop  hive 

MapReduce'u uyguladığınız birçok gerçek yaşam durumunda, son algoritmalar birkaç MapReduce adımı olur. ör. Map1, Reduce1, Map2, Reduce2 vb. Böylece, bir sonraki harita için girdi olarak gerekli olan son azaltmanın çıktısına sahip olursunuz. Ara veriler, ardışık düzen başarıyla tamamlandıktan sonra (genel olarak) saklamak istemediğiniz bir şeydir. Ayrıca bu ara veriler genel …

124 hadoop  mapreduce 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs'de hiçbir şey oluşturamıyor yaptım root# bin/hadoop fs -safemode leave Ama gösteriyor safemode: Unknown command sorun nedir? Çözüm

122 hadoop  hdfs 

Göre Hadoop - The Definitive Guide FileInputFormats tarafından tanımlanan mantıksal kayıtlar, genellikle HDFS bloklarına düzgün bir şekilde sığmaz. Örneğin, TextInputFormat'ın mantıksal kayıtları, HDFS sınırlarını hiç olmadığı kadar sıklıkla aşan çizgilerdir. Bunun programınızın işleyişiyle bir ilgisi yoktur - örneğin, satırlar gözden kaçmaz ya da kopmaz - ancak veri-yerel haritalar (yani, kendi …

119 hadoop  split  mapreduce  block  hdfs 

Harita Azaltma programlamasında, azaltma aşamasının alt parçaları olarak karıştırma, sıralama ve azaltma vardır. Sıralama maliyetli bir meseledir. Map Reduce Programming'de redüktörde karıştırma ve sıralama aşamasının amacı nedir?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Biri bana Hive'ın dış tablosu ile iç tabloları arasındaki farkı söyleyebilir mi? Farkın masayı düşürdüğünde geldiğini biliyorum. Verilerle ne kastettiğinizi anlamıyorum ve meta veriler dahili olarak silinir ve harici tablolarda yalnızca meta veriler silinir. Biri beni düğümler açısından açıklayabilir mi lütfen?

110 hadoop  hive  hiveql