«hdfs» etiketlenmiş sorular

Ben bir CSV kıvılcım okumak ve DataFrame olarak dönüştürmek ve ile HDFS depolamak istiyorum df.registerTempTable("table_name") Denedim: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Aldığım hata: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Apache Parquet'in özellikleri: Kendinden açıklayan Sütunlu biçim Dil bağımsız Avro, Sıra Dosyaları, RC Dosyası vb. İle karşılaştırıldığında Biçimlere genel bir bakış istiyorum. Zaten okudum: Impala Hadoop Dosya Biçimleriyle Nasıl Çalışır, biçimler hakkında bazı bilgiler verir, ancak bu biçimlerin her birinde verilere erişimin ve verilerin depolanmasının nasıl yapıldığını bilmek istiyorum. Parkenin …

137 file  hadoop  hdfs  avro  parquet 

HDFS'den yerel dosya sistemine dosya kopyalama. Dosyanın altında fiziksel bir konum yoktur, dizin bile değildir. nasıl daha fazla doğrulama için onları yerelime taşındı. ben winscp denedim.

135 hadoop  copy  hdfs 

Bu biraz saf bir soru ama NoSQL paradigmasında yeniyim ve bu konuda pek bir şey bilmiyorum. Yani birisi HBase ve Hadoop arasındaki farkı anlamama yardımcı olabilirse veya farkı anlamama yardımcı olabilecek bazı ipuçları verebilirse. Şimdiye kadar biraz araştırma yaptım ve doğruladım. Anladığım kadarıyla Hadoop, HDFS'deki ham veri yığınlarıyla (dosyalar) çalışmak …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. hdfs'de hiçbir şey oluşturamıyor yaptım root# bin/hadoop fs -safemode leave Ama gösteriyor safemode: Unknown command sorun nedir? Çözüm

122 hadoop  hdfs 

Göre Hadoop - The Definitive Guide FileInputFormats tarafından tanımlanan mantıksal kayıtlar, genellikle HDFS bloklarına düzgün bir şekilde sığmaz. Örneğin, TextInputFormat'ın mantıksal kayıtları, HDFS sınırlarını hiç olmadığı kadar sıklıkla aşan çizgilerdir. Bunun programınızın işleyişiyle bir ilgisi yoktur - örneğin, satırlar gözden kaçmaz ya da kopmaz - ancak veri-yerel haritalar (yani, kendi …

119 hadoop  split  mapreduce  block  hdfs 

Harita Azaltma programlamasında, azaltma aşamasının alt parçaları olarak karıştırma, sıralama ve azaltma vardır. Sıralama maliyetli bir meseledir. Map Reduce Programming'de redüktörde karıştırma ve sıralama aşamasının amacı nedir?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Eşit olmaları mı gerekiyor? ama, neden " hadoop fs" komutları göstermek hdfs filesise " hdfs dfs" komutları yerel dosyaları göstermek? hadoop sürüm bilgisi: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Derleyen jenkins, Pzt 22:48:26 PDT 2013

109 hadoop  hdfs 

du -shYaygın Linux dosya sistemlerinde biliyorum . Peki bunu HDFS ile nasıl yapmalı?

99 hadoop  command-line  directory  hdfs