«hadoop» etiketlenmiş sorular

Windows 10 üzerinde çalışıyorum ve Hadoop'u yüklemeye çalışıyorum Bunu indirilen buradan . Dosyalar için Hadoop ayıklamaya çalışırken ( libhdfs.sove libhadoop.so) ben hata alıyorum. Cannot create symbolic link : Access is denied Bunu nasıl düzeltirim?

19 windows-10  symbolic-link  7-zip  hadoop 

Aşağıdaki web referansını kullanarak ubuntu 12.04 (kesin) sistemime cdh3 sözde modu kurdum cdh3 yükleme-ubuntu12.04 şimdi cdh3 yerine cdh4 yüklemeye çalıştı ama maalesef cdh4 sadece cdh4 installation.so pf yarı yolda sırasında ubuntu sürümünde 64 bit desteklediği, cdh4 kaldırmak için çalıştı ve sırasında, yukarıdaki bağlantıyı kullanarak cdh3 yüklü sudo apt-get install hadoop-0.20-conf-pseudoi …

1 linux  ubuntu  installation  uninstall  hadoop 

Stok Apache Hadoop 1.1.1 kullanıyorum ve aşağıdakilerden dolayı başlamak için bir datanode alamıyorum: 2015-04-23 09:12:48,138 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2015-04-23 09:12:48,152 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 2015-04-23 09:12:48,154 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 2015-04-23 09:12:48,154 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started 2015-04-23 09:12:48,254 …

1 linux  hard-drive-failure  hadoop 

Cygwin ve Hadoop'ta yeniyim, lütfen kimse açıklayabilir hangi ayna bağlantı cygwin yüklemek için uygun hadoop'un hangi sürümü hatasızdır ( .shiyi çalışır) çalıştırmadan önce aşağıdaki komutları çalıştırmak zorunda mı ssh-host-config $ chmod + r / etc / passwd $ chmod u + w / etc / passwd $ chmod + r …

1 windows  eclipse  hadoop  cygwin 

Özel anahtar için bir parola olmadan Amazon EC2 bulutunda 3 linux örneği oluşturmuştum. Özel anahtarı kölelere ssh yapabilmeleri için örneklerimden (ana) bir id_rsa dosyasında saklamıştım. Düğümlerimdeki hadoop yapılandırma sürecinde yaşıyorum. Ancak, ana düğümde hadoop'u yapılandırdıktan sonra, scp kullanarak konfigürasyonu köle içine itmeye çalıştığımda, id_rsa dosyası için parola girmem isteniyor. Boş …

ssh  scp  amazon-ec2  hadoop  passphrase 

Hadoop kümesindeki Cygwin'de bir iş yaparken izin başarısız oldu. $ bin/hadoop jar hadoop-examples-*.jar wordcount inputwords outputwords2 Patch for HADOOP-7682: Instantiating workaround file system 13/09/19 16:37:39 INFO input.FileInputFormat: Total input paths to process : 1 13/09/19 16:37:41 INFO mapred.JobClient: Running job: job_201309191635_0002 13/09/19 16:37:42 INFO mapred.JobClient: map 0% reduce 0% 13/09/19 …

ssh  unix  java  cygwin  hadoop 

Özetle, işte benim örnek kod. file1 = CSV ile ayrılmış dosya, 1000 satır file2 = CSV ayrılmış dosya, 3000 satır file3 = CSV ile ayrılmış dosya, 10000 satır hdfs dfs - giriş dosya1 / ana sayfa / new_hdfs_file hdfs dfs -appendToFile file2 / home / new_hdfs_file hdfs dfs -appendToFile file3 …

linux  database  hadoop 

Bir HDFS Federasyonu yapılandırmaya çalışıyorum. Bu nedenle, $ cat etc/hadoop/hdfs-site.xmlher iki ana bilgisayarda da (hadoop-coc-1 ve hadoop-coc-2) yapılandırdım. Sorun şu ki, bu yapılandırmada yerel diskten HDFS'ye veri kopyalamak istiyorum, ancak yapamıyorum. Aşağıdaki komutları denedim ve bir hata alıyorum: `` `$ hdfs dfs -copyFromLocal ~ / input1 webhdfs: // hadoop-coc-1 / …

hadoop