«hadoop» etiketlenmiş sorular

MapReduce'un gücünü göstermede kullanılan ana örneklerden biri Terasort karşılaştırmasıdır . MapReduce ortamında kullanılan sıralama algoritmasının temellerini anlamakta güçlük çekiyorum. Bana göre sıralama, basitçe bir öğenin diğer tüm öğelerle olan göreceli konumunu belirlemeyi içerir. Yani sıralama, "her şeyi" "her şey" ile karşılaştırmayı içerir. Ortalama sıralama algoritmanız (hızlı, kabarcık, ...) bunu basitçe …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

En son hadoop-2.2 sürümü için namenode başlatılırken aşağıdaki hatayı alıyorum. Winutils exe dosyasını hadoop bin klasöründe bulamadım. Aşağıdaki komutları denedim $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe …

109 hadoop 

Eşit olmaları mı gerekiyor? ama, neden " hadoop fs" komutları göstermek hdfs filesise " hdfs dfs" komutları yerel dosyaları göstermek? hadoop sürüm bilgisi: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Derleyen jenkins, Pzt 22:48:26 PDT 2013

109 hadoop  hdfs 

du -shYaygın Linux dosya sistemlerinde biliyorum . Peki bunu HDFS ile nasıl yapmalı?

99 hadoop  command-line  directory  hdfs 

Kapalı. Bu soru Yığın Taşması yönergelerini karşılamıyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek mi istiyorsunuz? Stack Overflow için konuya uygun olması için soruyu güncelleyin . 4 yıl önce kapalı . Bu soruyu geliştirin Bu yüzden, Hadoop'a büyük bir ilgiyle bakıyordum ve dürüst olmak gerekirse, büyüleniyorum, işler pek …

98 c#  .net  hadoop  mapreduce 

NaiveBayesClassiferHadoop kullanarak basit bir çalıştırmaya çalışıyorum , bu hatayı alıyorum Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Kod: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in …

97 java  hadoop  io 

Hadoop ile ilgili projem için hadoop dosya formatlarından birini kullanmayı planlıyorum. Parkenin sütun tabanlı sorgulama için ve tam tarama için veya tüm sütun verilerine ihtiyacımız olduğunda avro için verimli olduğunu anlıyorum ! Devam etmeden ve dosya formatlarından birini seçmeden önce, birinin diğerine göre dezavantajlarının / dezavantajlarının neler olduğunu anlamak istiyorum. …

92 hadoop  avro  parquet 

Spark ve Hadoop arasında herhangi bir bağımlılık var mı? Eğer değilse, çalıştırdığınızda ben özleyeceğim herhangi özellikler vardır Spark olmadan Hadoop'un ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

Yerel makineme hadoop kurarken aşağıdaki hatayı aldım ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection refused ssh: connect to host …

90 linux  hadoop  ssh 

Hangi Hive sürümünü kullandığımı komut isteminden nasıl bulabilirim. Ayrıntılar aşağıdadır- Kovan tablosuna bağlanmak ve tablolardaki kayıtlara erişmek için Putty kullanıyorum. Yani yaptığım şey - Putty'yi açtım leo-ingesting.vip.name.comve yazdığım ana bilgisayar adına - ve sonra tıkladım Open. Ve sonra kullanıcı adımı ve şifremi girdim ve ardından Hive sql'ye ulaşmak için birkaç …

89 hadoop  hive 

Hive ile kullanılabilen depolama formatları üzerinde birkaç test yapıyorum ve ana seçenekler olarak Parquet ve ORC'yi kullanıyorum. ORC'yi bir kez varsayılan sıkıştırmayla ve bir kez de Snappy ile dahil ettim. ORC'ye kıyasla Parquet'in zaman / mekan karmaşıklığında daha iyi olduğunu belirten birçok belge okudum, ancak testlerim geçtiğim belgelerin tam tersi. …

88 hadoop  hive  parquet  snappy  orc 

Hadoop v1'de, her 7 eşleyici ve düşürücü yuvasını 1 GB boyutunda atadım, eşleyicilerim ve indirgeyicilerim sorunsuz çalışıyor. Makinemde 8G bellek, 8 işlemci var. Şimdi YARN ile aynı uygulamayı aynı makinede çalıştırdığımda konteyner hatası alıyorum. Varsayılan olarak şu ayarlara sahibim: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> …

85 hadoop  mapreduce  yarn  mrv2 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Cevapların gerçekler, referanslar veya uzmanlıkla desteklenmesini bekliyoruz, ancak bu soru büyük olasılıkla münazara, münakaşalar, anketler veya uzun tartışmalar gerektirecektir. Bu sorunun iyileştirilebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, rehberlik için yardım merkezini ziyaret edin . 8 yıl önce kapalı . Büyük …

84 nosql  hadoop  cassandra  hbase  data-processing 

Hadoop'ta azaltma görevleri ne zaman başlar? Haritacıların belirli bir yüzdesi (eşiği) tamamlandıktan sonra mı başlıyorlar? Öyleyse, bu eşik sabit mi? Tipik olarak ne tür bir eşik kullanılır?

82 hadoop  mapreduce  reduce