Apache Hadoop'u Mac Mavericks'e Kurmak

Mac bilgisayarıma Apache Hadoop'u (2.4.1) yüklerken çok zorlanıyorum. (OS 10.9) Yüklemek için bir öğretici izledim ve şu anda benim sorunum şu:

1. Hadoop'un gerçekten "doğru" yüklü olup olmadığından emin değilim. Yazma hadoop version 2.4.1 gösterir ancak çalışıyor start-all.sh uzun bir uyarı listesi gösterir.
2. Hadoop'un ağ üzerinde her yerde olduğu gibi örnek bir program (WordCount.java) çalıştırarak doğru bir şekilde kurulup kurulmadığını kontrol etmeyi düşündüm. Şimdi Eclipse Luna'yı kurdum ama “Eclipse'i Hadoop ile nasıl entegre edersiniz?” Resmini göstermek için takip ettiğim rehber bana '../libexec'ten gelen bütün kavanozları ithal etmemi söylüyor ama Hadoop 2.4.1 için kavanoz yok, en azından hiçbiri bulabilirdim.
3. Şu anda / usr / local / dizininde hadoop-2.4.1 adlı 3 dizin, hadoop (sanırım buna bir işaret) ve Cellar adlı bir dizin var. Şimdi her üç dizinde de Hadoop ve lib, lib exec gibi birçok alt dizine göre bazı alt dizinler var. Şimdi hangisinin hangi amaç için olduğunu nasıl bilebilirim. Diğer her eğitimde kullanılacak farklı bir dizine atıfta bulunuluyor, bana Hadoop'un yüklenmesini sağlayan örnek, örnek bir Hadoop haritası azaltma uygulamasının nasıl test edileceği hakkında biraz bahsetmiyor.

Apache Hadoop için HortonWorks Sandbox'ı bile denedim. Ancak makinelerim 4GB RAM, bu mamut uygulamasının çalışması ve sistemimin çalışması için çok küçük görünüyor! Projeyle ilgili işlerim için bunun çalışmasını sağlamalıyım, içten yardım bekliyoruz.

1. Benim durumumda start-all.sh Yerinden çıktığını ve kullanmam gerektiğini söylüyor start-dfs.sh ve start-yarn.sh. Her ikisi de hata vermez veya çıktı konusunda uyarı vermez (hem yerel hem de yerel küme hdfs için).

2. Hadoop 2.4.1'de ortak kütüphanelere sahip kavanozlar bulunmaktadır. /libexec/share/hadoop/ ve aşağıdaki alt dizinler. Basit MapReduce uygulamalarını çalıştırmak için eklemek yeterli mapreduce/hadoop-mapreduce-client-core-2.4.1.jar ve common/hadoop-common-2.4.1.jar.

3. Ben demlemek versiyonunu kullandım, bu yüzden benimkinin altında /usr/local/Cellar/hadoop/2.4.1/. Bunu kolaylaştırmak için dizine işaret etmek üzere env değişkenini kullanıyorum.

Emin değilim, ancak bazı uygulamalar ile çevreyi test etmek için 4 GiB RAM. Asmamalı.