beelineTüm kovan / hadoop ekosistemini dizüstü bilgisayarıma kurmak zorunda kalmadan kovan istemcisini nasıl kurabilirim ?
Uzak Hive veritabanını sorgulamak için kullanmak istiyorum.
beelineTüm kovan / hadoop ekosistemini dizüstü bilgisayarıma kurmak zorunda kalmadan kovan istemcisini nasıl kurabilirim ?
Uzak Hive veritabanını sorgulamak için kullanmak istiyorum.
Yanıtlar:
Beeline / kovanı kurmak gerekli değildir. Tek yapmanız gereken sisteminizden ilgili kavanozları toplamak ve kopyalamak ve tek bir klasöre yerleştirmektir.
Diyelim ki, beeline'ın olduğu bir kaynak sistemimiz ve beeline'ı çalıştırmak istediğiniz bir hedef sistemimiz var.
Kaynak sistemde ilgili kavanozları tek bir klasörde toplayın. İlgili kavanozları tanımlamanın en iyi yolu jvm seçeneğini kullanmaktır:-verbose:class
Yani, javakaynak sistemde tipik bir beeline komut çağrısını çoğaltacak bir komut verebilmelisiniz .
Ardından bu dosyaları hedef sistemdeki bir klasöre kopyalayın. daha sonra basitleştirmek cdiçin o klasöre gidin -classpath.
Bir HDP 2.5 Hortonworks dağıtımı kullanıyorum. Benim için, hedef sistemde aşağıdaki çağırma çalışır:
java -Xmx1024m -classpath apache-log4j-extras-1.2.17.jar:avatica-1.8.0.2.5.0.0-1245.jar:calcite-core-1.2.0.2.5.0.0-1245.jar:calcite-linq4j-1.2.0.2.5.0.0-1245.jar:commons-cli-1.2.jar:commons-codec-1.4.jar:commons-collections-3.2.2.jar:commons-configuration-1.6.jar:commons-lang-2.6.jar:commons-logging-1.1.3.jar:curator-client-2.6.0.jar:curator-framework-2.6.0.jar:derby-10.10.2.0.jar:guava-14.0.1.jar:hadoop-annotations-2.7.3.2.5.0.0-1245.jar:hadoop-auth-2.7.3.2.5.0.0-1245.jar:hadoop-common-2.7.3.2.5.0.0-1245.jar:hadoop-mapreduce-client-core-2.7.3.2.5.0.0-1245.jar:hive-beeline-1.2.1000.2.5.0.0-1245.jar:hive-exec-1.2.1000.2.5.0.0-1245.jar:hive-jdbc-1.2.1000.2.5.0.0-1245.jar:hive-jdbc-1.2.1000.2.5.0.0-1245-standalone.jar:jce.jar:jline-2.12.jar:jsse.jar:log4j-1.2.16.jar:rt.jar:slf4j-log4j12-1.7.10.jar:sunec.jar:sunjce_provider.jar:super-csv-2.2.0.jar:xercesImpl-2.9.1.jar -Dhdp.version=2.5.0.0-1245 -Djava.net.preferIPv4Stack=true -Dhdp.version=2.5.0.0-1245 -Dhadoop.log.dir=/home/userid -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/home/userid -Dhadoop.id.str=userid -Dhadoop.root.logger=INFO,console -Djava.library.path=:/home/userid -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Djava.util.logging.config.file=/home/userid/parquet-logging.properties -Dlog4j.configuration=beeline-log4j.properties -Dhadoop.security.logger=INFO,NullAppender org.apache.hadoop.util.RunJar /home/userid/hive-beeline-1.2.1000.2.5.0.0-1245.jar org.apache.hive.beeline.BeeLine -n userid -p pass -u "jdbc:hive2://knox.company.com:8000/;ssl=true;transportMode=http;httpPath=gateway/tdcprd/hive"
Bazı parametreler muhtemelen gerekli değildir, ancak onları tuttum çünkü kaynak sistemde böyle yapılır. Kaynak sistemin java çağırma işlevini referans desen olarak kullanmalısınız.