HDFS'den yerel dosya sistemine dosya kopyalama

135

HDFS'den yerel dosya sistemine dosya kopyalama. Dosyanın altında fiziksel bir konum yoktur, dizin bile değildir. nasıl daha fazla doğrulama için onları yerelime taşındı. ben winscp denedim.

hadoop copy hdfs

— Surya
kaynak

242

bin/hadoop fs -get /hdfs/source/path /localfs/destination/path
bin/hadoop fs -copyToLocal /hdfs/source/path /localfs/destination/path
Web tarayıcınızı HDFS WEBUI'ye ( namenode_machine:50070) yönlendirin, kopyalamak istediğiniz dosyaya göz atın, sayfayı aşağı kaydırın ve dosyayı indirmek için tıklayın .

— Tarık
kaynak

mükemmel tariq, anladım, dosya altında bir dosyanın fiziksel konumu yok, hatta dizin. bin / hadoop dfs -ls / use / hadoop / myfolder dosyayı görüntüleyebiliyorum, Gönderen bilgisini aldım Dosyayı incelemek için HDFS'den yerel dosya sistemine kopyalayabilirsiniz , bu yüzden onları winscp'den taşıyabilirim

— Surya

2

bir kez daha tarikattan bahsetmem gerekiyor, zaman ve bilgiye katkıda bulunduğunuz için çok teşekkürler. çok teşekkürler . çok destek verdiniz, bu benim gibi yeni bir bie için çok güven veriyor.

— Surya

1

Anlıyorum. Dosyanın içeriğini görmek veya dosyayı webui'de açmak istiyorsanız hdfs cat komutunu kullanabilirsiniz. Bu, dosyayı yerel fs'nize indirmenizi önler. Rica ederim. Ve sorularınızın cevaplarından% 100 memnunsanız, başkalarının bundan yararlanabilmesi için onları işaretleyebilirsiniz .. Sadece bu değil, genel olarak.

— Tarık

2

Latince yorumuma eklemek için, eğer bir ikili dosya ise, kedi size gerçek içeriği göstermez. Bir ikili dosyanın içeriğini görüntülemek için şunları kullanabilirsiniz: bin / hadoop fs -text / path / to / file

— Tariq

1

Bir hata (sabit) gibi görünüyor. Cevaba bakınız.

— Tarık

27

Hadoop 2.0'da,

hdfs dfs -copyToLocal <hdfs_input_file_path> <output_path>

nerede,

hdfs_input_file_path belki http://<<name_node_ip>>:50070/explorer.html
output_path dosyanın kopyalanacağı yerel yoludur.
getyerine de kullanabilirsiniz copyToLocal.

— Ani Menon
kaynak

15

Dosyaları HDFS'den yerel dosya sistemine kopyalamak için aşağıdaki komut çalıştırılabilir:

hadoop dfs -copyToLocal <input> <output>

<input>: kopyalamak istediğiniz HDFS dizin yolu (örn. / verilerim)
<output>: hedef dizin yolu (örn. ~ / Belgeler)

— Şefik
kaynak

1

Bu benim için işe yaramıyor. Her zaman <input> dosyası bulunamadı der. Cloudera'nın yüzde os 6.4 olan VM örneğini kullanıyorum

— SutharMonil

@SutharMonil Dosyanın gerçekten orada olduğundan emin misiniz? Oraya göz atabilir misiniz hadoop fs -ls?

— Dennis Jaheruddin

6

her iki şekilde de başarabilirsiniz.

1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>

Ör:

Dosyalarım /sourcedata/mydata.txt konumunda bulunuyor Dosyayı bu yoldaki Yerel dosya sistemine kopyalamak istiyorum / user / ravi / mydata

hadoop fs -get /sourcedata/mydata.txt /user/ravi/mydata/

— Ramineni Ravi Teja
kaynak

3

Kaynak "dosyanız", aynı dizin ağacında yaşayan birden fazla dosyaya bölünmüşse (belki de harita küçültme sonucunda), aşağıdakilerle yerel bir dosyaya kopyalayabilirsiniz:

hadoop fs -getmerge /hdfs/source/dir_root/ local/destination

— İsmini veren
kaynak

Bu kabul edilmelidir. Çoğu insanın aradığı şey bu, bölünmüş bir dosya değil.

— James O'Brien

2

Bu benim için Ubuntu VM örneğimde işe yaradı.

hdfs dfs -copyToLocal [hadoop dizini] [yerel dizin]

— Zach
kaynak

0

liman işçisi kullanıyorsanız aşağıdaki adımları uygulamanız gerekir:

dosyayı hdfs'den adenode (hadoop fs -get output / part-r-00000 / out_text) kopyalayın. "/ out_text" isim sayfasında saklanacak.
dosyayı adenode'dan yerel diske kopyalayın (docker cp namenode: / out_text output.txt)
output.txt geçerli çalışma dizininizde olacak

— Arslan
kaynak

-3

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path

— Hadoop manyak
kaynak

1

hdfs dfs -put, dosyaları yerel FS'den HDFS'ye aktarmak için kullanılan bir komuttur. hdfs dfs -get doğru seçenektir

— b_rousseau