Hadoop'ta, mevcut -copyFromLocal işleminin nasıl gösterileceği

Hadoop'un yeni öğrenen biriyim ve bu sefer 106GB'lık bir dosyayı işlemeye çalışıyordum. Kullandığım -copyFromLocalbenim Hadoop DFS o büyük dosyayı kopyalamak için, ancak dosya büyük olduğundan ben şimdiki kopyalama durumu hakkında bir ipucu olmadan uzun süre beklemek zorunda.

Bu komutla geçerli dosya kopyalama durumunu göstermenin bir yolu var mı?

Yardımınız için şimdiden teşekkürler!

CopyFromLocaldosya kopyalama ilerlemesini görüntüleme yeteneği yoktur. Alternatif olarak, başka bir kabuk açabilir ve $ watch hadoop fs -ls <filenameyouarecopying>. Bu, dosyayı ve boyutunu her 2.0 saniyede bir görüntüler.

pvKomut kullanarak yerel dosyanın okuma ilerlemesini izlemek ve dosya içeriğini hdfs dfsstdin'e bağlamak da mümkündür :

pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt

Herhangi bir copy komutunda (copyFromLocal, copyToLocal, get, put) ayrıntılı bir seçenek yok gibi görünüyor. En iyi seçeneğiniz, ilerlemesini ölçmek için HDFS'deki hedefindeki dosyanın boyutuna bakmaktır.

Kopyalamayı arka plan işlemi olarak yürütmek için "nohup &" kullanabilirsiniz. nohup, sunucudan çıktıktan sonra bile işlemi yürütür. İhtiyacınız olduğunda, "hadoop fs -ls" kullanarak işlemi kontrol edebilirsiniz.