BASH'de dosyaları standart çıktıya dökmek için AWS S3 CLI nasıl kullanılır?

S3'te bir yol alacak ( ls komutunda belirtildiği gibi ) ve tüm dosya nesnelerinin içeriğini stdout. Esasen cat /path/to/files/*S3 haricinde çoğaltma yapmak istiyorum , örn s3cat '/bucket/path/to/files/*'. Seçeneklere baktığım ilk eğilim, cpkomutu geçici bir dosyaya kullanmak ve sonra cato.

Bunu veya benzerini deneyen oldu mu yoksa zaten bulamadığım bir komut var mı?

tüm dosya nesnelerinin içeriğini standart çıktıya döker.

Komutun -hedefine geçerseniz bunu başarabilirsiniz aws s3 cp. Örneğin $ aws s3 cp s3://mybucket/stream.txt -,.

Yapmaya çalıştığın şey böyle bir şey mi? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

AWS CLI'nin "-" 'ye kopyalamayı desteklemeyen bir sürümünü kullanıyorsanız / dev / stdout'u da kullanabilirsiniz:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

Ayrıca, --quietbayrağın çıktınıza aşağıdaki gibi bir özet satırının eklenmesini engellemesini de isteyebilirsiniz :

download: s3: //mybucket/stream.txt to ../../dev/stdout

S3streamcat kullanmayı deneyebilirsiniz , bzip, gzip ve xz formatlarını da destekler.

İle yükle

sudo pip install s3streamcat

Kullanım:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Ah ha!

https://pypi.python.org/pypi/s3cat/1.0.8

Uzunluk gereksinimini karşılamak için daha fazla karakter yazıyorum.

Bunu BASH kullanarak başarmak isterseniz, AWS Komut Satırı Arayüzü (CLI) gibi harici bir uygulamaya çağrı yapmanız gerekir . CAT eşdeğeri yoktur, bu nedenle dosyayı yerel olarak kopyalamanız ve ardından CAT'e ihtiyacınız olacaktır.

Alternatif olarak, Python, PHP, Java gibi diller için mevcut olan AWS SDK'yı doğrudan çağıran bir uygulamayı kullanabilir / yazabilirsiniz. SDK kullanılarak dosya içerikleri bellekte alınabilir ve ardından stdout'a gönderilebilir.