Dizin yapısını bozulmadan AWS S3 kovasına kopyalayın

Tam bir dizin yapısını S3 bir kovaya kopyalamak için AWS S3 cli kullanmak istiyorum.

Şimdiye kadar, denediğim her şey, dosyaları kovaya kopyalar, ancak dizin yapısı daraltılır. (başka bir yolla söylemek gerekirse, her dosya kepçenin kök dizinine kopyalanır)

Kullandığım komut:

aws s3 cp --recursive ./logdata/ s3://bucketname/

Ayrıca kaynak tanımlamamdaki (yani, argümandan kopya) sondaki kesik çizgiyi bırakmayı da denedim. Ayrıca tüm dosyaları belirlemek için bir joker kullandım ... denediğim her şey günlük dosyalarını sadece kovanın kök dizinine kopyalar.

Senkronizasyonun istediğiniz yöntem olduğuna inanıyorum. Bunun yerine şunu deneyin:

aws s3 sync ./logdata s3://bucketname/

Bu komutlardan birini kullanırken bu hatayla karşılaştım .

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

S3 kovasını yerel olarak monte etmeyi bile düşündüm ve daha sonra binlerce dosyaya sahip olduğum için başarısız oldu (ya da birkaç saat bekletilince bile) rsync'i çalıştırdım.

Sonunda, s3cmd bir cazibe gibi çalıştı.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

Bu sadece işi iyi yapmakla kalmıyor ve konsolda oldukça ayrıntılı bir çıktı gösteriyor, aynı zamanda parçalara büyük dosyalar yüklüyor.

Aşağıdaki benim için çalıştı:

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

AWS daha sonra " this_directoryyerel " hale getirir ve içine tüm yerel içerikleri kopyalar.

Klasör yapısını kopyalamak için aşağıdaki betiği kullanın:

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

Ben alamadım s3 syncya s3 cpbinlerce dosya ve iç üzerinde 2 düzine alt dizinleri ile 55 GB klasörü işe. Tüm klasörü senkronize etmeye çalışmak awscli'nin kovaya hiçbir şey yüklemeden sessizce başarısız olmasına neden olacaktır.

Bunu, önce tüm alt dizinleri ve içeriklerini senkronize etmek üzere bitirdi (klasör yapısı korunuyor):

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

Sonra bunu 30.000 dosyayı en üst seviyeye çıkarmak için yaptım:

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

Sunucudaki yükü izlediğinizden emin olun ( wsadece yükü göstermek için kullanabileceğiniz koruyucu ) ve ctrl-zyük çok yükselirse komutu askıya aldığınızdan emin olun. ( fgtekrar devam etmek için).

Benzer bir durumda olan birine yardım etmesi durumunda bunu buraya koymak.

Notlar:

-mindepth 1 dışlayan .

-maxdepth 1s3 syncbunları başarılı bir şekilde ele aldığından alt dizinlerin içeriğini listelemeyi engeller .

cut -c 3- Bulunan her sonucun başındaki "./" işaretini kaldırır.

Alternatif olarak aka minio müşteri deneyebilirsiniz mc

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

Umarım yardım eder.

Not: Ben projeye katkıda bulunanlardan biriyim.

( Shishir'in çözümünün iyileştirilmesi )

• Aşağıdaki betiği bir dosyaya kaydedin (Dosyayı adlandırdım s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• Aşağıdaki gibi çalıştırın:
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  Örneğin s3Copy.sh, ana dizinde kayıtlıysa ve geçerli dizinde bulunan tüm dosyaları ve dizinleri kopyalamak istiyorsanız, şunu çalıştırın:
  ~/s3Copy.sh . s3://XXX/myBucket

Kolayca diğer argümanlar sağlamak için komut dosyasını s3 cpgibi --include, --exclude...