Daha hızlı s3 kova çoğaltma

Paketleri kopyalamak için s3cmd'den daha iyi bir komut satırı aracı bulmaya çalışıyorum . s3cmdher dosyayı indirmek ve yüklemek zorunda kalmadan paketleri çoğaltabilir. Normalde s3cmd kullanarak paketleri kopyalamak için çalıştırdığım komut şudur:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

Bu işe yarar, ancak her dosyayı API aracılığıyla birer birer kopyaladığından çok yavaştır. Eğer s3cmdparalel modda çalıştırabilir, çok mutlu olurum.

İnsanların daha hızlı olan paketleri çoğaltmak için kullandıkları komut satırı araçları veya kod olarak kullanılabilen başka seçenekler var s3cmdmı?

Düzenleme: Görünüşe göre s3cmd-modifikasyonu tam olarak aradığım şey. Ne yazık ki işe yaramıyor. Başka seçenek var mı?

AWS CLI işi mükemmel bir şekilde yapıyor gibi görünüyor ve resmi olarak desteklenen bir araç olma avantajına sahip.

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Varsayılan olarak eşzamanlı transferleri destekler. Bkz. Http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

Çok sayıda küçük dosyayı hızlı bir şekilde aktarmak için, komut dosyasını bir EC2 bulut sunucusundan çalıştırın ve gecikmeyi max_concurrent_requestsazaltın ve gecikmenin etkisini azaltmak için artırın . Örneğin:

aws configure set default.s3.max_concurrent_requests 200

AWS konsolunu kullanmaktan çekinmiyorsanız şunları yapabilirsiniz:

1. İlk paketteki tüm dosyaları / klasörleri seçin
2. İşlemler> Kopyala'yı tıklayın
3. Yeni bir paket oluşturun ve seçin
4. Eylemler> Yapıştır'ı tıklayın

Hala oldukça yavaş, ancak onu rahat bırakabilir ve işini yapmasına izin verebilirsiniz.

AWS web konsolu olan s3cmdve AWS CLI'yi kullanarak iki paket klonlamayı denedim . Bu yöntemler çoğu zaman işe yarasa da ağrılı bir şekilde yavaştır.

Sonra buldum s3s3mirror: iki S3 kovasını senkronize etmek için özel bir araç. Çok iş parçacıklı ve denediğim diğer yaklaşımlardan çok daha hızlı. Giga baytlık veriyi bir AWS bölgesinden diğerine hızla taşıdım.

Şuradan kontrol edin: https://github.com/cobbzilla/s3s3mirror veya bir Docker kabı indirmek https://registry.hub.docker.com/u/pmoust/s3s3mirror/

Anlık çözüm için paketler aws cliarasında senkronizasyon yapmak için kullanın :

aws s3 synchız şunlara bağlıdır:
- S3 uç noktasına API çağrısı için gecikme
- eşzamanlı olarak yapılan API çağrılarının miktarı

Senkronizasyon hızını artırmak için:
- aws s3 syncbir AWS bulut sunucusundan çalıştırın (FreeBSD'de c3.large TAMAM ;-))
- ~ / .aws / config'i şu şekilde güncelleyin:
- max_concurrent_requests = 128
-max_queue_size = 8096

aşağıdaki yapılandırma ve örnek türü ile grubu (309GB, 72K dosyalar, us-east-1) 474 saniye içinde senkronize edebildim.

Daha genel bir çözüm için AWS DataPipeLine veya S3 bölgeler arası çoğaltmayı göz önünde bulundurun.

Bu, Google'ın bu konudaki ilk vuruşuyla ilgili olduğu için, ekstra bilgiler ekliyor.

"Cyno", artık paketten pakete paralel senkronizasyonu destekleyen s3cmd modifikasyonunun daha yeni bir sürümünü yaptı. Ben de tam olarak beklediğim şey.

Çekme talebi https://github.com/pcorliss/s3cmd-modification/pull/2 adresinde , sürümü https://github.com/pearltrees/s3cmd-modification adresindedir.

Başka bir S3 komut satırı aracı bilmiyorum, ancak burada hiçbir şey çıkmazsa, en kolayı kendinizinkini yazmak olabilir.

Tercih ettiğiniz Amazon SDK / Toolkit'i seçin. Ardından, kaynak paket içeriğini listelemeniz / almanız ve her bir dosyayı kopyalamanız gerekir (tabii ki paralel olarak)

S3cmd-modifikasyonu için kaynağa baktığımda (ve python hakkında hiçbir şey bilmediğimi kabul ediyorum), paketten pakete kodu paralelleştirmemiş gibi görünüyorlar, ancak belki de standart karşıya yükleme / indirme paralel kodunu başlangıç ​​noktası olarak kullanabilirsiniz. Bunu yap.

basit bir aws s3 cp s3://[original-bucket] s3://[backup-bucket] --recursiveişe yarıyor (aws cli kurulumunuz olduğunu varsayarak)