Dosyaları S3 paketleri arasında taşımanın en iyi yolu?

Bazı dosyaları bir üretim paketinden bir geliştirme paketine günlük olarak kopyalamak istiyorum.

Örneğin: productionbucket / feed / feedname / date'ı developmentbucket / feed / feedname / date konumuna kopyalayın

İstediğim dosyalar klasör yapısında çok derin olduğundan, her klasöre gidip kopyalayıp yapıştırmak çok zaman alıyor.

Her bir gruba sürücü takmak ve bir Windows toplu komut dosyası yazmakla uğraştım, ancak bu çok yavaş ve tüm dosyaları / klasörleri gereksiz yere yerel sunucuya indiriyor ve tekrar yedekliyor.

Güncelleme

As Alberge tarafından işaret (+1), günümüzde mükemmel AWS Komut Satırı Arabirimi (neredeyse) her şeyi AWS ile etkileşim için çok yönlü bir yaklaşım sağlar - bu arada en hizmetlerin API'leri kapsar ve ayrıca özellikleri üst düzey S3 komutları ile başa çıkmak için senin özel olarak kullanın, S3 için AWS CLI referansına bakın :

• sync - Dizinleri ve S3 öneklerini senkronize eder. Kullanım durumunuz Örnek 2 kapsamındadır (daha ayrıntılı kullanım --exclude,--include vb taşıma önek de kullanılabilir):

  Aşağıdaki sync komutu, s3 nesnelerini kopyalayarak, belirli bir önek ve paket altındaki nesneleri, belirtilen başka bir önek ve paket altındaki nesnelere senkronize eder. [...]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Tamlık için, daha düşük seviyeli S3 komutlarının s3api alt komutu aracılığıyla hala mevcut olduğundan bahsedeceğim ; bu, herhangi bir SDK tabanlı çözümü, daha yüksek seviye işlevselliğini nihayetinde benimsemeden önce doğrudan AWS CLI'ye çevirmeye izin verecektir.

İlk Cevap

Dosyaları S3 paketleri arasında taşımak, PUT Object - Copy API (ardından DELETE Object ) aracılığıyla gerçekleştirilebilir:

PUT işleminin bu uygulaması, Amazon S3'te zaten depolanan bir nesnenin bir kopyasını oluşturur. Bir PUT kopyalama işlemi, bir GET ve ardından bir PUT gerçekleştirmekle aynıdır. İstek başlığı x-amz-copy-source eklenmesi, PUT işleminin kaynak nesneyi hedef pakete kopyalamasını sağlar. Kaynak

Mevcut tüm AWS SDK'ları için ilgili örnekler vardır, bkz . Tek Bir İşlemde Nesneleri Kopyalama . Doğal olarak, komut dosyası tabanlı bir çözüm burada bariz ilk tercih olacaktır, bu nedenle Ruby için AWS SDK Kullanarak Bir Nesneyi Kopyalayın iyi bir başlangıç ​​noktası olabilir; Bunun yerine Python'u tercih ederseniz, aynısı boto ile de elde edilebilir, tabii ki copy_key()boto'nun S3 API dokümantasyonundaki yönteme bakın .

PUT Objectyalnızca dosyaları kopyalar; bu nedenle, DELETE Objectbaşarılı bir kopyalama işleminden sonra bir dosyayı hareketsiz olarak açıkça silmeniz gerekir , ancak bu, grubu ve dosya adlarını işleyen genel komut dosyası yerine geldiğinde yalnızca birkaç satır daha olacaktır (ilgili örnekler de vardır) bkz. örneğin İstek Başına Bir Nesneyi Silme ).

Yeni resmi AWS CLI, .NET Framework'ün işlevselliğinin çoğunu yerel olarak destekler s3cmd. Daha önce s3cmdböyle şeyler yapmak için Ruby AWS SDK'yı kullanıyordum , ancak resmi CLI bunun için harika çalışıyor.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Bunun için gerekli kopyaları paralel hale getirmek için kendi özel aracımı yazmak için günler harcadım, ancak daha sonra paketleri büyük paralelleştirme ile senkronize etmek için AWS S3 CLI senkronizasyon komutunu nasıl edineceğime dair belgelerle karşılaştım . Aşağıdaki komutlar, AWS CLI'ye işleri yürütmek için (her biri küçük bir dosya veya çok parçalı bir kopyanın bir parçası) 1.000 iş parçacığı kullanmasını ve 100.000 işi ileriye bakmasını söyleyecektir:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Bunları çalıştırdıktan sonra, aşağıdaki gibi basit senkronizasyon komutunu kullanabilirsiniz:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

Bir m4.xlarge makinesinde (AWS'de - 4 çekirdekli, 16 GB RAM), benim durumum için (3-50 GB dosya) senkronizasyon / kopyalama hızı yaklaşık 9,5 MiB / sn'den 700 + MiB / sn'ye çıktı, Varsayılan yapılandırmaya göre 70x.

Güncelleme: S3CMD'nin yıllar içinde güncellendiğini ve bu değişikliklerin artık yalnızca çok sayıda küçük dosyayla çalışırken etkili olduğunu unutmayın. Ayrıca, Windows'ta (yalnızca Windows'ta) S3CMD'nin genel işlem hacmi açısından ciddi şekilde sınırlı olduğunu ve hangi bulut sunucusu boyutu veya ayarları kullanırsanız kullanın işlem başına yalnızca 3 Gb / sn'ye ulaşabileceğini unutmayın. S5CMD gibi diğer sistemlerde de aynı sorun var. Bunun hakkında S3 ekibiyle konuştum ve araştırıyorlar.

Bir kovadan diğerine veya aynı kovaya taşımak / kopyalamak için s3cmd aracını kullanıyorum ve iyi çalışıyor. Örneğin:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

.NET Örneği istendiği gibi:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

müşteri gibi

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Daha iyi bir yol olabilir, ancak bazı dosyaların aktarılmasını sağlamak için yazdığım hızlı bir kod.

AWS içinde bir unix ana makineniz varsa, s3tools.org'dan s3cmd'yi kullanın. Anahtarınızı geliştirme paketinize okuma erişimi sağlayacak şekilde izinleri ayarlayın. O zaman koş:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Benim için şu komut çalıştı:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Bunu yapmak için bir yakut sınıfı: https://gist.github.com/4080793

Örnek kullanım:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

Aslında son zamanlarda AWS s3 arayüzünde kopyala + yapıştır işlemini kullanıyorum. Kopyalamak istediğiniz dosyalara gidin, "İşlemler" -> "Kopyala" yı tıklayın ve ardından hedef gruba ve "İşlemler" -> "Yapıştır" a gidin

Dosyaları oldukça hızlı aktarır ve herhangi bir programlama gerektirmeyen daha az kıvrımlı bir çözüm veya bunun gibi en iyi çözümler gibi görünüyor.

Snowplow'daki ETL işlerimizde tam olarak bu sorunu yaşadık, bu yüzden paralel dosya kopyalama kodumuzu (Ruby, Fog'un üzerine inşa edilmiştir ), Sluice adlı kendi Ruby mücevherine çıkardık:

https://github.com/snowplow/sluice

Sluice ayrıca S3 dosyası silme, taşıma ve indirme işlemlerini de gerçekleştirir; tümü paralelleştirilmiş ve bir işlem başarısız olursa otomatik yeniden deneme ile (ki bu şaşırtıcı bir şekilde sık sık yapar). Umarım yararlıdır!

Bunun eski bir konu olduğunu biliyorum, ancak oraya ulaşan diğerleri için önerim, içeriği üretim paketinden geliştirme paketine kopyalamak için planlanmış bir iş oluşturmaktır.

Kullanabilirsiniz .NET kullanıyorsanız bu makale size yardımcı olabilir

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

Yeni sürüm için aws2.

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME