S3'te 10.000 dosya nasıl herkese açık hale getirilir

Bir pakette 10.000 dosyalık bir klasörüm var. Bunları yüklemenin ve hemen herkese açık hale getirmenin bir yolu yok gibi görünüyor. Bu yüzden hepsini yükledim, özeller ve hepsini herkese açık hale getirmem gerekiyor.

Aws konsolunu denedim, sadece bir hata veriyor (daha az dosya içeren klasörlerde iyi çalışıyor).

Firefox'ta S3 düzenlemeyi kullanmayı denedim, aynı şey.

Tüm bunları halka açık hale getirmek için çalıştırabileceğim bir yazılım veya komut dosyası var mı?

Paketteki tüm dosyalara erişim sağlayan bir paket politikası oluşturabilirsiniz (aşağıdaki örneğe bakın). Paket politikası, AWS konsolu aracılığıyla bir pakete eklenebilir.

{
    "Id": "...",
    "Statement": [ {
        "Sid": "...",
        "Action": [
            "s3:GetObject"
        ],
        "Effect": "Allow",
        "Resource": "arn:aws:s3:::bucket/*",
        "Principal": {
            "AWS": [ "*" ]
        }
    } ]
}

Amazon tarafından sağlanan aşağıdaki politika oluşturma aracına da bakın.

http://awspolicygen.s3.amazonaws.com/policygen.html

İlk kez yüklüyorsanız, dosyaları komut satırından yüklemede herkese açık olacak şekilde ayarlayabilirsiniz:

aws s3 sync . s3://my-bucket/path --acl public-read

AWS Komut Satırı Arayüzü ile Yüksek Seviye s3 Komutlarını Kullanma konusunda belgelendiği gibi

Maalesef ACL'yi yalnızca dosyalar karşıya yüklendiğinde uygular. (Benim testimde) ACL'yi önceden yüklenmiş dosyalara uygulamıyor.

Mevcut nesneleri güncellemek istiyorsanız, paketi kendisiyle senkronize edebiliyordunuz, ancak bu çalışmayı durdurmuş gibi görünüyor.

[Artık çalışmıyor] Bu, komut satırından yapılabilir:

aws s3 sync s3://my-bucket/path s3://my-bucket/path --acl public-read

(Yani bu artık soruyu yanıtlamaz, ancak işe yaradığı gibi referans için yanıtı bırakır.)

Birkaç yüz bin nesneyi değiştirmek zorunda kaldım. Bunu çalıştırmak için bir EC2 bulut sunucusu başlattım, bu da her şeyin daha hızlı ilerlemesini sağlıyor. Yüklemek isteyeceksinizaws-sdk mücevheri .

İşte kod:

require 'rubygems'
require 'aws-sdk'


# Change this stuff.
AWS.config({
    :access_key_id => 'YOURS_HERE',
    :secret_access_key => 'YOURS_HERE',
})
bucket_name = 'YOUR_BUCKET_NAME'


s3 = AWS::S3.new()
bucket = s3.buckets[bucket_name]
bucket.objects.each do |object|
    puts object.key
    object.acl = :public_read
end

Aynı sorunu yaşadım, SDK'nın yeni sürümü çıktığı için @DanielVonFange'ın çözümü modası geçmiş.

AWS Ruby SDK ile şu anda benim için çalışan kod parçacığı eklemek:

require 'aws-sdk'

Aws.config.update({
  region: 'REGION_CODE_HERE',
  credentials: Aws::Credentials.new(
    'ACCESS_KEY_ID_HERE',
    'SECRET_ACCESS_KEY_HERE'
  )
})
bucket_name = 'BUCKET_NAME_HERE'

s3 = Aws::S3::Resource.new
s3.bucket(bucket_name).objects.each do |object|
  puts object.key
  object.acl.put({ acl: 'public-read' })
end

Yeni S3 Konsolu Make publicile klasörlerinizi seçebilir ve klasörlerin içindeki tüm dosyaları herkese açık hale getirebilirsiniz. Arka plan görevi olarak çalışır, bu nedenle herhangi bir sayıda dosyayı işlemelidir.

Cli kullanarak:

aws s3 ls s3://bucket-name --recursive > all_files.txt && grep .jpg all_files.txt > files.txt && cat files.txt | awk '{cmd="aws s3api put-object-acl --acl public-read --bucket bucket-name --key "$4;system(cmd)}'

Buna ihtiyacım vardı ama dosya sayısı seri olarak yapmayı yavaşlatıyor. Yazdı Ben So bir senaryo üzerinde yapar iron.io s' demir işçisi hizmeti. Aylık 500 ücretsiz işlem saati, büyük paketleri bile işlemek için yeterlidir (ve bunu aşarsanız, fiyatı makuldür). Paralel olarak yapıldığından, sahip olduğum 32.000 nesne için bir dakikadan daha kısa sürede tamamlanıyor. Ayrıca sunucularının EC2 üzerinde çalıştığına inanıyorum, bu nedenle iş ve S3 arasındaki iletişim hızlı.

Herhangi biri senaryomu kendi ihtiyaçları için kullanabilir.

BucketExplorer'a bir göz atın , toplu işlemleri çok iyi yönetiyor ve sağlam bir S3 İstemcisi.

Varsayılan davranışı halka okutacaklarını düşünürsünüz, değil mi? :) Bir C # çözümünden S3 ile arabirim oluşturmak için özel bir API oluştururken hayal kırıklığınızı paylaştım. İşte bir S3 nesnesini yüklemeyi ve onu varsayılan olarak herkese açık erişime ayarlamayı başaran snippet:

public void Put(string bucketName, string id, byte[] bytes, string contentType, S3ACLType acl) {
     string uri = String.Format("https://{0}/{1}", BASE_SERVICE_URL, bucketName.ToLower());
     DreamMessage msg = DreamMessage.Ok(MimeType.BINARY, bytes);
     msg.Headers[DreamHeaders.CONTENT_TYPE] = contentType;
     msg.Headers[DreamHeaders.EXPECT] = "100-continue";
     msg.Headers[AWS_ACL_HEADER] = ToACLString(acl);
     try {
        Plug s3Client = Plug.New(uri).WithPreHandler(S3AuthenticationHeader);
        s3Client.At(id).Put(msg);
     } catch (Exception ex) {
        throw new ApplicationException(String.Format("S3 upload error: {0}", ex.Message));
     }
}

ToACLString (ACL) işlevi döner halka okunması , BASE_SERVICE_URL olan s3.amazonaws.com ve AWS_ACL_HEADER sabit x amz-ACL . Eklenti ve DreamMessage öğeleri, http iletişimimizi kolaylaştırmak için Dream çerçevesini kullandığımız için muhtemelen size garip görünecektir. Esasen, belirtilen başlıklar ve aws belirtimlerine göre özel bir başlık imzasıyla bir http PUT yapıyoruz ( aws belgelerinde bu sayfaya bakın) yetkilendirme başlığının nasıl oluşturulacağına ilişkin örnekler ).

Mevcut 1000 nesne ACL'sini değiştirmek için bir komut dosyası yazabilirsiniz, ancak acil sorunu çözmek için bir GUI aracı kullanmak muhtemelen daha kolaydır. Şimdiye kadar kullandığım en iyisi S3 için cloudberry adlı bir şirketten ; Görünüşe göre ürünlerinden en az biri için 15 günlük ücretsiz deneme süreleri var. Bir kerede birden fazla nesneyi seçmenize ve içerik menüsü aracılığıyla ACL'lerini herkese açık olarak ayarlamanıza izin vereceğini doğruladım. Bulutun tadını çıkarın!