S3 dosyalarını toplu silmek için en etkili yolu

S3'te bir seferde binlerce veya on binlerce dosyayı toplu olarak silmek istiyorum. Her dosya 1MB ile 50MB arasında herhangi bir yerde olabilir. Doğal olarak, dosyaları (veya sunucumu) dosyaları silinme işlemi sırasında beklemek istemiyorum. Dolayısıyla, sorular:

1. S3, özellikle çok sayıda dosyayı silerken dosya silme işlemini nasıl gerçekleştirir?
2. Bunu yapmanın ve AWS'nin işin çoğunu yapmasının etkili bir yolu var mı? Verimli olarak, yani S3'e en az sayıda istekte bulunarak ve sunucularımdaki en az miktarda kaynağı kullanarak en az zaman alarak.

AWS, S3 REST API'sini ve çeşitli sarmalayıcılarını kullanarak istek başına 1000 nesneye kadar toplu silme işlemini destekler. Bu yöntem, kaldırmak istediğiniz S3 nesne anahtarlarını bildiğinizi varsayar (yani, saklama politikası, belirli bir boyutun üzerindeki dosyalar vb.) İşlemek için tasarlanmamıştır.

S3 REST API'si, tek bir istekte silinecek 1000 adede kadar dosya belirtebilir ve bu da bireysel isteklerde bulunmaktan daha hızlıdır. Unutmayın, her istek bir HTTP (dolayısıyla TCP) isteğidir. Böylece her istek yükü taşır. Sadece nesnelerin anahtarlarını bilmeniz ve bir HTTP isteği oluşturmanız (veya kendi dilinizde bir sarmalayıcı kullanmanız) yeterlidir. AWS, bu özellik ve kullanımı hakkında harika bilgiler sağlar . Sadece en rahat olduğunuz yöntemi seçin!

Kullanım durumunuzun, bir kerede silinecek belirli dosyaları belirleyen son kullanıcıları içerdiğini varsayıyorum. "Resim dosyalarına atıfta bulunan tüm nesneleri temizle" veya "belirli bir tarihten daha eski tüm dosyaları temizle" (S3'te ayrıca yapılandırmanın kolay olduğuna inanıyorum) gibi bir görevi başlatmak yerine.

Öyleyse, silmeniz gereken anahtarları bilirsiniz. Ayrıca, kullanıcının dosyalarının başarılı bir şekilde silinip silinmediği hakkında daha fazla gerçek zamanlı geri bildirim isteyeceği anlamına gelir. Kesin tuşlara yapılan atıfların çok hızlı olması gerekiyordu, çünkü S3 son derece büyük miktarda veri işlemesine rağmen verimli bir şekilde ölçeklenmek üzere tasarlandı.

Değilse, eşzamansız API çağrılarına bakabilirsiniz. Bu blog gönderisinden genel olarak nasıl çalışacakları hakkında biraz okuyabilir veya istediğiniz dilde nasıl yapılacağını arayabilirsiniz. Bu, silme isteğinin kendi iş parçacığını almasına izin verir ve kodun geri kalanı bir kullanıcıyı bekletmeden yürütülebilir. Veya isteği bir kuyruğa yükleyebilirsiniz. . . Ancak bu seçeneklerin her ikisi de kodunuzu (eşzamansız kod can sıkıcı olabilir) veya ortamınızı (kuyruğu işlemek için bir hizmet / daemon / container / server gerekir) gereksiz yere karmaşık hale getirir.

Düzenleme: 2'den fazla bağlantı yayınlamak için bir üne sahip değilim. Ama burada istek oranı ve performansa Amazon'un yorumları görebilirsiniz: http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html Ve s3 sss yorumlar toplu deleiton olduğunu mümkünse gitmek için bir yol.

Son derece yavaş olan seçenek s3 rm --recursiveaslında beklemeyi seviyorsanız.

s3 rm --recursiveFarklı --includedesenlerle paralel çalışmak biraz daha hızlıdır, ancak her işlem --includedesen eşleştirmesini yerel olarak gerçekleştirmek için tüm anahtar listesini tek tek getirdiği için beklemek için çok zaman harcanır .

Toplu silme işlemini girin.

Bir seferde 1000 anahtarı silerek en yüksek hızı elde edebildiğimi fark ettim aws s3api delete-objects.

İşte bir örnek:

cat file-of-keys | xargs -P8 -n1000 bash -c 'aws s3api delete-objects --bucket MY_BUCKET_NAME --delete "Objects=[$(printf "{Key=%s}," "$@")],Quiet=true"' _

• -P8Üzerinde seçenek xargskontrolleri paralellik. Bu durumda sekiz, yani bir seferde 1000 silme 8 örneği.
• Bu -n1000seçenek, xargsher aws s3api delete-objectsçağrı için 1000 anahtar paketlemesini söyler .
• ,Quiet=trueBunu kaldırmak veya değiştirmek falsesunucu yanıtlarını ortaya çıkaracaktır.
• Not: _Komut satırının sonunda kolayca gözden kaçırılabilir . @VladNikiforov yorumda bunun ne için mükemmel bir yorum gönderdi , bu yüzden sadece bağlantı vereceğim.

Ama nasıl elde edersin file-of-keys?

Anahtar listeniz zaten varsa, sizin için iyi. İş tamamlandı.

Değilse, sanırım bir yolu:

aws s3 ls "s3://MY_BUCKET_NAME/SOME_SUB_DIR" | sed -nre "s|[0-9-]+ [0-9:]+ +[0-9]+ |SOME_SUB_DIR|p" >file-of-keys

Bu görev için web konsolunun performansı beni hayal kırıklığına uğrattı. AWS CLI komutunun bunu iyi yaptığını gördüm . Örneğin:

aws s3 rm --recursive s3://my-bucket-name/huge-directory-full-of-files

Büyük bir dosya hiyerarşisi için bu oldukça uzun sürebilir. Bunu bir oturumda tmuxveya screenoturumda ayarlayabilir ve daha sonra tekrar kontrol edebilirsiniz.

Düzgün bir numara, silme işlemini sizin için idare etmek için yaşam döngüsü kurallarını kullanıyor. İstediğiniz öneki veya nesneleri silmek için bir kuralı sıralayabilirsiniz ve Amazon yalnızca silme işlemiyle ilgilenir.

https://docs.aws.amazon.com/AmazonS3/latest/user-guide/create-lifecycle.html

S3 kovalarını nasıl yönettiğinizi bilmeden, bu özellikle yararlı olabilir veya olmayabilir.

AWS CLI araçları, s3'ün doğru nesnelere sahip olmasını sağlamak için özellikle etkili olabilecek "senkronizasyon" adlı bir seçeneğe sahiptir. Siz veya kullanıcılarınız S3'ü yerel bir dosya sisteminden yönetiyorsanız, CLI araçlarını kullanarak hangi nesnelerin silinmesi gerektiğini belirleyen bir ton çalışma kaydedebilirsiniz.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

Daha s3 syncönce komuttan bahsedilmişti , ancak --deleteseçenek hakkında örnek ve kelime yok .

S3Kovadaki klasör içeriğini silmenin en hızlı yolunu buldum my_bucket:

aws s3 sync --delete "local-empty-dir/" "s3://my_bucket/path-to-clear"