Bir kova içindeki nesnelerle S3 sınırı


85

Bir S3 kovasına koyabileceğim nesnelerin sayısında bir sınır olup olmadığını bilen var mı? Bir milyon, 10 milyon vb. hepsini tek bir kovaya koyabilir miyim?


1
Neden bir milyonu ya da 10 milyonu bırakıp öğrenmiyorsunuz?
PurplePilot

27
0,01 dolarlık 10.000 istek, çıkış limitlerini bulmak için pahalı olabilir. Aşağıdaki alıntı için teşekkürler
Bölüm

1
Şimdi 0,01 dolara 20.000
Petah

Yanıtlar:


92

Amazon'a göre:

Her biri 0 bayttan 5 terabayta kadar veri içeren nesneleri yazın, okuyun ve silin. Depolayabileceğiniz nesne sayısı sınırsızdır.

Kaynak: 3 Eylül 2015 itibariyle http://aws.amazon.com/s3/details/ .


3
Not: Her PUT için maksimum 5 GB'dir. 5 TB'lık bir nesne yüklemek istiyorsanız, çok parçalı yüklemeyi açmanız gerekir .
whiteshooz

5 TB maksimum dosya boyutu olsa da , 0 bayt boyutundaki nesneleri de depolayabilirsiniz . Kaynak: S: Amazon S3'te ne kadar veri depolayabilirim?
Norbert

17

Görünüşe göre limit değişmiş. Tek bir nesne için 5 TB depolayabilirsiniz.

Toplam veri hacmi ve depolayabileceğiniz nesne sayısı sınırsızdır. Ayrı Amazon S3 nesnelerinin boyutları minimum 0 bayt ile maksimum 5 terabayt arasında değişebilir. Tek bir PUT'a yüklenebilecek en büyük nesne 5 gigabayttır. 100 megabayttan büyük nesneler için, müşteriler Çoklu Parça Yükleme özelliğini kullanmayı düşünmelidir.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store


11
  • Paket başına nesne sınırı yoktur.
  • Hesap başına 100 paket limiti vardır (daha fazlasına ihtiyacınız varsa amazon istemeniz gerekir).
  • Milyonlarca nesneyi tek bir kova içinde saklasanız bile performans düşüşü olmaz.

Dokümanlardan,

Bir pakette depolanabilecek nesnelerin sayısında bir sınırlama yoktur ve ister çok sayıda ister birkaç kova kullanın, performansta hiçbir fark yoktur. Tüm nesnelerinizi tek bir kova içinde saklayabilir veya birkaç kova içinde düzenleyebilirsiniz.

Ağustos 2016 itibariyle


3
Milyonlarca nesneyle çalışırken, paketteki nesnelerin organizasyonu / anahtar öneki bir fark yaratabilir. Aws.amazon.com/blogs/aws/… sayfasına
Trenton

docs.aws.amazon.com/AmazonS3/latest/dev/… , "Artık performans için önek isimlendirmesini rastgele seçmenize gerek yok" diyor. Ancak, S3'ün nasıl dizin oluşturduğu (karma? B-ağaçları?) Ve bir önekle eşleşen nesneleri verimli bir şekilde listeleyip listeleyemeyeceği dokümantasyondan açık değildir. Aşağıdaki güncel olmayan belgeler bazı ipuçları sunar: aws.amazon.com/blogs/aws/…
Don Smith

7

Tek bir pakette sınırsız sayıda dosya / nesne depolayabilirsiniz, ancak bir pakette bir "dizin" listelemeye gittiğinizde, bu size varsayılan olarak yalnızca o paketteki ilk 1000 dosyayı / nesneyi verecektir. Bunun gibi büyük bir "dizindeki" tüm dosyalara erişmek için, API'larına birden çok çağrı yapmanız gerekir.


2

S3 klasörünüzde depolayabileceğiniz nesne sayısının sınırı yoktur. AWS, sınırsız depolama alanına sahip olduğunu iddia ediyor. Ancak bazı sınırlamalar vardır -

  1. Varsayılan olarak, müşteriler AWS hesabı başına 100 adede kadar paket tedarik edebilir. Ancak, AWS Hizmet Sınırlarını ziyaret ederek Amazon S3 klasör sınırınızı artırabilirsiniz.
  2. Bir nesne 0 bayt ile 5 TB arasında olabilir.
  3. Tek bir PUT'a yüklenebilecek en büyük nesne 5 gigabayttır
  4. 100 megabayttan büyük nesneler için, müşteriler Çoklu Parça Yükleme özelliğini kullanmayı düşünmelidir.

Bununla birlikte, S3 klasöründe depolanacak çok sayıda nesneniz varsa performansı artırmak için nesne adı önekinizi rastgele hale getirmeyi düşünün.

İş yükünüz istek türlerinin bir karışımı olduğunda, anahtar adına önek olarak bir karma dizge ekleyerek anahtar adlarına biraz rasgelelik ekleyin. Anahtar adlarınıza rastgelelik ekleyerek, G / Ç yükü birden çok dizin bölümüne dağıtılacaktır. Örneğin, anahtar olarak atamayı planladığınız karakter dizisinin bir MD5 karmasını hesaplayabilir ve anahtar adına bir önek olarak karmadan 3 veya 4 karakter ekleyebilirsiniz.

Daha fazla ayrıntı - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- Haziran 2018 itibarıyla


0

"Bir paket içinde istediğiniz kadar nesne depolayabilir ve paketinizdeki nesneleri yazabilir, okuyabilir ve silebilirsiniz. Nesnelerin boyutu 5 terabayta kadar olabilir."

dan http://aws.amazon.com/s3/details/ (Mar 4th 2015 itibariyle)


-1

@ Acyra- tek bir kovadan nesne tesliminin performansı, büyük ölçüde içindeki nesnelerin adlarına bağlı olacaktır.

Dosya adları rastgele karakterlerle ayrılmışsa, fiziksel konumları AWS donanımında daha da yayılır, ancak her şeyi 'common-x.jpg', 'common-y.jpg' olarak adlandırırsanız, bu nesneler birlikte depolanır.

Bu, eşzamanlı olarak talep ederseniz, ancak sizi endişelendirecek kadar değil, dosyaların teslimini yavaşlatabilir, daha büyük risk, veri kaybı veya kesintiden kaynaklanır, çünkü bu nesneler birlikte saklanırlar veya birlikte kullanılamazlar.


Bunun için herhangi bir referansınız var mı, yoksa eğitimli bir tahmin mi? S3 nesnelerinin dosya adına göre parçalandığını / karma hale getirildiğini tahmin edebilirim veya sha1 / md5 gibi daha rastgele bir şeyin kullanıldığını veya başka bir şeyin kullanıldığını tahmin edebilirim ... ama kaynak materyal olmadan aslında bilmiyorum .
fazy
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.