boto3 kullanarak s3'te bir kovada bir anahtar olup olmadığını kontrol edin

Boto3'te bir anahtar olup olmadığını bilmek istiyorum. Kova içeriğini değiştirebilir ve eşleşirse anahtarı kontrol edebilirim.

Ama bu daha uzun ve aşırı bir şey gibi görünüyor. Boto3 resmi belgeleri bunun nasıl yapılacağını açıkça belirtmektedir.

Belki de bariz olanı özlüyorum. Biri bana bunu nasıl başarabileceğimi gösterebilir mi?

Boto 2'nin boto.s3.key.Keynesnesi exists, bir HEAD isteği yaparak ve sonuca bakarak anahtarın S3'te var olup olmadığını kontrol eden bir yönteme sahipti, ancak artık var olmadığı anlaşılıyor. Bunu kendiniz yapmak zorundasınız:

import boto3
import botocore

s3 = boto3.resource('s3')

try:
    s3.Object('my-bucket', 'dootdoot.jpg').load()
except botocore.exceptions.ClientError as e:
    if e.response['Error']['Code'] == "404":
        # The object does not exist.
        ...
    else:
        # Something else has gone wrong.
        raise
else:
    # The object does exist.
    ...

load() söz konusu nesne büyük olsa veya grubunuzda çok sayıda nesne olsa bile, tek bir anahtar için HEAD isteği yapar.

Elbette, nesnenin var olup olmadığını kontrol ediyor olabilirsiniz, çünkü onu kullanmayı planlıyorsunuz. Bu durumda, sadece unutabiliriz load()ve yapmak get()ya da download_file()doğrudan, daha sonra orada hata olaya el.

Kontrol akışı için istisnalar kullanma konusunda büyük bir hayran değilim. Bu, boto3'te çalışan alternatif bir yaklaşımdır:

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
key = 'dootdoot.jpg'
objs = list(bucket.objects.filter(Prefix=key))
if any([w.key == path_s3 for w in objs]):
    print("Exists!")
else:
    print("Doesn't exist")

Bulduğum en kolay yol (ve muhtemelen en verimli yöntem):

import boto3
from botocore.errorfactory import ClientError

s3 = boto3.client('s3')
try:
    s3.head_object(Bucket='bucket_name', Key='file_path')
except ClientError:
    # Not found
    pass

Boto3'te, bir klasör (önek) veya list_objects kullanan bir dosyayı kontrol ediyorsanız. Yanıt dikmesinde 'İçindekiler'in varlığını nesnenin var olup olmadığını kontrol etmek için kullanabilirsiniz. @EvilPuppetMaster'ın önerdiği gibi yakalama / yakalamadan kaçınmanın başka bir yolu

import boto3
client = boto3.client('s3')
results = client.list_objects(Bucket='my-bucket', Prefix='dootdoot.jpg')
return 'Contents' in results

Sadece değil, clientaynı bucketzamanda:

import boto3
import botocore
bucket = boto3.resource('s3', region_name='eu-west-1').Bucket('my-bucket')

try:
  bucket.Object('my-file').get()
except botocore.exceptions.ClientError as ex:
  if ex.response['Error']['Code'] == 'NoSuchKey':
    print('NoSuchKey')

Temelde boto3'ün etrafındaki tipik dosya sistemi stili işlemlerini gösteren bir sarıcı olan S3F'leri kullanabilirsiniz :

import s3fs
s3 = s3fs.S3FileSystem()
s3.exists('myfile.txt')

Sadece bir anahtarın var olup olmadığını kontrol etmek istediğinizi varsayarsak (sessizce üzerine yazmak yerine), önce bu kontrolü yapın:

import boto3

def key_exists(mykey, mybucket):
  s3_client = boto3.client('s3')
  response = s3_client.list_objects_v2(Bucket=mybucket, Prefix=mykey)
  if response:
      for obj in response['Contents']:
          if mykey == obj['Key']:
              return True
  return False

if key_exists('someprefix/myfile-abc123', 'my-bucket-name'):
    print("key exists")
else:
    print("safe to put new bucket object")
    # try:
    #     resp = s3_client.put_object(Body="Your string or file-like object",
    #                                 Bucket=mybucket,Key=mykey)
    # ...check resp success and ClientError exception for errors...

import boto3
client = boto3.client('s3')
s3_key = 'Your file without bucket name e.g. abc/bcd.txt'
bucket = 'your bucket name'
content = client.head_object(Bucket=bucket,Key=s3_key)
    if content.get('ResponseMetadata',None) is not None:
        print "File exists - s3://%s/%s " %(bucket,s3_key) 
    else:
        print "File does not exist - s3://%s/%s " %(bucket,s3_key)

FWIW, işte kullandığım çok basit fonksiyonlar

import boto3

def get_resource(config: dict={}):
    """Loads the s3 resource.

    Expects AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY to be in the environment
    or in a config dictionary.
    Looks in the environment first."""

    s3 = boto3.resource('s3',
                        aws_access_key_id=os.environ.get(
                            "AWS_ACCESS_KEY_ID", config.get("AWS_ACCESS_KEY_ID")),
                        aws_secret_access_key=os.environ.get("AWS_SECRET_ACCESS_KEY", config.get("AWS_SECRET_ACCESS_KEY")))
    return s3


def get_bucket(s3, s3_uri: str):
    """Get the bucket from the resource.
    A thin wrapper, use with caution.

    Example usage:

    >> bucket = get_bucket(get_resource(), s3_uri_prod)"""
    return s3.Bucket(s3_uri)


def isfile_s3(bucket, key: str) -> bool:
    """Returns T/F whether the file exists."""
    objs = list(bucket.objects.filter(Prefix=key))
    return len(objs) == 1 and objs[0].key == key


def isdir_s3(bucket, key: str) -> bool:
    """Returns T/F whether the directory exists."""
    objs = list(bucket.objects.filter(Prefix=key))
    return len(objs) > 1

Bu hem öneki hem de anahtarı kontrol edebilir ve en fazla 1 anahtar getirir.

def prefix_exits(bucket, prefix):
    s3_client = boto3.client('s3')
    res = s3_client.list_objects_v2(Bucket=bucket, Prefix=prefix, MaxKeys=1)
    return 'Contents' in res

Bu basit deneyin

import boto3
s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket_name') # just Bucket name
file_name = 'A/B/filename.txt'      # full file path
obj = list(bucket.objects.filter(Prefix=file_name))
if len(obj) > 0:
    print("Exists")
else:
    print("Not Exists")

Bir dizin veya grupta 1000'den az varsa bunları ayarlayabilir ve bu sette bu tür bir anahtar olup olmadığını kontrol ettikten sonra:

files_in_dir = {d['Key'].split('/')[-1] for d in s3_client.list_objects_v2(
Bucket='mybucket',
Prefix='my/dir').get('Contents') or []}

Böyle bir kod olmasa bile çalışır my/dir.

http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.list_objects_v2

S3_REGION="eu-central-1"
bucket="mybucket1"
name="objectname"

import boto3
from botocore.client import Config
client = boto3.client('s3',region_name=S3_REGION,config=Config(signature_version='s3v4'))
list = client.list_objects_v2(Bucket=bucket,Prefix=name)
for obj in list.get('Contents', []):
    if obj['Key'] == name: return True
return False

Boto3 için ObjectSummary bir amacı olup olmadığını kontrol etmek için kullanılabilir.

Amazon S3 demetinde depolanan bir nesnenin özetini içerir. Bu nesne, nesnenin tam meta verilerini veya herhangi bir içeriğini içermiyor

import boto3
from botocore.errorfactory import ClientError
def path_exists(path, bucket_name):
    """Check to see if an object exists on S3"""
    s3 = boto3.resource('s3')
    try:
        s3.ObjectSummary(bucket_name=bucket_name, key=path).load()
    except ClientError as e:
        if e.response['Error']['Code'] == "404":
            return False
        else:
            raise e
    return True

path_exists('path/to/file.html')

In ObjectSummary.load

ObjectSummary kaynağının özniteliklerini güncelleştirmek için s3.Client.head_object öğesini çağırır.

Bu, kullanmamayı planlıyorsanız ObjectSummaryyerine kullanabileceğinizi gösterir . Fonksiyon sadece özetini alır nesneyi almak değil.Objectget()load()

İşte benim için çalışan bir çözüm. Bir uyarı, anahtarın tam biçimini önceden bilmemdir, bu yüzden sadece tek bir dosyayı listeliyorum

import boto3

# The s3 base class to interact with S3
class S3(object):
  def __init__(self):
    self.s3_client = boto3.client('s3')

  def check_if_object_exists(self, s3_bucket, s3_key):
    response = self.s3_client.list_objects(
      Bucket = s3_bucket,
      Prefix = s3_key
      )
    if 'ETag' in str(response):
      return True
    else:
      return False

if __name__ == '__main__':
  s3  = S3()
  if s3.check_if_object_exists(bucket, key):
    print "Found S3 object."
  else:
    print "No object found."

bunun için Boto3'ü kullanabilirsiniz.

import boto3
s3 = boto3.resource('s3')
bucket = s3.Bucket('my-bucket')
objs = list(bucket.objects.filter(Prefix=key))
if(len(objs)>0):
    print("key exists!!")
else:
    print("key doesn't exist!")

Burada anahtar var olup olmadığını kontrol etmek istediğiniz yoldur

get()Yöntem ile gerçekten çok basit

import botocore
from boto3.session import Session
session = Session(aws_access_key_id='AWS_ACCESS_KEY',
                aws_secret_access_key='AWS_SECRET_ACCESS_KEY')
s3 = session.resource('s3')
bucket_s3 = s3.Bucket('bucket_name')

def not_exist(file_key):
    try:
        file_details = bucket_s3.Object(file_key).get()
        # print(file_details) # This line prints the file details
        return False
    except botocore.exceptions.ClientError as e:
        if e.response['Error']['Code'] == "NoSuchKey": # or you can check with e.reponse['HTTPStatusCode'] == '404'
            return True
        return False # For any other error it's hard to determine whether it exists or not. so based on the requirement feel free to change it to True/ False / raise Exception

print(not_exist('hello_world.txt')) 

S3 kovasında dosyanın var olup olmadığını kontrol etmenin basit bir yolu vardır. Bunun için istisna kullanmamız gerekmiyor

sesssion = boto3.Session(aws_access_key_id, aws_secret_access_key)
s3 = session.client('s3')

object_name = 'filename'
bucket = 'bucketname'
obj_status = s3.list_objects(Bucket = bucket, Prefix = object_name)
if obj_status.get('Contents'):
    print("File exists")
else:
    print("File does not exists")

Bir dizine eşdeğer bir anahtar arıyorsanız, bu yaklaşımı isteyebilirsiniz

session = boto3.session.Session()
resource = session.resource("s3")
bucket = resource.Bucket('mybucket')

key = 'dir-like-or-file-like-key'
objects = [o for o in bucket.objects.filter(Prefix=key).limit(1)]    
has_key = len(objects) > 0

Bu, bir üst anahtar veya dosyaya eşit olmayan bir anahtar veya var olmayan bir anahtar için çalışır. Yukarıda tercih edilen yaklaşımı denedim ve üst anahtarlarda başarısız oldum.

Sadece istisna yakalamak için botocore.exceptions.ClientErrorbotocore yüklememiz gerektiğini fark ettim . botocore 36M disk alanı kaplar. Aws lambda fonksiyonlarını kullanırsak bu özellikle etkilidir. Bunun yerine, sadece istisna kullanırsak ekstra kütüphaneyi kullanarak atlayabiliriz!

• Dosya uzantısının '.csv' olduğunu doğrulıyorum
• Kova yoksa bu bir istisna oluşturmaz!
• Kova varsa ancak nesne yoksa bu bir istisna atmaz!
• Kova boşsa bu bir istisna atar!
• Kepçenin izni yoksa bu bir istisna atar!

Kod şuna benzer. Lütfen düşüncelerinizi paylaşın:

import boto3
import traceback

def download4mS3(s3bucket, s3Path, localPath):
    s3 = boto3.resource('s3')

    print('Looking for the csv data file ending with .csv in bucket: ' + s3bucket + ' path: ' + s3Path)
    if s3Path.endswith('.csv') and s3Path != '':
        try:
            s3.Bucket(s3bucket).download_file(s3Path, localPath)
        except Exception as e:
            print(e)
            print(traceback.format_exc())
            if e.response['Error']['Code'] == "404":
                print("Downloading the file from: [", s3Path, "] failed")
                exit(12)
            else:
                raise
        print("Downloading the file from: [", s3Path, "] succeeded")
    else:
        print("csv file not found in in : [", s3Path, "]")
        exit(12)

Sadece iş parçacığını takip eden biri, bir nesnenin S3'te var olup olmadığını kontrol etmenin en etkili yol olduğu sonucuna varabilir mi?

Head_object sadece gerçek nesnenin kendisinden daha hafif olan meta verileri kontrol ettiği için kazanabileceğini düşünüyorum

Gönderen https://www.peterbe.com/plog/fastest-way-to-find-out-if-a-file-exists-in-s3 bu hızlı yöntem olarak işaret edilmektedir:

import boto3

boto3_session = boto3.session.Session()
s3_session_client = boto3_session.client("s3")
response = s3_session_client.list_objects_v2(
    Bucket=bc_df_caches_bucket, Prefix=s3_key
)
for obj in response.get("Contents", []):
    if obj["Key"] == s3_key:
        return True
return False

Çıkış yapmak

bucket.get_key(
    key_name, 
    headers=None, 
    version_id=None, 
    response_headers=None, 
    validate=True
)

Grup içinde belirli bir anahtar olup olmadığını kontrol edin. Bu yöntem, anahtarın varlığını kontrol etmek için bir HEAD isteği kullanır. Döndürür: Bir Anahtar nesnesinin örneği veya Yok

dan Boto S3 Dokümanlar

Sadece bucket.get_key (anahtar adı) öğesini çağırabilir ve döndürülen nesnenin Yok olup olmadığını kontrol edebilirsiniz.