Dataframe'i csv'ye doğrudan s3 Python'a kaydedin

Yeni bir CSV dosyasına yüklemek istediğim bir panda DataFrame'im var. Sorun şu ki, dosyayı s3'e aktarmadan önce yerel olarak kaydetmek istemiyorum. Dataframe'i doğrudan s3'e yazmak için to_csv gibi bir yöntem var mı? Boto3 kullanıyorum.
Şimdiye kadar sahip olduğum şeyler:

import boto3
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
read_file = s3.get_object(Bucket, Key)
df = pd.read_csv(read_file['Body'])

# Make alterations to DataFrame

# Then export DataFrame to CSV through direct transfer to s3

Kullanabilirsiniz:

from io import StringIO # python3; python2: BytesIO 
import boto3

bucket = 'my_bucket_name' # already created on S3
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, 'df.csv').put(Body=csv_buffer.getvalue())

Doğrudan S3 yolunu kullanabilirsiniz. Pandalar 0.24.1 kullanıyorum

In [1]: import pandas as pd

In [2]: df = pd.DataFrame( [ [1, 1, 1], [2, 2, 2] ], columns=['a', 'b', 'c'])

In [3]: df
Out[3]:
   a  b  c
0  1  1  1
1  2  2  2

In [4]: df.to_csv('s3://experimental/playground/temp_csv/dummy.csv', index=False)

In [5]: pd.__version__
Out[5]: '0.24.1'

In [6]: new_df = pd.read_csv('s3://experimental/playground/temp_csv/dummy.csv')

In [7]: new_df
Out[7]:
   a  b  c
0  1  1  1
1  2  2  2

Sürüm notu:

S3 Dosya İşleme

Pandalar artık S3 bağlantılarını işlemek için s3fs kullanıyor. Bu, herhangi bir kodu bozmamalıdır. Bununla birlikte, s3fs gerekli bir bağımlılık olmadığı için, pandaların önceki sürümlerindeki boto gibi, ayrı olarak kurmanız gerekecektir. GH11915 .

Sevdiğim s3fs Bir yerel dosya sistemi gibi s3 (neredeyse) kullanmanızı sağlar.

Bunu yapabilirsiniz:

import s3fs

bytes_to_write = df.to_csv(None).encode()
fs = s3fs.S3FileSystem(key=key, secret=secret)
with fs.open('s3://bucket/path/to/file.csv', 'wb') as f:
    f.write(bytes_to_write)

s3fs sadece destekler rb ve wbbunu neden yaptığını bulunuyor dosyayı açma modları bytes_to_writeşeyler.

Bu daha güncel bir cevap:

import s3fs

s3 = s3fs.S3FileSystem(anon=False)

# Use 'w' for py3, 'wb' for py2
with s3.open('<bucket-name>/<filename>.csv','w') as f:
    df.to_csv(f)

StringIO ile ilgili sorun, hafızanızı tüketecek olmasıdır. Bu yöntemle, dosyayı dizeye dönüştürmek yerine s3'e aktarır, ardından s3'e yazarsınız. Pandalar veri çerçevesini ve onun dize kopyasını bellekte tutmak çok verimsiz görünüyor.

Bir ec2 anında çalışıyorsanız, s3'e yazmayı etkinleştirmek için ona bir IAM rolü verebilirsiniz, böylece kimlik bilgilerini doğrudan aktarmanıza gerek kalmaz. Bununla birlikte, kimlik bilgilerini S3FileSystem()işleve ileterek bir pakete de bağlanabilirsiniz . Belgelere bakın: https://s3fs.readthedocs.io/en/latest/

Verilere Noneilk bağımsız değişken olarak geçerseniz to_csv(), bir dizge olarak döndürülür. Oradan bunu tek seferde S3'e yüklemek kolay bir adım.

Aynı zamanda bir StringIOnesneyi de iletmek mümkün olmalı to_csv(), ancak bir dizge kullanmak daha kolay olacaktır.

Bunun clientsadece kullanılarak da yapılabileceğini buldum resource.

from io import StringIO
import boto3
s3 = boto3.client("s3",\
                  region_name=region_name,\
                  aws_access_key_id=aws_access_key_id,\
                  aws_secret_access_key=aws_secret_access_key)
csv_buf = StringIO()
df.to_csv(csv_buf, header=True, index=False)
csv_buf.seek(0)
s3.put_object(Bucket=bucket, Body=csv_buf.getvalue(), Key='path/test.csv')

AWS Data Wrangler'ı da kullanabilirsiniz :

import awswrangler

session = awswrangler.Session()
session.pandas.to_csv(
    dataframe=df,
    path="s3://...",
)

Paralel olarak yüklediği için birkaç bölüme ayrılacağını unutmayın.

kullandığınız için şunu boto3.client()deneyin:

import boto3
from io import StringIO #python3 
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
def copy_to_s3(client, df, bucket, filepath):
    csv_buf = StringIO()
    df.to_csv(csv_buf, header=True, index=False)
    csv_buf.seek(0)
    client.put_object(Bucket=bucket, Body=csv_buf.getvalue(), Key=filepath)
    print(f'Copy {df.shape[0]} rows to S3 Bucket {bucket} at {filepath}, Done!')

copy_to_s3(client=s3, df=df_to_upload, bucket='abc', filepath='def/test.csv')

Çalışıyor gibi görünen çok basit bir çözüm buldum:

s3 = boto3.client("s3")

s3.put_object(
    Body=open("filename.csv").read(),
    Bucket="your-bucket",
    Key="your-key"
)

Umarım yardımcı olur !

S3 kovasından iki sütun içeren bir csv ve pandas veri çerçevesine koyduğum csv dosyasının içeriğini okudum.

Misal:

config.json

{
  "credential": {
    "access_key":"xxxxxx",
    "secret_key":"xxxxxx"
}
,
"s3":{
       "bucket":"mybucket",
       "key":"csv/user.csv"
   }
}

cls_config.json

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import json

class cls_config(object):

    def __init__(self,filename):

        self.filename = filename


    def getConfig(self):

        fileName = os.path.join(os.path.dirname(__file__), self.filename)
        with open(fileName) as f:
        config = json.load(f)
        return config

cls_pandas.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pandas as pd
import io

class cls_pandas(object):

    def __init__(self):
        pass

    def read(self,stream):

        df = pd.read_csv(io.StringIO(stream), sep = ",")
        return df

cls_s3.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import boto3
import json

class cls_s3(object):

    def  __init__(self,access_key,secret_key):

        self.s3 = boto3.client('s3', aws_access_key_id=access_key, aws_secret_access_key=secret_key)

    def getObject(self,bucket,key):

        read_file = self.s3.get_object(Bucket=bucket, Key=key)
        body = read_file['Body'].read().decode('utf-8')
        return body

test.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from cls_config import *
from cls_s3 import *
from cls_pandas import *

class test(object):

    def __init__(self):
        self.conf = cls_config('config.json')

    def process(self):

        conf = self.conf.getConfig()

        bucket = conf['s3']['bucket']
        key = conf['s3']['key']

        access_key = conf['credential']['access_key']
        secret_key = conf['credential']['secret_key']

        s3 = cls_s3(access_key,secret_key)
        ob = s3.getObject(bucket,key)

        pa = cls_pandas()
        df = pa.read(ob)

        print df

if __name__ == '__main__':
    test = test()
    test.process()