Bir S3 kovasında depolanan belirli bir günlük dosyasına yazabilmek istediğim bir makinem olduğunu varsayalım.

Bu nedenle, makinenin o kovaya yazma becerisine sahip olması gerekir, ancak bu paketteki (yazmasını istediğim dosya dahil) herhangi bir dosyanın üzerine yazma veya silme yeteneğine sahip olmasını istemiyorum.

Bu nedenle, temel olarak, makinemin, onu geçersiz kılmadan veya indirmeden, yalnızca bu günlük dosyasına veri ekleyebilmesini istiyorum.

S3'ümü bu şekilde çalışacak şekilde yapılandırmanın bir yolu var mı? Belki de istediğim gibi çalışması için ekleyebileceğim bir IAM politikası vardır?

Maalesef yapamazsınız.

S3'ün "ekleme" işlemi yoktur. ^* Bir nesne yüklendiğinde, onu yerinde değiştirmenin bir yolu yoktur; Tek seçeneğiniz, gereksinimlerinizi karşılamayan yeni bir nesne yüklemektir.

*: Evet, bu yazının birkaç yaşında olduğunu biliyorum. Yine de doğru.

Kabul edilen yanıtın da belirttiği gibi, yapamazsınız. Bildiğim en iyi çözüm şunları kullanmaktır:

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

Onların kod örneği görünüyor karmaşık ama seninki gerçekten basit olabilir. Uygulamanızda (AWS SDK kullanarak) Kinesis Firehose teslim akışında PUT (veya BATCH PUT) işlemleri gerçekleştirmeye devam edersiniz ve Kinesis Firehose teslim akışını, akışlı verilerinizi seçtiğiniz bir AWS S3 klasörüne göndermek için AWS Kinesis Firehose konsolu).

Yine >>de Linux komut satırından olduğu kadar kullanışlı değil , çünkü S3'te bir dosya oluşturduğunuzda, yeni dosyayı indirmek, eklemek ve karşıya yüklemekle yeniden uğraşmanız gerekir, ancak bunu satırların her toplu işi için yalnızca bir kez yapmanız gerekir. her veri satırı için olduğundan daha fazla olduğundan, ekleme işlemlerinin hacmi nedeniyle büyük ücretler konusunda endişelenmenize gerek yoktur. Belki yapılabilir ama konsoldan nasıl yapılacağını göremiyorum.

S3'teki nesneler eklenebilir değildir. Bu durumda 2 çözümünüz var:

1. tüm S3 verilerini yeni bir nesneye kopyalayın, yeni içeriği ekleyin ve S3'e geri yazın.

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. İkinci seçenek Kinesis Firehose kullanmaktır. Bu oldukça basittir. Yangın hortumu dağıtım akışınızı oluşturmanız ve hedefi S3 kovasına bağlamanız gerekir. Bu kadar!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Başkalarının daha önce de belirttiği gibi, S3 nesneleri eklenebilir değildir.
Ancak başka bir çözüm, CloudWatch günlüklerine yazmak ve ardından istediğiniz günlükleri S3'e aktarmaktır . Bu ayrıca, Lambda herhangi bir S3 izni gerektirmeyeceğinden, sunucunuza erişen tüm saldırganların S3 klasörünüzden silinmesini engeller.

Herhangi birinin S3 benzeri bir hizmete sahip bir nesneye veri eklemek istemesi durumunda, Alibaba Bulut OSS (Nesne Depolama Hizmeti) bunu yerel olarak destekler .

OSS, içeriği doğrudan bir nesnenin sonuna eklemenize olanak tanıyan ekleme yüklemesi (AppendObject API aracılığıyla) sağlar. Bu yöntem kullanılarak yüklenen nesneler eklenebilir nesnelerdir, diğer yöntemler kullanılarak yüklenen nesneler normal nesnelerdir. Eklenen veriler anında okunabilir.

Ben de benzer bir sorun yaşadım ve sordum

AWS Lambda kullanarak dosyaya nasıl veri eklenir

İşte yukarıdaki sorunu çözmek için bulduğum şey:

Mevcut dosyadan geri dönmek için getObject kullanın

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

Dosyaya eklemek için yazma işlevi

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

Umarım bu yardımcı olur !!