AWS'yi indirmek, saklamak ve bilgisayar kullanmak için kullanabilir miyim?

İnternetten indirilebilecek yaklaşık 1,2 TB veri ve benim için başka bir sonuca dönüştürmek için senaryoların çalıştırılmasını talep eden bir proje var. Yani burada üç problemi görebiliyorum:

1. İndirme: İndirme oranının düşük olması nedeniyle dizüstü bilgisayarımdan bu miktarda veri indiremiyorum.
2. Depolama: İndirilen dosyalar bir yerde saklanmalıdır. Yine dizüstü bilgisayarımda tam olarak bunu yapmak için yeterli bellek yok (dosyaları sihirli bir şekilde indirebileceği düşünülürse)
3. İşleme: Bir kere indirilip saklandıktan sonra, sonuç elde etmek için dosyalar üzerinde komut dosyaları çalıştırmam gerekiyor. Girişin muazzam büyüklüğü göz önüne alındığında, bu benim laptopum tarafından çok uzun bir süre içinde yapılamaz.

Bu nedenle, AWS'yi sadece bir seçenek olarak görüyorum . Ben onlar tarafından sunulan bazı ürünler içine baktım ve yüzeyden ürünün denilen yapılabilir işleme parçası gibi görünüyor EC2 (Elastik bulut bilişim) ve depolama denilen ürünün yapılabilir S3 , ölçeklenebilir depolama.

İndirme taleplerimi karşılayan hiçbir şey bulamadım .

Peki, yukarıdaki çözümü veriyi indirmek için de kullanabilir miyim?

EC2 örnekleri, yalnızca veri işleme görevlerini yerine getirmenize izin vermekle kalmayıp, aynı zamanda indirme işlemi karmaşık bir görevse, indirme işlemi gibi başka bir adımı yerine getiren bir işletim sistemini çalıştıran normal sunuculardır.

S3 kepçesini işletim sistemine kalıcı olarak bağlayan bir EC2 örneği yapılandırır , ardından verileri düzenli olarak veya yarı düzenli olarak indiren ve kepçeye depolayan bir komut dosyası (örneğin bir kabuk komut dosyası) oluşturur.

Daha basit bir seçenek, bir EC2 sunucusunu döndürmek zorunda kalmadan indirme işlemini S3'e gerçekleştirmek için AWS Lambda'yı kullanmak olacaktır; bu, işlemi bağımsız olarak yapabileceğiniz anlamına gelir ve ayrıca verileri önce sunucuya ve ardından S3'e aktarmak zorunda kalmazsınız .

Herhangi bir veri işleminin belirli bir fiyatı olacağını unutmayın, bu nedenle EC2 ve S3 fiyatlandırma politikalarını okuduğunuzdan ve geçici maliyetleri hesapladığınızdan emin olun .