S3fs performans iyileştirmeleri mi yoksa alternatif mi?

11

Bir EC2 sunucusunda s3fs kullanmaya çalışıyorum ama gerçekten yavaş. Son 5 saati 100 MB'lık küçük dosyalar yükleyerek geçirdim.

Performansı artırmak için yapabileceğim bir şey var mı yoksa S3fs ile ilgili bir şey mi? Değilse, kullanabileceğim alternatif nedir?

amazon-ec2 s3fs

— MB.
kaynak

küçük dosyaları tanımla, 1K? 500bytes? 1MB?

— thinice

yaklaşık ~ 200K ...

— MB.

Depolama gereksinimlerinize bağlı olarak, diğer sistemlerden aynı anda erişmeniz gerekmedikçe, yalnızca EBS'yi kullanmak isteyebilirsiniz, bu durumda EBS ile sanal bir nas'ın oluşturulması daha iyi bir seçenek olabilir.

— Tracker1

7

S3FS, çok sayıda küçük dosya için en iyi seçim olmayabilir. S3FS'nin ek yükü de oldukça yüksektir. S3Curl gibi bir şey kullanmanızı öneririm

Paralel transferleri bile başlatabilirsiniz. Sadece EBS / yerel depolama gibi hızlı olmayacağını unutmayın.

Bir 'takılabilir' depolama alanı olması gerekiyorsa, bildiğim S3FS için tek alternatif S3Backer veya s3ql

— ince buz
kaynak

1

Bir dosya sistemi olarak monte edebileceğim bir şey arıyorum.

— MB.

Üzerine düşünceleriniz var s3qlmı?

— ewwhite

S3Backer ve S3Sql'yi deneyeceğim. Teşekkürler.

— MB.

S3FS'de bile ~ 500, 200KB dosya için 5 saat gerçekten yavaştır. Başka bir şey faktoring olabilir, yardımcı olacak herhangi bir S3FS ayarlanabilir farkında değilim

— '14

6

Ben sadece s3fs ile karşılaştırıldığında riofs karşılaştırdı. Test durumum, bulduğu her .png üzerinde pngquant çalıştıran nispeten basit bir bash betiğiydi. ~ 70 görüntü içeren bir testbucket üzerinde ~ 20 nerede png (probları yavaşlatan bir çok alt dizine yayılmış) sonuçları:

s3fs: 3m54
riofs: 15.9s

Yani bu testcase riofs için ~ 15 kat daha hızlı! Kurulum da oldukça basitti, ancak dokümanlar biraz dar.

Senaryo hala 15.9s aldı gerçeği ile ilgili: çok verimli değil, aslında pngquant üzerinde pngquant çalıştırmak cpu yoğun bir işlemdir.

— Milo de Vries
kaynak

Ne yazık ki riofs başarısızAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

Sadece karışıma riofs eklemek . Şimdilik bir ölçüt göremedim ama kimsenin yapabileceği bir sorun / istek var.

— f01
kaynak

2

Https://github.com/kahing/goofys adresinin v0.0.1 sürümünü kısmen s3fs'deki performans sorunları nedeniyle motive ettim. Dosya oluşturma hızı 3-6x ve ilk bayt zamanı 58x. Geribildirim hoş geldiniz!

— KHC
kaynak

2

2019 itibarıyla - Goofys önerilen seçimdir. Riotfs bir süredir güncellenmedi.

— timofey.com

1

[1] kullandım ve çok iyi. Çok fazla komut var ve aws ve s3'e erişimi çok daha kolay hale getiriyor.

http://timkay.com/aws/

— Amit
kaynak

1

Sunucu Arızasına Hoşgeldiniz! Bu teorik olarak soruyu cevaplayabilse de , cevabın temel kısımlarını buraya dahil etmek ve referans için bağlantı sağlamak tercih edilir.

— Scott Pack

1

S3fs'i riofs ile karşılaştırdım ve fark edilir derecede daha iyi performans nedeniyle neredeyse değişti. Sorun riofs hala v4 imzalarına güncellenmemiş, yani Frankfurt veya Çin s3 kovalarıyla çalışmayacak. Sahibine göre, bir güncelleme yolda. Frankfurt veya Çin kullanmıyorsanız, riofs eller aşağı daha iyi bir seçenek.

— Steve
kaynak

— Ab

1

Bu biraz eski ama buraya kimin gelmesine yardımcı olabilir.

Aws cli kullanıyorum ve çok iyi çalışıyor (3 Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
kaynak