Güncelleme
S3 artık S3 için IAM ile entegre olan ve aws-cli kullanılarak yönetilebilen tam yönetilen bir SFTP Ağ Geçidi Hizmeti sunuyor .
Bunun mükemmel bir çözüm olmamasının teorik ve pratik nedenleri var, ama işe yarıyor ...
EC2'de veya kendi veri merkezinizde bir linux sunucusuna bir FTP / SFTP hizmeti (proftpd gibi) yükleyebilirsiniz ... daha sonra ftp sunucusunun s3fs kullanarak chot için yapılandırıldığı dosya sistemine bir kova monte edebilirsiniz .
S3 dışında içerik sunan bir istemcim var ve içerik onlara yalnızca ftp itmelerini destekleyen bir 3. taraf tarafından sağlanıyor ... yani, biraz tereddütle (S3 ile gerçek bir dosya sistemi arasındaki empedans uyumsuzluğu nedeniyle) ama eksik uygun bir FTP / S3 ağ geçidi sunucusu yazılım paketi yazma zamanı (hala bu günlerden birini yapmak niyetindeyim), birkaç ay önce bu çözümü önerdim ve dağıttım ve sistemle ilgili herhangi bir sorun bildirmediler.
Bonus olarak, proftpd her kullanıcıyı kendi giriş dizinine bağlayabildiğinden ve proftpd kullanıcısının sahip olduğu dosyaların oturum açmış kullanıcının sahip olduğunu "taklit" edebildiğinden, bu her ftp kullanıcısını grubun bir "alt dizini" olarak adlandırılır ve diğer kullanıcıların dosyalarına erişilemez hale gelir.
Ancak varsayılan yapılandırmada bir sorun var.
Onlarca veya yüzlerce dosya almaya başladığınızda, bir dizin listesini çektiğinizde sorun kendini gösterecektir, çünkü ProFTPd .ftpaccessdosyaları tekrar tekrar ve tekrar tekrar ve dizindeki her dosya için okumaya çalışacaktır. .ftpaccesskullanıcının görüntülemesine izin verilip verilmeyeceğini görmek için işaretlenir.
ProFTPd'de bu davranışı devre dışı bırakabilirsiniz, ancak en doğru yapılandırmanın -o enable_noobj_cache -o stat_cache_expire=30s3fs'de ek seçenekleri yapılandırmak olduğunu öneririm:
-o stat_cache_expire (varsayılan süre dolmaz)
stat önbelleğindeki girişler için sona erme süresini (saniye) belirtme
Bu seçenek olmadan, S3'e daha az istekte bulunursunuz, ancak harici işlemler veya diğer s3fs örnekleri de kovadaki nesneleri değiştiriyorsa, nesnelerde yapılan değişiklikleri her zaman güvenilir bir şekilde keşfedemezsiniz. Sistemimdeki "30" değeri biraz keyfi seçildi.
-o enable_noobj_cache (varsayılan devre dışıdır)
var olmayan nesne için önbellek girdilerini etkinleştirin. s3fs her zaman komut (s3fs) komutunu verdiğinde dosya (ya da alt dizinin) var olup olmadığını kontrol etmelidir, çünkü s3fs mevcut olmayan ve kendi altında dosya ya da alt dizinleri olan bir dizini tanıdı. ListBucket isteğini artırır ve performansı kötü yapar. Performans için bu seçeneği belirleyebilirsiniz, s3fs stat önbelleğinde nesnenin (dosya veya dizin) mevcut olmadığını ezberler.
Bu seçenek s3fs'nin orada .ftpaccessolmadığını hatırlamasını sağlar .
Yukarıdaki değişikliklerle çözülen ProFTPd ile ortaya çıkabilecek performans sorunları ile ilgili olarak, s3fs'de de etkinleştirmeniz gerekir -o enable_content_md5.
-o enable_content_md5 (varsayılan devre dışıdır)
content-md5 üstbilgisine göre çok parçalı olmadan yüklenen verilerin doğrulanması. Çok parçalı yayın olmadan bir nesne yüklerken "Content-MD5" başlığını göndermeyi etkinleştirin. Bu seçenek etkinleştirilirse, küçük nesne yüklerken s3fs'nin performansı üzerinde bazı etkileri vardır. Büyük nesne yüklerken s3fs her zaman MD5'i kontrol ettiğinden, bu seçenek büyük nesneyi etkilemez.
Bu, hiçbir zaman bir seçenek olmaması gereken bir seçenektir - her zaman etkinleştirilmelidir, çünkü bunu yapmamak sadece ihmal edilebilir bir performans avantajı için kritik bir bütünlük kontrolünü atlar. Bir nesne bir Content-MD5:başlık ile S3'e yüklendiğinde , S3 sağlama toplamını doğrular ve taşıma sırasında bozulmuşsa nesneyi reddeder. Her ne kadar olası olmasa da, bu güvenlik kontrolünü devre dışı bırakmak kısa görüşlü gibi görünüyor.
Alıntılar s3fs'in man sayfasından. Dilbilgisi hataları orijinal metindir.