arşivleme için dosya sistemi

Dosya sistemimde bazı karmaşık salt okunur veriler var. Bir svn deposunun belirli revizyonlarının binlerce anlık görüntüsünü ve regresyon testlerinin çıktısını içerir. Anlık görüntüler arasındaki özdeş dosyalar zaten sabit bağlantılar kullanılarak çoğaltılır. Bu şekilde, depolama kapasitesinin büyük olması gerekmez, ancak yine de çok fazla inode tüketir ve bu da fsck'i ana dosya sistemim için acı verici bir şekilde uzun hale getirir.

Bu verileri başka bir dosya sistemine taşımak istiyorum, böylece ana dosya sistemini çok fazla etkilemez. Önerileriniz var mı? Squashfs olası bir seçim gibi görünüyor, ancak sert bağlantıları verimli bir şekilde idare edip edemeyeceğini kontrol etmeliyim.

Eğer abs fsck yavaşlığı, ext4 denediniz mi? Kullanılmayan inode'lara bakmadan fsck'i gerçekten hızlı hale getiren birkaç özellik eklediler :

Fsck çok yavaş bir işlemdir, özellikle de ilk adım: dosya sistemindeki tüm inodeları kontrol etmek. Ext4'te, her grubun inode tablosunun sonunda kullanılmayan düğümlerin bir listesi saklanır (güvenlik için bir sağlama toplamıyla), bu nedenle fsck bu inode'ları kontrol etmez. Sonuç, kullanılan düğüm sayısına bağlı olarak toplam fsck süresinin 2 ila 20 kat artmasıdır (http://kerneltrap.org/Linux/Improving_fsck_Speeds_in_Ext4). Kullanılmayan inodların listesini oluşturacak olan Ext4 değil, fsck olduğuna dikkat edilmelidir. Bu, kullanılmayan düğümlerin listesini oluşturmak için fsck'i çalıştırmanız gerektiği ve yalnızca bir sonraki fsck çalıştırmasının daha hızlı olacağı anlamına gelir (yine de Ext3 dosya sistemini Ext4'e dönüştürmek için bir fsck'i geçmeniz gerekir). Bu esnek hızda yer alan bir özellik de var - "esnek blok grupları"

Btrfs, anlık görüntüler için yerel desteğe sahiptir, bu nedenle tekilleştirme için sabit bağlantılar kullanmanız gerekmez. Mevcut kurulumunuzu bir btrfs dosya sistemi oluşturarak ve ihtiyacınız olan en eski revizyonla yükleyerek ve bir anlık görüntü alarak ve daha sonra anlık görüntüye ihtiyaç duyduğunuz ve her bir anlık görüntüye ihtiyaç duyduğunuz zamanda depoyu her bir noktaya geri döndürerek yeniden oluşturabilirsiniz. adım. Bu, sabit bağlantılardan daha verimli ve kurulumu daha basit olmalıdır.

Ben de (bundan emin olmasam da) squashf'lerin dosyaları şeffaf bir şekilde tekilleştirdiğini düşünüyorum, bu yüzden sabit bağlantıları ele almasa bile, yine de faydaları göreceksiniz. Dosya sistemindeki verileri asla değiştirmeniz gerekmiyorsa, squashfs muhtemelen gitmenin yoludur, çünkü fsck daha sonra md5sum ile değiştirilebilir;)

Bu dosya sistemi ile çok iyi deneyimlerim olduğu için XFS'yi tercih ederim . Ama gerçekten tavsiye ederim, verileriniz ve önerilen tüm dosya sistemleri ile bir test yapmalısınız.

Tam olarak bu amaçla DataDomain kullanan birkaç dükkan biliyorum .

Arşiv komut dosyanız çok basit olabilir (örneğin tar veya rsync ve cron) ve sabit bağlantıları veya çoğu dosya sisteminde sabit bağlanamayan dizinleri yönetme konusunda endişelenmenize gerek yoktur. Bant genişliğini korumak dışında artımlı kopyalara gerek yoktur. Tüm sihir blok katmanının altında gerçekleşir. Yalnızca 1-2 TB değerinde gerçek disk alanı kullanırken 15-20 TB değerinde sanal veri barındırmak olağandışı değildir. Disk yedeklemeleriniz için hala çok şey kaldı.

Veriler NFS veya iSCSI üzerinden sunulur, ancak bunun bir sorun olup olmadığından emin değilim

FreeBSD ZFS v23 aldığında, tekilleştirme için tekilleştirme kullanılabilir.