Linux için büyük dosyalar (yedekler) için kayaya dayanıklı dosya sistemi

18

Yedeklemeler için en iyi dosya sistemi hangisidir? İstikrarla ilgileniyorum (özellikle sabit yeniden başlatmalar sırasında dosyaların bozulması vb.), Ancak büyük (> 5GB) dosyaları ne kadar verimli işlediğini de önemlidir.

Ayrıca, hangi mount parametrelerini kullanmalıyım?

Çekirdek Linux> = 2.6.34.

DÜZENLEME: Ben do not yedekleme yöntemleri istiyorum. Bunları saklamak için dosya sistemine ihtiyacım var.

linux filesystems backup

— Maciej Piechotka
kaynak

Günlük, haftalık, aylık ne kadar veri yedekliyorsunuz? Ne kadar veriyi ve ne kadar süreyle saklamayı planlıyorsunuz?

— Stefan Lasiewski

Linux olmalı mı? FreeBSD 8.1'de ZFS'yi (Eski, kararlı bir sürüm 14) düşündünüz mü?

— Stefan Lasiewski

Dizüstü bilgisayar için geçici yedekleme depolama alanıdır - harici sabit sürücüye gönderilinceye kadar. FreeBSD'den itibaren - harika bir sistem olsa da, bu uygulamada bana uymuyor.

— Maciej Piechotka

13

Ext4 kullanabilirsiniz, ancak journal_data'bazı önceki sorunlara neden olan dealloc (gecikmeli ayırma) kapatır modu ile montaj tavsiye ederim . Dealloc'un devre dışı bırakılması yeni veri yazma işlemlerini yavaşlatır, ancak elektrik kesintisi durumunda yazma olasılığını kaybetme olasılığını azaltır. Ayrıca journal_data, biraz geliştirilmiş okumalar gibi başka faydaları (veya en azından ext3'te yaptığı) kullanmadan dealloc'u devre dışı bırakabileceğinizi de belirtmeliyim ve daha iyi iyileşmeye inanıyorum.

Uzantılar hala parçalanmaya yardımcı olacaktır. Uzantılar, büyük dosyaların silinmesini ext3'ten çok daha hızlı yapar, herhangi bir boyuttaki verinin silinmesi (tek dosya) ext4'te anında yakın olmalıdır, ancak ext3'te uzun sürebilir. (herhangi bir ölçüde FS'nin bu avantajı vardır)

ext4 ayrıca ext3'ten fsckdaha hızlıdır.

Son bir not, ext4'te 2.6.31'e kadar hata düzeltmeleri yapıldı mı? Temel olarak 2.6.32 öncesi bir LTS çekirdeği olan bir çekirdeği çalıştırmadığınızdan emin olurum.

— xenoterracide
kaynak

"Kaya gibi" tercih ederseniz ext4, onunla ilişkili mertis ve riskleri on disk layoutve dolayısıyla istirahat halindeki veri güvenliğini ( burada tartışılan bir özellik ) dikkate almak faydalı olabilir

— humanityANDpeace

5

XFS kaya gibi sağlam ve uzun zamandır çekirdekte. Xfs_freeze gibi araçları inceleyin ve aradığınız şeyin olup olmadığını görün. Bunun son derece öznel olduğunu biliyorum ama XFS'yi veri depolama için yıllarca olaysız kullandım.

— dsp
kaynak

2

Cevabımı temel alarak XFS'nin uzantı tabanlı olduğunu ve ext4 ile aynı avantajları taşıdığını belirtmek isterim. Ancak, ext4'ün sahip olabileceği dealloc ile aynı sorunları taşıdığını belirtmek isterim, bu da fiş senaryosunda bir veri kaybına neden olabilir. XFS'de dealloc'un devre dışı bırakılıp bırakılamayacağını bilmiyorum.

— xenoterracide

Evet, özelliği devre dışı bırakıp bırakamayacağınızdan emin değilim, ancak xfs_freeze yardımcı programı kararlı bir disk görüntüsü sağlar. Man sayfasından: -f bayrağı, belirtilen XFS dosya sisteminin yeni değişikliklerden dondurulmasını ister. Bu seçildiğinde, dosya sistemindeki devam eden tüm işlemlerin tamamlanmasına izin verilir, yeni yazma sistemi çağrıları durdurulur, dosya sistemini değiştiren diğer çağrılar durdurulur ve tüm kirli veriler, meta veriler ve günlük bilgileri diske yazılır. Dondurulmuş dosya sistemine yazmaya çalışan herhangi bir işlem, dosya sisteminin donmasını beklemeyi engeller.

— dsp

Floş çalıştığı sürece dosyaların orta yolsuzluğuyla daha az ilgileniyorum.

— Maciej Piechotka

3

Sağlama toplamlarını destekleyen bir yedekleme aracı kullanın. Örneğin Dar yapar ve artımlı yedeklemeleri destekler. Sonra ext3 gibi kaya gibi sağlam bir dosya sistemine yedekleme yapabilirsiniz.

Yedeklemeler için sağlam / çok kararlı bir şey istersiniz. Ve btrfs veya ZFS bugün hazır değil.

— maxschlepzig
kaynak

— Ext3

0

btrfs, diske yazılan verilerin şeffaf bir şekilde denetlenmesini ve her zaman açık olan (ve diğer birçok yedekleme dostu özellik) hızlı yedeklemeli bir moddur ve bu da yedeklemeler için caziptir. Bkz. Https://btrfs.wiki.kernel.org/index.php/Main_Page fazla bilgi için bakın.

— durin42
kaynak

Hmm. Gelecekte iyi bir cevap olsa da, şu anda Linux'ta btrfs veya zfs'nin kararlı olduğunu düşünmüyorum.

— Maciej Piechotka

Çekirdek kullanıcılar tarafından bana önerilen btrfs var. Son olarak Mercurial bakıcısının tam zamanlı olarak en az bir makinede çalıştığını biliyordum. Her gün FUSE üzerinden ZFS kullanıyorum ve FUSE nedeniyle biraz yavaşsa kaya gibi sağlam.

— durin42

1

disk formatındaki btrfs henüz kararlı değil ... Değişene kadar bunu tavsiye etmem. Çekirdek programcıları her türlü çılgınca çalışabilirler.

— xenoterracide

ZFS kararlı olabilir ... ama SİGORTA nedeniyle onunla uğraşmazdım.

— xenoterracide

1

FUSE üzerindeki ZFS bir hack'tir. İyi bir saldırı olabilir, kritik iş verileriniz için buna güvenmezdim. Ayrıca, FUSE üzerinde ZFS'nin bazı hız sorunları vardır ve terabaytlarca veri yedeklerken hız önemlidir.

— Stefan Lasiewski

0

Diğer cevaplarda tartışılan görmediğim imho çok önemli bir yönü , dosya sisteminin disk düzeni üzerindeki kararlılık özellikleridir (örneğin, olası adayların belgelerine başvurmayı düşünün) ext4 , btrfs )

Kod tabanı ve kod tabanı dosya sistemi sürücülerinin test miktarı, alrady'in gösterdiği diğer cevaplar gibi gerçekten önemli olsa da, okuma ve yazma sırasında verilerin korunması olduğundan, , diskteki düzen / format , verileriniz için risklere karşı korumadır dinlenme durumunda, okunamayan sektörler veya sessiz bit çürüğü gibi donanım kusurlarının formlarıdır .

Bununla ilgili olarak ext4, iyi özelliklere sahip olduğu söylenen uzun test edilmiş kod tabanıdır ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf , içindeki hataları bulmanın, örneğin daha modern ve daha karmaşık olanlardan daha uzun sürdüğünü gösterirbtrfs ), dinlenme sırasında ext4 direncine baktım ve övgü dolu dosya sisteminin bazı imho eksikliklerini buldum.

Kullanarak ("sertleştirme" olsa da) kurtarılabilirliği artırmak için ( ext4" kaya-katı yedekleme fs " olarak seçilirse) ihtiyatlı olarak kabul ediyorume2imageext4Sağlamak geliştiriciler aracı

E2image programı, aygıtta bulunan kritik ext2, ext3 veya ext4 dosya sistemi meta verilerini görüntü dosyasıyla belirtilen bir dosyaya kaydeder. Görüntü dosyası dumpe2fs ve debugfs tarafından bu programlara -i seçeneği kullanılarak incelenebilir. Bu, felaketle bozulmuş dosya sistemlerini kurtarma konusunda bir uzmana yardımcı olabilir. Gelecekte, e2fsck, hasar görmüş bir dosya sisteminin kurtarılmasına yardımcı olmak için görüntü dosyasını kullanabilmek için geliştirilecektir.

ve tavsiye .

Bir sistemdeki tüm dosya sistemleri için görüntü dosyaları oluşturmak ve bölüm düzenini (fdisk -l komutu kullanılarak oluşturulabilir) düzenli aralıklarla - önyükleme zamanında ve / veya her hafta veya yani. Görüntü dosyasının, dosya sisteminin kötü bir şekilde hasar gördüğü durumlarda erişilebilir olmasını sağlamak için, verilerini içerdiği dosya sistemi dışındaki bazı dosya sistemlerinde saklanması gerekir.

O bile tüm meta verileri dikkate alındığında ext4 , disk düzeni , (yani superblok indoes sadece tam olarak 1 yerde saklanır, bir kopya olarak commenly birden çok kez depolanır) fazlalık ile sağlanır ext4mutlaka ile inferrior olduğunu btrfssağlayacağını için en az sağlama az tüm meta veriler + dosya içeriği verileri .

Bu "eksiklik" e karşı koymak ext4ve disk düzenirock-solid açısından daha fazla bir şey yapmak için / parchive yoluyla dosya içeriği için bu fazlalık ve kurtarmayı tamamlamak makul olabilirpar2

Soru, dosya sistemi çözümlerine odaklanmayı gerektirmesine rağmen, bir dosya sisteminin sağladığı önbellek, günlükler, ayrılan alanın geri kazanılması, blokların tahsisi vb.) sadece toplu olarak ve rarley'de yazılmış ve okunurken. Bunun için süreçte kullanılan kod temeli azaltıldığı ve daha az "özellik" varsa daha az hata olduğu için, daha iyi yedekleme çözümü olarak bir parchiveek taryedekleme kullanmayı düşünürdüm .

— humanityANDpeace
kaynak