Yavaş ve güvenilir olmayan bir ağ bağlantısı üzerinden yedek anlık görüntüleri iletmek için btrfs gönderme / alma nasıl kullanılır?

11

Ben btrfs 'göndermek / almak özelliği oldukça yavaş (yaklaşık 50-100GB ilk tohum, yukarı akış bant genişliği ~ 1-2MBit / s) ve güvenilmez (her iki uçta günlük zorla kesinti) bağlantısı üzerinden yedek anlık görüntüleri iletmek için kullanmak istiyorum.

Aşağıdaki gereksinimleri görüyorum:

şifreli aktarım (genellikle bir SSH tüneli kullanılarak gerçekleştirilir)
kesilen bağlantılara karşı sağlamlık

ZFS, rsync'in yaptığı gibi, kesintili aktarımlara otomatik olarak devam edebiliyor gibi görünüyor . Bu BTRFS için de geçerli mi? Gönder / wiki sayfası alır kesintiye transferleri açısından kullanışlı değildir. Eğer btrfs kesintili aktarımlara devam edecekse, tek yapmam gereken bir SSH tüneli kullanmak ve kesintiye uğrarsa devam etmektir.

Aksi takdirde, btrfs-bağlantısının kesilmeden sağlandığından emin olmak için aralarında bir arabellek kullanmalıyım veya her iki sunucuyu da tohumlama için birbirine yakınlaştırmalıyım (günlük iletimi mükemmelleştiren ek dosyalar ile ilgili bir sorun olacaktır) kapasiteleri ve anlık görüntüler gönderme).

Tohum ve anlık görüntüleri aktarmak için nelere dikkat etmeliyim?

linux backup btrfs

— Jens Erat
kaynak

8

Bir süredir yedeklemeler için "btrfs send" kullanıyorum. O mu değil kırık transferler devam ettirme kolu. Ben bir yardımcı program yazdım yapar Amazon S3 yerel btrfs dosya sisteminde özgeçmiş transferleri ve otomatik senkronizasyon işlemleri anlık. Yardımcı olup olmadığını görmek için deneyebilirsiniz ve herhangi bir geri bildirim almak isterim! Hem GitHub ( https://github.com/AmesCornish/buttersink ) hem de PyPi'de ( https://pypi.python.org/pypi/buttersink/ ).

— user80646
kaynak

Biraz boş vaktim olur olmaz buna kesinlikle bir göz atacağım. Benioku dosyanız ssh-backend'in henüz uygulanmadığını söylüyor, bu uzak btrfs dosya sistemine senkronizasyonun hala kuyrukta olduğu anlamına mı geliyor?

— Jens Erat

kulağa hoş geliyor, ama ne yazık ki yararlı olması için SSH'ye ihtiyacım var.

— Matthias Urlichs

2

SSH arka ucu uygulandı (0.6 itibariyle)

— user80646

4

bir dosyaya veya bir boruya "gönder". diğer uçtaki dosya veya boru ile "al". Şüpheli bir bağlantıyla, dosyalar ve rsync gibi bir aktarımla muhtemelen en iyisini yaparsınız.

— user66738
kaynak

1

doğru, dosyayı birden fazla parçaya bölmek bile mümkündür.

— Rsync'in

1

buttersinkS3 özgeçmişine ek olarak btrbkşunları destekler:

Yedeklerin sürdürülmesi (yedekleme hedefine bir süre ulaşılamamışsa)

Düzenleme: O zamandan beri tek tek anlık görüntülerin aktarımının devam etmediğini öğrendim btrbk, ancak yedekleme hedefi çevrimdışı olacak (kesilen anlık görüntünün aktarımını yeniden başlatacak).

— Tom Hale
kaynak

btrbkProgramlama dili seçiminden biraz hoşlanmama rağmen, kesinlikle devam eden transferlere nasıl bir göz atacağım ve yine de ihtiyacım olan özellik kümesini uyguluyor gibi görünüyor.

— Jens Erat