vm'lerin etkin saha dışı uzaktan yedekleme çözümü için öneriler

Mevcut 6 vm'leri (ve yakında 20'ye kadar büyüyecek) yedeklemek için öneriler arıyorum. Şu anda (bu yönetmek için özel bir web ön ucuyla sanallaştırma için kvm kullanarak bir debian tabanıdır) iki düğüm proxmox kümesi çalıştırıyorum. Amd phenom II x4 ve asus anakartlar ile neredeyse aynı iki kutum var. Her biri 4 500 GB sata2 hdd, işletim sistemi için 1 ve proxmox kurulumu için diğer veriler ve iki makine arasında 1,5 TB depolama alanını paylaşmak için mdadm + drbd + lvm kullanan 3'e sahiptir. Tüm sanal makineler için lvm görüntüleri kvm'ye bağlarım. Şu anda tipik olarak saniyeler içinde bir makineden diğerine canlı aktarım yapabiliyorum (m $ sql sunucusu ile win2008 çalıştıran en büyük vm'de yaklaşık 2 dakika sürüyor). Ben vm anlık görüntüleri almak için proxmox yerleşik vzdump yardımcı programı kullanıyorum ' bunları ağdaki harici bir sabit diskte saklayın. Sonra uzak offsite yedekleme için vzdump klasörü eşitlemek için jungledisk hizmeti (rackspace kullanarak) var.

Hepsi iyi ve züppe ama çok ölçeklenebilir değil. Birincisi, yedeklemelerin kendileri her gece birkaç saat sürebilir. Jungledisk'in blok düzeyi artımlı aktarımları ile senkronizasyon, veri alanının yalnızca küçük bir bölümünü saha dışına aktarır, ancak yine de en az yarım saat sürer.

Çok daha iyi bir çözüm elbette iki zaman noktasının farkını anında almamı sağlayan bir şey olacaktır (06: 00-07: 00 arasında yazılanları söyleyin), sıkıştırın, ardından bu fark dosyasını anında sunucuya aktaracak yedekleme sunucusuna gönderin. rafta uzak depolama. Biraz zfs içine baktım ve gönderme / alma yeteneği. Bu bzip veya benzeri bir veri borusu ile birleştiğinde mükemmel görünecektir. Bununla birlikte, zfs ile bir nexenta sunucusunun uygulanmasının, temel olarak, proxmox sunucularına iSCSI blok hacimlerini (zvol's ??? aracılığıyla) sunmak için en az bir veya iki daha fazla depolama sunucusu gerektireceği görülüyor. Mümkünse kurulumu olabildiğince az tutmayı tercih ederim (yani ayrı depolama sunucularına sahip DEĞİL).

Ayrıca zumastor hakkında kısaca okudum. Görünüşe göre istediğimi de yapabilir, ancak 2008'de gelişimi durdurmuş gibi görünüyor.

Peki, zfs, zumastor ya da diğer?

Bu sizin durumunuzda mümkün olmayabilir, bu yüzden umarım bu durumda aşağı oy almam, ancak yedekleme stratejinizi değiştirmek daha verimli olabilir. VM anlık görüntüleri yerine belirli verileri yedeklerseniz yedekleriniz çok daha hızlı çalışır ve değişiklikleri yakalamak daha kolay olur.

VM'lerinize ve ne için kullanıldıklarına bağlı olarak, anlık görüntüleri şimdi günlük olarak (veya programa uygun olan her ne olursa olsun) depoladığınız yere yedeklemelerini sağlayabilirsiniz ve sonra JungleDisk sadece verileri yedekleyebilir. Bu, değişen dosyaları daha verimli bir şekilde aktarır ve yedeklemeler için gereken alan ve gereken süre azalır. Ayrıca, tutmak için anlık görüntüler alabilir ve bunu daha az sıklıkla yapabilirsiniz (örneğin, haftalık).

Bu durumda, her zaman yeni bir VM getirebilir ve verileri geri yükleyebilir veya VM'yi geri yüklemek için daha eski bir anlık görüntü kullanabilir ve ardından en son noktaya geri yüklemek için veri yedeklemesini kullanabilirsiniz.

Ben site dışı yedeklemeler yapıyordum ben aşağıdaki seçenekleri tercih ediyorum:

(a) SCP'yi uzak sunucuya kopyalayan kabuk komut dosyası, Bu şekilde yedeklemeyi oluşturan komut dosyasını otomatik olarak çalıştıran bir cron işi ekleyebilirsiniz. Ek olarak, dosyaları gerçekten aktarmadan önce geçici bir arşiv dosyası oluşturacak şekilde oluşturabilir, böylece eşik gziping sırasında aktarmadan bant genişliğinden tasarruf edebilirsiniz.

veya

(b) Webmin gibi bir sunucu yönetim aracı yükleyin ve bunu otomatik yedeklemeler yapın. Şu anda bunu sorunsuz bir şekilde üretim sunucularımda söylüyorum, sadece kusursuz çalışıyor. Ayrıca hepsi bir arada bir çözüm sağladığı için birçok vm yönetmek için cloudmin (ücretli) öneriyoruz.

bazı ekstra bağlantılar:

http://www.debianhelp.co.uk/backup.htm

http://ubuntuforums.org/showthread.php?t=35087

Umarım yardımcı olur, RayQuang

backuppc'a bir göz atmak isteyebilirsiniz.

backuppc artımlı kopya yapan rsync'in üstünde çalışabilir.

dahası kolayca yedeklenmesi gerekmeyen bir kara liste listesi yazabilirsiniz. Örneğin: temp / / tmp .garbages / ...

http://backuppc.sourceforge.net/

backuppc, yedeklemenin bazı bölümlerini doğrudan zip dosyası olarak indirmenize izin veren temiz bir web arayüzüne sahiptir. Check_backuppc kullanılarak nagios tarafından izlenebilir.

Ölçeklenebilirliğinizi artırmak için ne kadar mimari değişiklik yapmayı planladığınızdan emin değilim. Bununla birlikte, VM platformlarını değiştirmeye açık olursanız VMWare'e bakabilirsiniz.

Birçok iyi VMWare yedekleme çözümü var, ben şahsen VzionCore kullandım. Daha sonra anlık görüntüler ve zaman kurtarma nokta ile kaygan şeyler yapabilirsiniz. Uzak bir siteye geçme yeteneği bile vardır.

zfs bunu harika yapıyor, zaten bildiğinizden ve 2 sunucu ölçeğinde harika çalışmamanın dezavantajından bahsetmiştiniz. Ayrıca size DRDB yük devretme olanağı vermeyecektir, yani Nexenta tek bir hata noktası olacaktır.

OpenSolaris veya NexentaCore üzerinde VirtualBox almaya çalışmayı düşünebilirsiniz, ancak ProxMox + DRDB kadar basit değil, böylece mevcut makinelerinizi yeniden kullanabilirsiniz.

Değişikliklerinizi ölçerseniz ve yeterince düşük bulursanız, 3. ayna dışında DRDB'yi deneyebilirsiniz - Bu yalnızca sanal makinelerinizdeki yazma sayısı son derece düşükse işe yarayacaktır.

Steve Radich - 1995'ten beri Windows Hosting ve SQL Performansı - http://www.BitShop.com/Blogs.aspx

Büyük bir proxyx kümesi çalıştırıyorum ve yedekleme stratejinizi, yaşlanan, her zaman dolu olduğundan ve tek tek dosyaların geri yüklenmesini son derece uzun süren, yerleşik vzdump anlık görüntü stili yedeklemelerden değiştirmenizi öneririz.

Çok sayıda 'misafir' dosya yedekleme çözümü düşünün. Backuppc, Urbackup, bacula, amanda vb ...

Çok daha hızlı olacak, çok daha az yer kaplayacak ve belirli dosyaları geri yüklemek çok daha kolay olacaktır.

Sanırım sorumun nihai cevabını bulmuş olabilirim:

BUP https://github.com/bup/bup

Özellikleri:

• Büyük dosyaları yığınlara bölmek için bir yuvarlama sağlama toplamı algoritması (rsync'e benzer) kullanır. Bunun en yararlı sonucu, büyük bir sanal makine (VM) disk görüntüsünü, veritabanını ve XML dosyasını, tipik olarak hepsi büyük bir dosyada olsa da, birden fazla sürüm için tonlarca disk alanı kullanmamalarına rağmen aşamalı olarak yedekleyebilmenizdir.

  Git'ten (açık kaynak sürüm kontrol sistemi) packfile formatını kullanır, böylece bup kullanıcı arayüzünü sevmeseniz bile saklanan verilere erişebilirsiniz.

  Git'ten farklı olarak, paket dosyalarını doğrudan yazar (ayrı bir çöp toplama / yeniden paketleme aşaması yerine), bu yüzden çok büyük miktarda veriyle bile hızlıdır. bup'un gelişmiş dizin formatları, git (milyon) dosyasından çok daha fazla dosya adını izlemenize ve çok daha fazla nesneyi (yüzlerce veya binlerce gigabayt) izlemenize olanak tanır.

  Yedeklemeler birbirini bilmeyen iki farklı bilgisayardan yapılmış olsa bile, veriler hangi yedeklemenin diğerine dayandığını bilmek zorunda kalmadan artımlı yedeklemeler arasında "otomatik olarak" paylaşılır. Sadece bup'a bir şeyler yedeklemesini söylersiniz ve yalnızca gereken minimum veri miktarını kaydeder.

  Yedeklenen bilgisayarda tonlarca geçici disk alanına ihtiyaç duymadan, doğrudan uzaktaki bir bup sunucusuna yedekleme yapabilirsiniz. Ve yedeklemeniz yarıda kesilirse, bir sonraki çalıştırma kaldığınız yerden devam edecektir. Ve bir bup sunucusu kurmak kolaydır: ssh erişimine sahip olduğunuz herhangi bir makineye bup yükleyin.

  Diskinizde algılanan bozuk sektörler olsa bile bup bozuk yedekleri kurtarmak için "par2" artıklığını kullanabilir.

  Bir yedekleme artımlı olsa bile, tam yedeklemeyi geri yükleme konusunda endişelenmenize gerek yoktur, ardından artımların her biri sırayla; artımlı yedekleme tam bir yedekleme gibi davranır, daha az disk alanı kaplar.

  Bup veri havuzunuzu bir FUSE dosya sistemi olarak bağlayabilir ve içeriğe bu şekilde erişebilir ve hatta Samba üzerinden dışa aktarabilirsiniz.

Edit: (19 Ağu 2015) Ve daha da iyi olan başka bir harika çözüm çıkıyor: https://github.com/datto/dattobd

Canlı anlık görüntü oluşturmaya izin verir, temelde Linux'ta herhangi bir normal eski dosya sistemine COW benzeri özellikler verir.

Edit: (15 Tem 2016) Ve hatta sudan bup darbeler başka bir harika çözüm: https://github.com/borgbackup/borg

Budama, bup daha iyi özellikle. Sıkıştırma, şifreleme ve etkili veri tekilleştirme için büyük bir desteğe sahip gibi görünüyor. dattobd + borg ftw !!!