20 + TB veri nasıl yedeklenir?

Fotoğrafçılık seanslarını depolamak için çalıştığım şirkette bir NAS sunucumuz var. Her oturum yaklaşık 100 gb'dir. Son birkaç yıl içinde bu sunucu 10+ TB veri topladı ve üstel olarak fotoğraf çekimlerini artırıyoruz. Gelecek yılın sonunda bu NAS'ta 20+ TB saklayacağımızı tahmin ediyorum. Şu anda bu sunucuyu, Symantec BackupExec ile LTO-5 bantları kullanarak teybe destekliyoruz. Bu sunucunun boyutu büyüdüğünden, bu sunucunun tam yedeklemeleri bir gecede tamamlanmıyor. Bu miktardaki verilerin yedeklenmesi konusunda herhangi bir önerisi olan var mı? Kasete yedekleme yapmalı mıyız? Daha iyi olabilecek başka seçenekler var mı?

Geri bir adım atmanız ve "NAS'ımda 20 TB var, yedeklemeliyim!" Diye düşünmeyi bırakmalısınız. ve verilerinizin doğasını dikkate alan bir depolama stratejisi geliştirmek:

• Nereden geliyor ve ne kadar yeni veri alıyorsunuz? (Sorunuzda bunu var)
• Veriler elinizde olduğunda nasıl kullanılır? İnsanlar resimleri düzenliyor mu? Orijinalleri saklıyor ve düzenlenmiş sürümleri oluşturuyor musunuz?
• Tüm verileri ne kadar süreyle saklamanız gerekiyor? İnsanlar 2 yıl önceki resimlerde hala değişiklik yapıyor mu?

Son iki sorunun cevabına bağlı olarak, muhtemelen kökten farklı bir yedekleme sisteminden çok bir Arşivleme Sistemine ihtiyacınız vardır .

Statik olan verilerin (ör. "Sadece durumda" tuttuğunuz 2 yıllık resimler) her gece, hatta her hafta yedeklenmesi gerekmez, her zaman arşivlenmesi gerekir. Aslında yaptıklarınız daha karmaşık olabilir, ancak kavramsal olarak, tüm eski resimler kasete yazılabilir (birden fazla kopya!) Ve artık yedeklenemez.

Yorumlarınıza göre, bazı ek düşünceler:

• Her çekimin orijinalini dokunulmadan tuttuğunuz ve bir kopya üzerinde çalıştığınız ve orijinal resimlerin en azından bazılarının duds olduğu varsayımıyla, yedeklenmesi gereken veri miktarını ikiye bölebilirsiniz.

• Ne kadar zamanınız olursa olsun tam bir yedeklemeyi hala tamamlayamıyorsanız, işleri hızlandırmanın yaygın bir yolu önce diske - diski yedekleme yapmak, sonra da teyp ayarını kopyalamaktır.

İki seçeneğiniz var:

Seçenek 1:

1. Başka bir NAS al
2. Kullanıcılarınıza RO’yu new_NAS’e erişim izni verin
3. 2 yıldan daha eski olan tüm dosyaları new_NAS'a taşı
4. Old_NAS'ı her zamanki gibi yedeklemeye devam edin
5. Her 6 ayda bir 2 yıldan daha eski dosyaları new_NAS'a taşı

Seçenek 2:

1. Başka bir NAS al

2. rsyncHer saat başı çalıştır : old_NAS -> new_NAS

   veya, rsync + dosya değişikliklerinde deltaları tutan rdiff-backup gibi bir şey daha iyi kullanırsanız (dosyaların eski sürümlerini geri yükleyebilirsiniz)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. Her 6 ayda bir çalışan eski dosyaları temizleyin:

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

Yedekleriniz neden bir gecede tamamlanmak zorunda? Dosya sunucusu performansı? Gün içerisinde etkiyi sınırlamak için yedekleme yazılımınızın bant genişliğini sınırlayabilirsiniz. Veya diğer trafik üzerindeki etkiyi sınırlamak için NAS sürücünüzle teyp sürücüsüyle konuşması için bir arayüz ayırın.

Hafta sonları tam çöplükler koyabilir ve sadece hafta boyunca artışlar yapabilir misiniz? Sorun hafta sonu kimsenin olmadığı zamanlarda kasetleri değiştiriyorsa, ucuz kaset kütüphanesi / otomatik değiştirici, kaseti değiştirmek için birisine ödeme yapmaktan çok daha ucuzdur.

Verilerinizi, yedekleme pencerenizde tamamlayabilecek kadar küçük birden fazla gruba ayırabilir misiniz?

Bir NAS cihazımızda yaklaşık 50 TB veri var ve 2 teyp sürücüsü kullanarak her şeyin tam bir dökümü için bir haftadan fazla zaman alıyor (bir cildin bir çok küçük dosya içerdiği için bir hafta neredeyse bir hafta alıyor). Yaptığımız şey verilerimizi ikinci bir NAS'a kopyalamak. İkincil NAS'miz yerinde (ancak birincil olandan farklı bir veri merkezinde), bu nedenle hala saha dışı yedekleme için verileri bantlıyoruz. İkincil NAS'tan yedeklemeler yapıyoruz, böylece yedeklemeler kimseyi yavaşlatmaz.

İkincil NAS'ınızı yeterince uzağa konumlandırabilirseniz, yedeklemeniz gerekebilir, kaset gerekmez.

Her çekim seansının boyutundan şüpheliyim, gerçekten 100 gb / seans mı? Şirketiniz her ay kaç seans yapıyor?

Çoğunlukla sıklıkla kullanılmayacak eski oturumları sakladığınız, vb. Ve muhtemelen bu bilgileri kurtarmanız gerekmediğinden, bu görevi sizin için halletmek için bazı şirketlerden hizmetleri kullanmanızı öneririm. .

Örneğin, bu 20 TB’yi Amazon Glacier gibi bir çevrimiçi hizmet kullanarak depolamak, ayda 200 dolardan biraz fazla tutabilir. Bu arşivleri sık sık almanız ya da tam olarak kurtarmanız gerekiyorsa, zaman / maliyet kısıtı getirecektir. Bunları sadece "depolandıklarından emin olmak için" saklarsanız, belki de üçüncü bir parçayı kullanmak hayatınızı kolaylaştırabilir (hatta başka bir NAS, kaset vb. Satın almaktan daha ucuz)

full backups of this server are not completing overnight
O zaman artımlı yedeklemeyi dene? Her xx günde bir tam yedekleme, geri kalanlar artımlıdır.

Sabit diskler ucuzdur, şeritlerden daha hızlıdır ve yedekleme için kullanılabilir.

Ayrıca şimdi bulut yedekleme için iyi alternatifler var, bu yüzden daha fazla ve daha hızlı bantlar eklemeye devam etmek zorunda değil.
Örneğin:

• Red-Gate Bulut Hizmetleri
• Amazon yedek depolama
• Amazon Buzulu (ucuz uzun süreli depolama) desteği

Bunun için en iyi çözümün, sizin için uygulamanız için asgari çaba sarf etmesi gereken bordro verilerimizle yaptığımız şey olduğunu düşünüyorum.

• Başlangıçta, günlük olarak yedeklenen sunucu verilerinin geri kalanıyla birlikte tutulur. Bu yedeklemelerde saklama süremiz 13 aydır.

• Artık verilerin değiştirilmesi gerekmediğini umduğumuzda, (iki ödeme dönemi sonra, IIRC) veriler (komut dosyasıyla) düzenli yedeklemelerden hariç tutulan bir arşiv hacmine kaydedilir.

• Arşiv hacmi her yıl kasete yedeklenir ve sınırsız depolama için kasetler Cintas'a gönderilir.

Bu, değişmeyen verilere (çevrimiçi bir muhasebecinin bir şeye bakmak istediği bir kaseti aramak zorunda değiliz) sonsuza kadar saklamamız gerekebileceği gibi, değişmeyen verilere kolay, çevrimiçi erişime sahip olmamızı sağlar. ve yedekleme sistemimizi ezmeden. Aynı tür kurulum gibi sesler sizin için işe yarayabilir, ancak bu verilere zamanında erişme gereksinimlerinize bağlı olarak çevrimiçi tuttuğunuz veri miktarını ayarlamak isteyebilirsiniz - 20 TB kurumsal depolama alanı çok daha pahalıdır saha dışındaki tonozlarda sakladığınız iki veya üç set LTO5 kasete arşivlemekten daha fazla.

Belki de kendi inşa edebilirsiniz Backblaze Pod'u : 135Tb için $ 7384
daha fazla bilgi için tıklayın: Backblaze Pod bina bilgisi

İhtiyacınız olan parçaları satın alıp kendiniz yapabilirsiniz.

Belki 3 tanesini inşa edebilir, 2 tanesini yerinde ve 1 tanesini saha dışında tutabilirsin. Ardından bir bölmeyi "çevrimiçi veri" olarak, ikinci yerinin ilk bölmesinin bir yedeği olarak ve üçüncü şirket dışı bölmenin bir acil durum dışı yedeği olarak kullanabilirsiniz.

Her bir bölme için 135Tb depolama alanıyla değişimin geçmişini korumayı düşünebilirsiniz ...
135Tb / 20Tb = 19 tam yedek kopya .
Alternatif olarak, 10 tam yedeklemenin yanı sıra gülünç miktarda bir diferansiyel yedek de tutabilirsin.

Doğal olarak, şirket dışı bir yedekleme yapmak istiyorsanız, bir tür büyük bant genişliğine ihtiyacınız olacak ... :-)

İş arkadaşım bir Synology 8 disk NAS satın aldı. Bir hibrit RAID çalıştırır. Birkaç hafta önce NewEgg'den sekiz adet 3 TB Seagate Barracuda aldı ve her biri 89 dolardı. Üretim NAS'ından GigaBit üzerindeki bu yeni NAS'a yansıtma yapabilirsiniz. Sadece farkları aktardığınız için, aktarım daha kısa sürecektir. Sonra tam veya artımları gerçekleştirmek için yedek NAS'ı kullanabilirsiniz. Size maliyet, bir NAS yedeklemesinin kapısından 2000 $ 'ın altında olur.