10 terabayt veri depolamanın en güvenli ve en ucuz yolu nedir?


19

Bir yapım şirketinin üyesiyim ve ilk uzun metrajlı filmimize hazırlanıyoruz. Tüm orijinal içeriğimizi güvende tutmak için veri depolama yöntemlerini tartışıyoruz (olabildiğince uzun süre). Verilerin asla% 100 güvenli olmadığını anlasak da, bizim için en güvenli çözümü bulmak istiyoruz.

Biz dikkate aldık:

  • Yerinde depolama için 16 TB NAS

  • 4-5 2 TB sabit diskler (ucuz, ancak gereksiz değil), orijinal görüntüleri sürücülere kopyalayın ve ardından statik ücretsiz çantada mühürleyin

  • Blu-Ray disklere veri yazma (zaman alıcı ve pahalı: 200 disk == 5000 $)

  • Teyp sürücüleri?

Teyp sürücüleri hakkında en azını biliyorum, ancak disklerden daha güvenilir olmaları dışında. Bu miktarda veriyle ilgili herhangi bir deneyim / bilgi çok takdir edilmektedir.


1
Onlara süper güçlü mıknatıslarla asmayı denememelerini söylemeyi unutmayın. Disket sürücüler için kötü, sabit sürücüler için GERÇEKTEN KÖTÜ ...
Merhaba71

2
Bu bir cevap değil, ama belki sizin için ilginç: blog.backblaze.com/2009/09/01/…
Bobby

Nasıl DiamonDisc DVD'ler kullanmayla ilgili tomsguide.com/us/... ben biraz pahalı biliyorum.
Moab

Yanıtlar:


14

Bu, normal yedekleme veya canlı veriler yerine bir arşiv yapacağınızı varsayar.

Bir dizi SATA sabit sürücüsünü (1 veya 2 TB) ve birkaç ekstraı tercih edin. Verilerinizi disklere kopyalayın. Kullanım QuickPar (veya eşlik hacimlerini destekleyen bir arşivleme) ek eşlik dosyaları oluşturmak için. Eşlik dosyalarını sabit diskleriniz arasında dağıtın.

Eşlik bilgisi, yeterli eşlik dosyası kaldıysa dosyaları yeniden yapılandırmanıza olanak tanır. Bir disk ölür ancak eşlik bilgisine sahip diğer diskler yine de çalışırsa, orijinali yeniden yapılandırmak için eşlik dosyalarını kullanabilirsiniz.

Daha fazla yedeklilik için, hepsini iki kez yapın ve ayrı yerlerde saklayın.

Gerçekten paranoyaksanız, her sitede bir PCI ve PCI Express'ten SATA denetleyicisine de depolayın!

Edit: Heck, eğer paranoya hakkında her şeyi, tüm domuz gitmek ve diskleri okuma yeteneğine sahip her sitede gigabit ethernet ile bir PC depolamak!


10
1 Ben etkili tanımlanmış ve yeni bir sendrom icat düşünüyorum: dataparanoidism. ; P
jrista

Kesinlikle çift sabit diskleri satın almak ve yedeklilik için tüm verileri iki kez kopyalamak, teşekkürler!
Josh T

"gerçekten paranoyak" yönüyle, bir usb sata adaptörünün gelecekte daha yavaş olsa da, anakart teknolojisine özgü bir konektörden (örneğin PCI, PCI-E) daha uzun yıllar kullanılabileceğini düşünüyorum .
matt wilkie

9

Kullandığımız LTO4 sürücüler, bant başına 800 GB boyutunda sıkışabilir. Dezavantajı, sürücülerin kendilerinin maliyetidir. Blu-Ray diskler için 5 bin dolardan bahsettiyseniz, LTO4'ün maliyetinden hoşlanmayacaksınız. Öte yandan, arabaların kendileri GB başına esasına göre oldukça ucuzdur, böylece çok sayıda kopya tutabilirsiniz. Bu bantlar iyi bir raf ömrüne sahiptir, ancak bant sürücünüzü değiştirirken bunları yeni bir ortama taşımayı planlamanız gerekir. Bu depolamayı nasıl kullanacağınızı nasıl açıkladığınızdan, bandın iyi bir uyum olduğunu düşünmüyorum. Bu bir arşiv çözümü yerine bir yedekleme çözümü olmayacaksa olmaz . Farklı sorunlar.

Günlük net değişikliğiniz yeterince küçükse, bunun için bir çeşit bulut tabanlı yedekleme satıcısı düşünebilirsiniz. Tabii ki, bu İnternet bağlantınızın ne kadar etli olduğuna bağlıdır ve ondan geri yükleme aynı derecede acı verici olabilir. Bu hizmetler oldukça yenidir, bu nedenle verileriniz için iflas sorununu nasıl ele aldıkları bilinmemektedir; işten çıkarlarsa ne olur?

Yerel disk depolama kesinlikle gitmenin bir yoludur. Kolayca değiştirilebilen sürücülere sahip bir sürücü muhafazası, maliyet kısıtlamalarınızı göz önünde bulundurarak muhtemelen en iyi seçenektir. Bu verilerle çevrimdışı yaşayabiliyorsanız, o zaman gidin. Diskler ucuzdur ve disk muhafazaları manyetik bant sürücülerden daha ucuzdur. Daha az hareketli parça.


Video rolünde aktif kullanım için değil, arşiv için buna ihtiyacınız olduğunu varsayıyorum. Öyleyse, bu farklı bir depolama sorunu.


LTO5 şimdi 1.5TO. Sıkıştırılmış veya sıkıştırılmış değil ama emin değilim, 1.5!
r0ca

2
Bu rota gidiş şiddetle tavsiye ediyorum. Maliyet bir kerelik (5.500 $ ish) biraz yüksek, ancak uzun vadede iseniz, bu maliyetin% 90'ı sürüş içindir; bantlar her biri 100 $ ve zaman içinde maliyet aşağı gitmek muhtemeldir. Ayrıca çok az hasar riskiyle taşıyabilir ve düşük riskli bir emanet kasasında veya benzeri bir yerde saklayabilirsiniz. Ayrıca 1.5T sıkıştırılmamış, 2: 1'de 3T sıkıştırılmış.
Slartibartfast

1
FWIW, LTO4 şu anda yaklaşık ~ 40 $ / adet CAD / USD ile çalışmaktadır. LTO5 ~ 120 $ / adet CAD / USD
yayınlar

Evet, ama teyp sürücüleri binlerin ortalarında çalışıyor. 3700 dolara NewEgg'de bir tane görüyorum.
SysAdmin1138

3

NAS araştırmanızda, DroboPro veya DroboElite kendi kendine yönetilen depolama cihazlarına baktınız mı?

Çekim ve bütçenizin bir kısmını / tamamını kaybettiğinizde maliyetin ne olacağını düşünün;)


2

Barındırılan hizmetleri düşündünüz mü? Nasıl fiyat ağırlığından emin değilim, ancak toplu depolama satan bir barındırma hizmeti düşünmek isteyebilirsiniz. Belki AWS ?


2
Sadece bazı rakamlar sağlamak için Amazon S3'teki 10 TB 1500 $ / ay. Ayrıca, azaltılmış artıklık adı verilen 1000 $ / ay değerinde bir "değer" seçeneği vardır.
hyperslug

Ahh, bilmek güzel - veriler için teşekkürler.
nicorellius

Ancak S3 depolamadan çok daha ucuz olan Amazon Glacier da var (aylık 10 TB $ 70). Geri alma uzun zaman alır ve bunu çok yapmanız gerekiyorsa pahalıdır.
Chris

2

Sekiz ila on 2 TB sabit sürücü; iki set yapın. Daha önce de belirtildiği gibi, ayrı ayrı saklayın ...

Disklerden saklandığı koşullara karşı çok daha hassas olduğu için banttan uzak dururum; Ayrıca, bundan beş yıl sonra, yine de SATA sürücüsünü bir şeye takabileceksiniz, ancak bantlarınızı okuyabilen bir teyp sürücüsüne erişemeyebilirsiniz.

Optikler uzun vadeli istikrar açısından en iyisi olacaktır, ancak bahsettiğiniz gibi maliyetler ve lojistik onları biraz pratik yapmaz hale getirir.


2

Sıklıkla çalıştığınız canlı dosyalar için bir çeşit NAS / RAID'ye sahip olmanızı öneririm. Büyük kapasiteli sürücüler kullanacaksanız, RAID-5 + etkin yedek gibi bir RAID-6 + benzeri yedek ile gitmek isteyebilirsiniz, ancak RAID'iniz bozulmadan önce iki diskte arıza yapmanıza izin verir, ancak etkin yedek yapılandırmanın aksine 2. ekstra sürücünüzün de paritesi olacaktır, böylece baskının başarısızlık durumunda yedek parçaya yeniden eşleştirme yapmasına gerek kalmaz. Sürücüler büyüdükçe, yeniden oluşturma sırasında sürücünün başarısız olma olasılığı daha yüksektir, bu nedenle mümkün olduğunca fazla canlı pariteye sahip olmak iyidir.

Buna ek olarak, teyp sürücüleri gibi sabit diskleri kullanmanızı tavsiye ederim. Bu günlerde , arşivleme için sürücüleri dosyalamanıza izin veren sabit sürücü kasaları (ayrıca bunlar ) satın alınabilir . Dosyaları RAID'e dökebilir ve daha sonra dosyalanacak sürücülere ekstra arşiv kopyaları oluşturabilirsiniz.

Pixel Corps gibi bazı video prodüksiyon evlerinde benzer kurulumlar kullanılır.

Ayrıca, dosyaları birden fazla konumda (aynı çatı altında değil) depolamanızı şiddetle tavsiye ederim. Buna ek olarak, kesinlikle "en az iki yerde yazılmadıysa, henüz kaydetmediniz" mantrasını takip edin. Ayrıca, RAID yok değil kendi başına bir yedek olarak sayılır.


2

Bunun büyük ölçüde çevrimdışı yedekleme türü depolama için olduğunu varsayacağım: kolayca oluşturuldu ve geri yüklendi, ancak günlük işlemlerde yoğun bir şekilde kullanılmadı.

2TB diskler bu gün yaklaşık 140 $ 'a sahip olabilir. Yani, 10 TB, 5 disk, 700 dolar. Debian veya Ubuntu veya başka bir Linux lezzetini çalıştıran etrafında yarı düşük güçlü bir sunucu kurmak için yaklaşık 400 dolar. Eğer birden fazla NIC bir sistem alırsanız yapabilirsiniz bağağ arayüzleri birlikte (muhtemelen, trunking'i destekleyen yönetilen bir anahtara ihtiyacınız olduğuna inanıyorum) sunucunun mevcut bant genişliğini arttırır ve NIC hatalarına karşı koruma sağlar. Daha sonra depolamayı samba, NFS veya başka bir yöntemle kullanması gereken iş istasyonlarına maruz bırakabilirsiniz. Bu büyük veri hacmi için, muhtemelen bir çeşit yedeklilik isteyeceksiniz, böylece bu sürücülerden biri ısırdığında (eğer değilse), verileriniz olmadan olmayacaksınız. RAID5 birkaç nedenden dolayı burada iyi bir fikir değil, ancak RAID10 faturaya uyuyor. Sunucu Linux çalıştırdığından , RAID dizisini yönetmek için mdadm kullanabilirsiniz . Bunu yapmak için fiziksel cihaz sayısını iki katına çıkarmanız gerekir, böylece 10 sürücüye kadarsınız. Bu depolama sunucusunun toplam maliyeti:

Eğer varsa gerçekten verilerinizi, seviyorum (bu gerçekten önemli üretim verileri ise, sen! Olmalı), yinelenen bir sunucu ve yedekleme yedekleme inşa edebileceğini. Bunu, çok yavaş olabilecek bir rsync crontab, daha hızlı olması gereken bir netcat / katran boru çözümü veya raid cihazlarını bir drbd cihazının tabanı olarak kurabilirsiniz . Depolama alanı her iki makinede de otomatik olarak çoğaltıldığında, (temelde) verilerin yedeklerini yedeklemeyi garanti edersiniz. Veri hacminizin kullanılabilirliğini garanti etmek için daha da meraklı olabilir ve kalp atışı yerine çalışma sistemi kurabilirsiniz .


rsync! = yedekleme. Dikkatli olun, bu bozuk dosyaları kolayca senkronize edebilir. Yani, tarihsel arşivleri otomatik olarak oluşturmak için daha karmaşık bir sistem veya başka bir şey kullanmadığınız sürece (değişen dosyalar eski sürümde kalır; sadece sembolik bağlantıları olmayan dosyalar).
Kevin Brock

2

Buffalo TeraStation III 8 TB Ağa Bağlı Depolama - 1.085,56 £

amazon.co.uk bağlantı

4 TB'a yükselttiğim bir terastation 1 TB versiyonum var, benim için RAID5'te kusursuz çalışıyor. Biraz para kazanmak için daha küçük bir sürüm satın alıp kendiniz yükseltebilirsiniz - veya birden fazla terastasyon vb.


1

Teyp sürücüleri hakkında ne de teypte veri depolamanın anlambilimi hakkında fazla bir şey bilmiyorum, bu yüzden orada size yardımcı olamam. Yığın ölçeği yedeği olarak bluray kullanmanın yasaklayıcı maliyeti göz önüne alındığında, bir NAS veya tek tek sürücülerle yapışırdım.

NAS / Raid konusunda dikkat edilmesi gereken bir şey, tek bir sanal sürücüde önemli miktarda bilgi depolayabilmeleri ... tüm sürücüleri bir arada tutmanız gerektiğidir ve RAID genellikle uzun vadede büyük bir şey değildir " yedekleme çözümü. Birden fazla sürücüyü kaybetme, NAS aygıtının kendisini kaybetme potansiyelini çalıştırıyorsunuz (ve bir "özdeş" aygıt olsa bile, yeni bir aygıtın sürücülerden veri okuyabileceğini nadiren garanti ediyoruz.)

Bugünlerde ne kadar radikal ucuz sabit diskler ve genel kararlılıkları göz önüne alındığında, bireysel diskleri tercih ederim. Küçük bir maliyetle (belki 1200 $ - 1500 $) 10 2Tb sürücüyü kolayca yakalayabilir ve iki yedek kümesi oluşturabilirsiniz. RAID veya NAS cihazı ile ilgili riskler olmadan verilerinizin hem çevrimdışı hem de yedekli bir yedeğini alırsınız. SATA'nın yakın zamanda herhangi bir yere gitme olasılığı düşük olduğundan, bireysel sürücüler daha geniş bir uyumluluk aralığı sunar.


1

Gerçekten kaybetmeyeceğinizden emin olmak istiyorsanız, en az iki arşiv seçeneği istiyorsunuz. Muhtemelen bant ve sabit sürücüler. Fazlalık olmadan sadece bir kopya oluşturmak, veri zarını döndürmenin başka bir yoludur.


1

Depolama gereksinimlerine bağlı olarak, bağımsız iş istasyonlarını yedeklemek istiyorsanız, çıkarılabilir SATA sürücüler için bir Thermaltake BlacX harici depolama yuvasına bakın. Hem harici USB hem de SATA bağlantılarını destekler. Sadece sürücüyü bağlantı istasyonuna bırakın, verileri kopyalayın ve bir yedeğiniz var.

Evde ve işimde rıhtım var. Her konumda yedeklemeler yaparım ve site dışı depolama için başka bir konuma getiririm. Ayrıca, devam eden işleri konumlar arasında taşımak için bir çizik sürücüm var.

Rıhtım yaklaşık 60,00 $ her biri ve 100 $ altında 1.5TB sürücüler alabilirsiniz.


1

Josh, bunun veri mi yoksa arşiv veri mi olduğunu netleştirmedin. Veriler değerliyse, yedekleme ve arşiv arasında gerçek bir fark yoktur, sadece çalışma sisteminizde veya arşiv sisteminizde depoladığınız yerde. Yine veriler değerliyse, verileri korumak ve yedekleme kurallarına uymak istiyorsanız çalışma sisteminiz ve arşiv sisteminiz aynı olacaktır.

Arşiv, üzerinde depolanandan daha fazla medya türü için geçerlidir. Arşiv, verilerin asla değişmeyeceğini, yani bir kez yazılan ve genellikle WORM olarak adlandırılan birçok kez okuyacağını gösterir. WORM sürücüleri genellikle banttır, ancak RDX Quikstor ve RDX Quikstation (8 bölmeli RDX istasyonu) gibi şeyler, belirli sürücüler için WORM seçeneğine sahiptir, böylece fazla yazılamazlar. RDX Quikstation'ın arşivlemenize uygun olabileceğinden şüpheleniyorum.

Bir arşiv sisteminin bir yedekleme planının parçası olduğunu unutmayın. Hiçbir zaman verilerin yalnızca bir kopyasını almayı düşünmemelisiniz.

Bazı yedekleme kuralları şunlardır:

3-2-1 Kural.

Verilerinizin üç (3) kopyası. Biri (1) kaynak ve iki (2) yedek, biri (1) saha dışında tutulur.

Örnekler: Yerinde sunucu NAS'a yedeklenir ve sahadan teybe veya RDX'e yedeklenir. Yerinde sunucu, NAS'a yedeklenir ve NAS'ın dışına yedeklenir. Yerinde sunucu yerinde NAS'a yedeklendi ve gerçek zamanlı olarak tesis dışı NAS'a çoğaltıldı. Yerinde yedeklemeniz disk olmalıdır.

Medya:

Site dışı yedeklemeniz zamana bağlıdır. Saha dışında taşınabilir ortama yedeklenmesi otomatik olarak zaman gecikmelerine neden olur. Pazartesi gecesi yedekleme Salı gecesi tesis dışına alınır. Salı günü kapanmadan önce bir felaketiniz varsa, iki gün değerinde kaybedersiniz. Ne kadar kaybetmeyi göze alabileceğiniz tamamen işinize ve veri değişim sıklığına bağlıdır.

Medya depolama:

Medya depolama kurallarına tamamen uyun. Bazı bantlar, manyetik alan kaynaklarından uzakta, dar sıcaklık ve nem aralıkları arasında dikey olarak saklamanızı gerektirir. Bir bandı düşürmek güvenilirliğini azaltır. Cep telefonunun yanındaki çantasındaki ofis kızı ile teyp gönderme, gerçekleşmeyi bekleyen bir felaket. Bantlar ayrıca sürücüye yerleştirilmeden önce yedekleme ortamında iki saate kadar herhangi bir şey gerektirir, bant ve bant sürücüsü arasındaki sıcaklığı ve nemi eşitler. Bantların da gerekli zaman / yazma aralıklarında atılması ve değiştirilmesi gerekir.

Şahsen, bu nedenlerden dolayı bandı sevmiyorum. Maliyet küçük değildir ve birisinin bunu yönetmesinin maliyeti de değildir. Kasete yatırım yapmak, ancak kurallara uymamak anlamsız. Bunu ucuz ama güvenilirlik düşüşlerinde yapabilirsiniz.

Tek hata noktalarını ortadan kaldırın:

Yedekleme verilerini birden fazla ortama yaymayın. Bir bantta tam yedekleme ve diğer 6 banttaki diferansiyeller veri kaybı riskinizi 7 katına çıkardı. Bir yedek varsa, verileri geri yüklemek için gerekli tüm dosyaları içermesini seviyorum. 7 tam yedeklemeye sahip olmak daha iyidir.

Bir şekilde, baskın çoklu ortam olarak sayılır. RAID'i her nerede kullanırsanız kullanın, çalışırken değiştirilebilir otomatik yük devretme özelliğine sahip olduğundan emin olun. Bir sürücü bölmesinde özel bir çalışırken değiştirilebilir yedek olarak en az bir yedek sürücüye sahip olduğunuzda, sistemler ölü sürücüyü çalışırken değiştirilebilir yedek ile otomatik olarak değiştirecektir. Terabayt verileriniz varsa, RAID'inizde iki veya daha fazla çalışırken değiştirilebilir yedek parça bulundurmayı düşünün.

Tesis Dışı Mesafeleri Gözlemleyin:

Tesis dışı mesafeniz önemlidir. Yalnızca bazı durumlarda veri kaybına karşı koruma sağlıyorsa, site dışında yedekleme yapmanın pek bir anlamı yoktur. Deprem, sel, kasırga, kasırga vb. Olan herkes bunu size söyleyecektir. Şehrimizdeki son depremler, birçok büyük şirketin saha dışı yedeklemeler (hala sunucuların yanında bantlar) veya okunamayan yedeklemeler olmadan akın ettiğini gördü. Genellikle 90 km / 90 km iyi bir mesafedir.

Bütçenizi bilmiyorum, bu yüzden tavsiye vermek zor. Bütçe, yedekleme ve depolama seçimini etkiler. BT desteği sağlayan bir film yapımcısı için çalıştım, bu yüzden sektörünüzün hareketli parçalarını biraz anladım. Cevaplanmamış birçok soru var:

Varsa hangi sunucularınız var? Kaç tane personeliniz var? Bu tek ve tek uzun metrajlı filminiz mi? En büyük dosya veya dosya boyutu nedir? Bu film ile bir sonraki film arasındaki zaman nedir? Tam zamanlı üretim yapıyorsanız, fiber üzerinden uzaktan yedekleme gibi aylık masrafları karşılamak için nakit akışına sahipsiniz. Film ne tür bir nakit akışı üretecek? İlerlemek için ne gibi gereksinimleriniz var? Bu ve diğer sorular gereksinimlerinizi, metodolojinizi ve bütçenizi belirler.

Örneğin: Yılda 3 uzun metrajlı film ve her ay bir düzine personel çalıştıran reklamlar üretiyor olsaydınız, sahip olabilirsiniz: RAID sunucuları RAID NAS'a yerinde yedeklenir. 60m / 90k uzaktaki bir veri merkezine çoğaltılan 100mbit sınırsız (ISS tarafından kısaltılmamış) bağlantıya sahip özel fiber bağlantı (pahalı değil). Önemli arşiv verileri teybe veya RDX'e yazılmalı ve veri merkezi veya teyp kasasında saklanmalıdır. Bütçe, karşılayabileceğiniz yedeklilik ve yedekleme derecesi için tek belirleyici faktördür.

Veya düşük bütçeli ve gelir satıştan geliyorsa ve geleceği bilinmiyorsa, evde depolanan TAPE, RDX veya USB sürücüleri (önerilmez) düşünebilirsiniz.

Şimdiki ve gelecekteki gereksinimler, nakit akışı ve bütçe, veri kaybına karşı tartılmış tanımlayıcı faktörlerinizdir. Sizin için depolama ve yedekleme işleminde çalışmak üzere deneyimli bir yedekleme uzmanı ve / veya iş analisti kullanmanızı öneririm.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.