Video ve görüntü verilerinin uygun maliyetli, uzun süreli arşivlenmesi? ~ 50 TB

Laboratuarım, grubumuzun bir anda üzerinde çalıştığı proje için veri tutan (çoğunlukla video ve görüntü verileri artı birkaç belge) küçük bir sunucu kurma sürecindedir. Tarihsel olarak, bir araştırma projesi bittikten sonra, veriler bir sabit diskte veya büyük bir DVD yığınında (veya eski günlerdeki CD'lerde) gelişigüzel bir şekilde arşivlenir ve / veya videonun bir kısmı Sony DV kasetlerinde veya hatta VHS bantlar (bu laboratuvar 90'ların başından beri aktiftir) VEYA yukarıdakilerin bir karışımı ...

Soru: (1) TÜMÜNÜ aynı formatta VE depolama ortamında birleştirmenin en iyi yolu nedir ve (2) çok nadiren erişim için bu tür verilerin uzun süreli arşivlenmesi için en iyi araç hangisidir (örneğin, 30 yaş üstü?)? Ne yazık ki kurumsal düzeyde bütçemiz yok (sadece ~ 10 kişilik bir laboratuvarız), bu yüzden yüz binlerce dolara mal olan şeyleri yapamayız.

Teşekkürler!

PS Eski video ve görüntülerimizin daha küçük çözünürlükte olduğunu düşünüyoruz, ancak sonuncusu çok büyük, bence gerçekten eski veriler için yaklaşık 30 ~ 40 TB, son veriler için başka bir 10 ~ 20 TB, ardından yaklaşık 5 TB yıllık ekleme .

Ne yazık ki, sizin için en iyi yol yok. 30 yıllık dijital medyanın arşivlenmesi çok zor bir sorundur ve rutin yatırım gerektirir. Yalnızca 30 yıl içinde okunması garanti edilen formatlar hakkında video formatı olmayan ASCII ve UTF8 bulunmaktadır. Depolama biçimleri değişiyor, 30 yıl önce kullandığımız 8 paletli makaradan makaraya bantlar, veriler hala kasette olmasına rağmen bu günleri okumak neredeyse imkansız (NASA'nın 40 yıllık bir teyp sürücüsünü yeniden inşa etmesiyle ilgili ilginç bir hikaye var) yeni kurtarılan / keşfedilen bazı Apollo veri bantlarına ulaşmak için). En iyi seçeneğiniz, her 5 yılda bir, eski ortamları daha yeni biçimlere getirmek için yeterli bütçeyle arşiv ortamınızın değerlendirmelerini periyodik olarak taahhüt etmektir.

Muhtemelen benden daha iyi biliyorsun, ama video manzarası hızla değişiyor. Gerçek zamanlı çevrimiçi düzenleme artık mümkün, sadece 10 yıl önce bile çok iyi bir kitte yapılabiliyordu. Bundan 30 yıl sonra nasıl görüneceğini kim bilebilir.

• Arşiv pencerenizi 5 yıl ayarlayın.
  • Hemen terimde büyük bir depolama dizisi yeterli olmalıdır (
    • büyük ve yavaş 50 TB disk 70K $ altında olabilir, muhtemelen iyi altında.
    • Bir LTO5 teyp sürücüsü ve 50 bant (50 TB'ın üzerinde) 15K $ 'dan daha azına sahip olabilir.
• Videonuzu hangi biçimde saklayacağınız size bağlıdır.
• Tüm eski öğelerinizi bulmaya ve bu yeni depolama alanına dönüştürmeye başlayın.
• 5 yılın sonunda arşiv ortamınız hakkında tam bir değerlendirme yapın.
  • Hangi biçimleri kullanıyorsunuz?
  • Daha yeni biçimler nelerdir?
  • Hangi codec bileşenleri çıkmaz gibi görünüyor ve hangi medyayı bu şekilde kodladınız?
  • Daha yeni depolama yöntemlerine (veri biçimleri, disk / teyp / başka bir şey) nasıl geçeceğinize karar verin ve uygun şekilde harcayın.
• 6 kez tekrarlayın.

Bu sizi 30 yıla çıkarır.

Ben sysadmin1138 her şekilde bar bir uyarı ile tamamen katılıyorum - Gerçekten ne istediğinizi elde etmek için bütçeye sahip olacağını sanmıyorum.

Oluşturmanız gereken 5 ana işlev vardır;

• standartlaştırılmış bir içerik ve katalog politikası - Her şeyi tek bir formatta saklamak istediğinizi biliyorum, ancak gerçekten iki tane düşünmelisiniz - görüntüler için PDF ve video için H.264 - her ikisi de neredeyse uzun vadeli çok formatlı kodlara sahip. bir taraf ya da diğeri tarafından 25-50 yıl boyunca sadece dünyadaki mevcut kullanım nedeniyle mevcut formlarında desteklenecektir.
• içeriği dizine eklemek ve yayınlamak için bir katalog veya CMS.
• bir 'içerik alma' sistemi - bu, her yeni içerik için kataloğunuzu, paketinizi, kodlamanızı, depolamanızı ve güncellemenizi sağlar. Manuel veya otomatik içerik kalitesi kontrolüne de ihtiyacınız olacak.
• birincil içerik deposu - bunun iki ana depolama bloğu olacaktır; kod dönüştürülürken / kontrol edilirken orijinal içeriği tutmak için küçük bir içerik ve içeriği 'yakın' tutmak için çok daha büyük bir blok. Bu, RAID 6 için karşılaştığım tek geçerli kullanımdan biri, ancak burada 24x365 'görev döngüsü' olan kurumsal kalite diskleri kullanmaya çalışın.
• uzun vadeli yedekleme sistemi - gerçek paranın harcanacağı yer budur, gerçekten uzun vadeli yedekleme yeteneği sunan bir satıcı seçmeniz gerekir. Bunu şimdi yapsaydım, sadece veri ömrü nedeniyle, belki de IBM tarafından, bu alanda çok fazla deneyime sahip oldukları için, hala disk üzerinden bantla giderdim. Ayrıca düzenli teyp restorasyonları ve veri doğrulamaları yapmanız gerektiğini de dikkate almanız gerekir, yani en azından sahip olduğunuz en büyük bant kadar büyük bir üçüncü depolama bloğuna ve elbette doğrulamak için sistemlere ihtiyacınız olacaktır. Bunun da ötesinde, kullandığınız yedekleme yazılımının da uzun süre çalışacağından emin olmanız gerekir, * nix üzerinde TAR gibi bir şey bir süre daha yanınızda olabilir, ancak işlevsel olarak size istediğinizi vermeyebilir bunun bant satıcınız tarafından göz ardı edilmediğinden emin olun.

Yani yapmak istediğiniz şey yapılabilir, son yirmi yılda birkaç kez kendim yaptım - ama hiçbiri ucuz değildi korkarım.

İyi şanslar.

Diğerleri medyanızı nasıl yedekleyeceğiniz konusunda iyi tavsiyeler verdiler. Kongre kurallarının kütüphanesine bakarak kaliteli zaman geçirmenizi öneririm:

http://www.digitalpreservation.gov/formats/index.shtml

Ayrıca ucuz bir beyaz kutu ZFS dizisi oluşturmayı da düşünebilirsiniz. Muhtemelen 10.000 doların altında ihtiyaçlarınız için bir şeyler yapabilirsiniz. Sürücüler öldükçe, bunları daha büyük olanlarla değiştirin ve böylece veri ürettikçe depolama kapasiteniz artar. Bu muhtemelen bir süre daha devam etmenizi sağlar ve eski olduğunda daha yüksek kapasiteli bir cihazla değiştirebilirsiniz. Avantajı, verilerinizin çevrimiçi olması (ve gerektiğinde erişilebilir olması) ve bu kadar veriye sahip olduğunuzda ciddi bir sorun olan bitrot'a karşı nispeten iyi korunmasıdır.

İyi bir inşa seçeneği burada bir araya getirildi:

http://www.zfsbuild.com/

Teknologlar kadar zor olduğu gibi, diskler ve teknoloji hakkındaki düşüncelerin derhal durdurulmasını tavsiye ederim. İş probleminizi karar vermeniz gereken şeylere ayırın.

Misal:

• Analog / çeşitli dijital teyp formatlarını bir tür dijital depolama biriminde saklanabilen dijital ortama dönüştürmekle nasıl başa çıkacaksınız?
• İçeriği ve ilişkili meta verileri nasıl yöneteceksiniz? Depolama kolaydır - her şeyi LTO bandına koyabilir ve eski bir tuz madeninde saklayabilirsiniz, ancak verilere erişemezsiniz.
• Tekerleği yeniden icat ediyor musunuz? Bir üniversitedeyseniz, içerik yönetimi için merkezi olarak mevcut çözümler var mı? Veya kendi içerik yönetiminizi satın almanız / oluşturmanız gerekiyorsa, bir parça satın alabileceğiniz merkezi bir altyapı var mı? (Bant, Nesne depolama, SAN)
• Gerçek iş gereksinimleri nelerdir? Gerçekten ne tutmak istiyorsun ve neden? Çoğu zaman konunun kalbine gerçekten girdiğinizde, gerçek uzun vadeli saklama gereksinimleri aslında sadece küçük bir veri alt kümesi için geçerlidir.

Verileri kayıplı bir biçimde saklar ve ardından başka bir kayıplı biçime ve ardından başka bir biçime dönüştürürseniz, video kalitenizin her geçişte düşeceğini unutmayın.

Aşağıdakiler ses hakkında konuşuyor, ancak genellikle aynı şey geçerli:

Herhangi bir ses biçimini Ogg Vorbis'e dönüştürebilirsiniz. Bununla birlikte, MP3 gibi bir kayıplı formattan Vorbis gibi başka bir kayıplı formata dönüştürmek genellikle kötü bir fikirdir. Hem MP3 hem de Vorbis kodlayıcılar, ses dalga formunun muhtemelen duymayacağınız kısımlarını atarak yüksek sıkıştırma oranlarına ulaşır. Bununla birlikte, MP3 ve Vorbis kodekleri çok farklıdır, bu yüzden her biri sesin farklı kısımlarını atar, ancak kesinlikle bir çakışma vardır. MP3'ü Vorbis'e dönüştürmek, MP3 dosyasının WAV gibi sıkıştırılmamış bir formata kodunun çözülmesini ve Ogg Vorbis kodlayıcıyı kullanarak yeniden sıkıştırılmasını içerir. Çözülen MP3, orijinal sesin MP3 kodlayıcının atmayı seçtiği kısımlarını kaçırır. Ogg Vorbis kodlayıcı, verileri sıkıştırdığında diğer ses bileşenlerini atar. En iyi, sonuç orijinal MP3'nizle aynı ses veren bir Ogg dosyası olacaktır, ancak büyük olasılıkla ortaya çıkan dosyanın orijinal MP3'ünüzden daha kötü ses çıkarması muhtemeldir. Hiçbir durumda orijinal MP3'ten daha iyi ses veren bir dosya elde edemezsiniz.

Birçok müzik çalar hem MP3 hem de Ogg dosyalarını çalabildiğinden, tüm dosyalarınızı bir formata ya da diğerine değiştirmeniz gerekmemektedir. Ogg Vorbis'i seviyorsanız, orijinal, kayıpsız ses kaynaklarından (CD'ler gibi) kodladığınızda bunu kullanmanızı öneririz. Orijinallerden kodlarken, MP3'lerinizden daha küçük veya daha kaliteli (veya her ikisi) Ogg dosyaları yapabileceğinizi göreceksiniz.

(Kesinlikle MP3'ten Ogg'a dönüştürmeniz gerekiyorsa, Freshmeat'te birkaç dönüşüm komut dosyası vardır.)

http://www.vorbis.com/faq/#transcode

Kayıpsız bir biçim seçmek en iyisidir, çünkü bir kez kayıplı bir biçim seçtiğinizde, onunla sıkışmış olursunuz.

Belki de eksik olduğum bir şey var, her şeyi kodeklerin kaynak kodunun bulunduğu açık bir format kullanarak kodlayamadınız ve hepsini Amazon S3'e yapıştıramadınız mı?

Bu şekilde Amazon, verilerin gerçekte depolanması konusunda endişe etmelidir ve 30 yıl içinde C / C ++ derleyebilecek hiçbir bilgisayar yoksa, bilgilere ulaşabilirsiniz ...