Dosya Sunucusu - Depolama yapılandırması: RAID vs LVM vs ZFS başka bir şey…?

Video düzenleme yapan, diğer şeylerin yanı sıra, büyük medya dosyalarının yedek kopyalarını saklamak ve paylaşmayı kolaylaştıran bir yere ihtiyaç duyan küçük bir şirketiz.

Ubuntu Server ve 4 x 500 GB sürücüler ile kurulmuş bir kutu var. Şu anda Samba ile Mac / Windows iş istasyonlarının iyi görebileceği dört paylaşılan klasör olarak ayarlandı, ancak daha iyi bir çözüm istiyorum. Bunun iki ana nedeni var:

1. 500 GB yeterince büyük değil (bazı projeler daha büyük)
2. Tek tek sabit disklerde farklı miktarlarda boş alan ve çoğaltılmış veriler (yedekleme için) bulunduğundan, geçerli kurulumu yönetmek zahmetlidir. Bu kafa karıştırıcı şimdi ve birden çok sunucu bir kez o da kötüye gidecek. ("proje share4'te sever2'de" vb.)

Bu nedenle, sabit diskleri tek bir sürücünün arızasıyla veri kaybını tamamen önleyecek şekilde birleştirmeye ihtiyacım var ve böylece kullanıcılar her sunucuda yalnızca tek bir paylaşım görüyorlar. Linux yazılımı RAID5 yaptım ve bu konuda kötü bir deneyim yaşadım, ancak tekrar denerdim. LVM iyi görünüyor ama kimse kullanmıyor gibi görünüyor. ZFS ilginç görünüyor, ancak nispeten "yeni".

Kullanıcılarım için uygun olan hdd'leri birleştirmek için en etkili ve en az riskli yol nedir?

Düzenleme: Buradaki amaç temel olarak, rasgele sayıda sabit disk içeren, ancak karmaşıklığı bir son kullanıcı bakış açısıyla sınırlayan sunucular oluşturmaktır. (yani, sunucu başına bir "klasör" görüyorlar) Verileri yedekleme burada bir sorun değil, ancak her bir çözümün donanım arızasına nasıl yanıt vereceği ciddi bir sorundur. Bu yüzden RAID, LVM, ZFS ve kimin ne olduğunu bilirim.

RAID5 ile olan önceki deneyimim de bir Ubuntu Sunucu kutusundaydı ve veri kaybının tamamlanmasına neden olan zor ve muhtemel olmayan koşullar vardı. Bunu tekrar önleyebilirdim , ancak sisteme gereksiz yere ek bir başarısızlık noktası eklediğime dair bir his kaldı.

RAID10'u kullanmadım, ancak emtia donanımındayız ve kutu başına en fazla veri sürücüsü 6'da sabitlendi. Çok fazla 500 GB sürücümüz var ve 1,5 TB'lık oldukça küçük. (Yine de en az bir sunucu için hala bir seçenek)

LVM ile deneyimim yok ve sürücü arızasını nasıl idare ettiği ile ilgili çelişkili raporlar okudum. (Şeritli olmayan) bir LVM kurulumu tek bir sürücünün arızalanmasına neden olabilir ve yalnızca hangi dosyaların o sürücüde depolanmış bir kısmı varsa (ve çoğu dosyayı yalnızca tek bir sürücüde depolarsa) kaldırabiliriz.

Ama tamamen yeni bir şey öğrenmek zorunda kaldığım sürece, ZFS'ye kadar gidebilirim. LVM'den farklı olarak, işletim sistemimi (?) De değiştirmek zorunda kalacağım, böylece bulunduğum yerle olmak istediğim yer arasındaki mesafeyi artıracağım. Üniversitede solaris versiyonunu kullandım ve korkunç derecede umursamazdım.

BT spektrumunun diğer ucunda, FreeNAS ve / veya Openfiler'ı da keşfedebileceğimi düşünüyorum, ancak bu nasıl bir araya getirilir?

LVM aslında oldukça yoğun bir şekilde kullanılıyor. Temelde, LVM donanım (sürücü) katmanının üzerinde oturur. Artıklık veya artırılmış güvenilirlik sağlamaz (güvenilirliği sağlamak için temel depolama sistemine dayanır). Bunun yerine, birçok ek esneklik ve ek özellikler sağlar. LVM, hiçbir zaman bir diskin kaybolmasını veya bozulmasını görmemelidir, çünkü disk arızası RAID tarafından gerçekleştirilmelidir (yazılım veya donanım olabilir). Bir diski kaybediyorsanız ve çalışmaya devam edemiyorsanız (RAID'i, vb. Yeniden oluşturun), yedeklemeler yapmanız gerekir. Eksik bir diziden veri kurtarmaya çalışmak asla gerekli olmamalıdır (öyleyse, tüm tasarımınızı yeniden değerlendirmeniz gerekir).

LVM ile elde ettiğiniz şeyler arasında, bölümleri / dosya sistemlerini kolayca büyütme ve daraltma, yeni bölümleri dinamik olarak ayırma, varolan bölümleri anlık görüntüleme ve anlık görüntüleri salt okunur veya yazılabilir bölümler olarak ekleme yeteneği vardır. Anlık görüntüler özellikle yedekleme gibi şeyler için inanılmaz derecede faydalı olabilir.

Şahsen ben inşa ettiğim her kutuda her bölüm için (/ boot hariç) LVM kullanıyorum ve bunu son 4 yıldır yapıyorum. LVM'ed olmayan kutularla başa çıkmak, disk düzeninizi eklemek veya değiştirmek istediğinizde büyük bir acıdır. Eğer Linux kullanıyorsanız, kesinlikle LVM kullanmak istersiniz. [Not: LVM'deki yukarıdaki bilgiler, ne olduğunu ve depolama denklemine nasıl uyduğunu daha iyi açıklamak için güncellendi.]

RAID gelince, baskın olmadan sunucu yapmam. Disk fiyatları olduğu kadar ucuzken, RAID1 veya RAID10 ile giderdim. Daha hızlı, daha basit ve çok daha sağlam.

Dürüst olmak gerekirse, (normalde tavsiye ederim) Ubuntu’ya bağlı olmadığınız sürece veya kutu başka işler yapıyorsa, OpenFiler’e bakmak isteyebilirsiniz . Kutunuzu web arayüzlü bir depolama cihazına dönüştürür ve sizin için tüm RAID / LVM / etc işlemlerini gerçekleştirir ve depolamayı SMB, NFS, iSCSI, vb. Olarak dışa aktarmanıza izin verir.

ZFS gerçekten güvenilirdir ve depolama yönetiminizi çok daha kolay hale getirir. Bonus olarak: smb, OpenSolaris'te ZFS ile entegredir ve Raid'i çok iyi idare eder. Birkaç gün bekleyin, ardından indirilen 2009.6 sürümünü indirin ve bir test makinesine geçin. ZFS'yi seveceğinize eminim.

Ve yorumunuz hakkında ZFS'nin yeni olması: artık çok yeni değil!

Asıl soru şudur: "Bu veri ne kadar önemlidir?"

Cevap “Kolayca yeniden oluşturabilirim” ise, RAID5'i istiyorsanız, muhtemelen yönetimin basitliği için LVM ile.

Cevabı "yeniden yaratabilirim ama biraz zaman alacak ve insanlar şikayet edecek" ise, RAID 6 veya daha büyük olasılıkla RAID 1/10 olmasını istersiniz.

Cevap "Yeniden yarattığımda hiç kimse çalışmaz ve bit mükemmel olduğundan emin olun" ise, ZFS / Raid-Z

Her zaman yeniden oluşturabileceğinizi unutmayın. RAID bir yedekleme değil.

Aynı kasadaki birçok sürücüyü bağlamak için, donanım RAID denetleyicisi en iyi araçtır. Bu RAID-5 veya tercihen RAID-6 üzerinden sürücüler, redondancy için SATA çok konnektörleri sağlayacak ve olabilecek çok daha iyi performans sağlar.

Yazılım RAID performansı genellikle ölçütlerdeki donanım RAID'lerinden daha iyidir, ancak dosya sunumu ve yazılım RAID'i hem CPU'dur hem de çalışırken işlemcileriniz için rekabet eder. Tecrübelerime göre, çift çekirdekli sistemler kullanmıyorsanız, doğru şekilde yapılandırılmış donanım RAID'lerinin RAID yazılımını ellerine vereceğini göstermektedir.

İyi linux destekli iyi donanım kontrolörleri:

• bir tür palmiye
• 3Ware
• Yeni Adaptec serisi (eski slooooow)
• LSI MegaRAID

RAID, LVM'ye benzemez. Hataya dayanıklılık bölümleri oluşturmak için RAID kullanabilirsiniz, ancak LVM disk bölümleme ve dosya sistemi basımını kolaylaştırmak için kullanılır. LVM veya ZFS üzerinden RAID kullanabilirsiniz (ZFS hem RAID hem de LVM'de çalışabilir). Bence ZFS, LVM'den daha iyi çalışıyor ama:

• Yalnızca Solaris 10/11 / OpenSOlaris’te, Linux’tan kullanamazsınız
• ZFS disk yönetimi ve dosya sistemidir, LVM ihtiyacınız olan herhangi bir dosya sistemini kullanmanıza izin verir

Ubuntu'da RAID5 MD'yi LVM ile kullanmayı tercih ediyorum.

Nexenta ve OpenSolaris'in neler sunduğuna bir bakın ve bence hiçbir şey alamayacağınız için çok memnun kalacaksınız. OpenFiler’in bir sonraki sürümünün FreeBSD ZFS portunu da kullanacağı söyleniyor.

Söylendiği gibi, RAID5, RAID6 veya RAID50 yazılımlarını yazılımda yapmaktan kaçınmaya çalışıyorum ve tüm XOR çalışmalarını boşaltmak için donanım denetleyicilerini kullanmayı tercih ediyorum. Linux yazılımındaki RAID1 ve RAID10 oldukça iyi çalışıyor ve oradan fazlalıktan sonra sahip olduğum bloklarla daha fazla esneklik sağlamak için LVM'yi üstlerine koydum. RAID + LVM + XFS, en sevdiğim Linux yapılandırması. Ama ZFS'yi hergün ele geçirirdim.

RAID vs LVM gerçekten iyi bir karşılaştırma değil, ayrı roller üstleniyorlar ve sıklıkla birlikte kullanılıyorlar. RAID, sürücü yedeklemesi için kullanılır; LVM, RAID cihazınızı mantıksal hacimlere ayırmak için kullanılabilir, kolay yeniden boyutlandırma ve fotoğraf çekmek için kullanılır.

Çok benzer bir şirket / durum için dosya sunucusunu koştum. Temel olarak 30TB depolama alanı ve küçük bir şirketin en yüksek bütçesine sahip 3 kişilik bir grafik departmanı. Tipik projelerimiz 0,5TB ile 6TB arasında değişmiştir. Dosya sunucusu, üzerine gerçekten zarar verebilecek oldukça büyük bir görüntü oluşturma grubuna hizmet veriyordu.

Kurulumumda, kendisine bağlı harici RAID6 dizileriyle Linux çalıştıran bir 3U sunucuyu çalıştırdım. Fiziksel ve mantıksal birimleri LVM ile yönetip XFS dosya sistemini çalıştırdım. Yapacağım şey her proje için mantıklı bir hacim oluşturmak ve ardından proje büyüdükçe genişletmektir. Proje tamamlandığında, mantıksal hacmi bantlamak ve patlatmak için işi arşivleyebilirdim. Bu, o alanı bir sonraki projeye / projelere yeniden tahsis edileceği birim grubuna geri döndürür.

Bu, depolama alanımızı kullanmanın çok temiz bir yoluydu, ancak bu yaklaşımın iki dezavantajı var. Mantıksal hacimlerin boyutlarını bir mantıksal birime tahsis edilen alan miktarını dengelemeye çalışarak mikromanile etmek zorundasınız, böylece işinizi yapmak için yeterli alana sahip olacaksınız ancak fazla tahsis edip boşa harcamazsınız. Render çiftliğimiz günde birçok TB verisi üretme yeteneğine sahipti ve buna çok fazla dikkat etmediyseniz, aceleyle alanınız tükenir. Sonunda, mantıksal birimlerdeki kullanılabilir alandaki eğilimleri izleyen ve onları otomatik olarak büyüten bazı komut dosyaları hazırlarım. Buna rağmen 80 ya da daha fazla Mantıksal Cilt bulunan yerde bile tüm mantıksal hacimlere bağlı çok fazla kullanılmayan alan vardı. Ben zaten 2. sorunu ima ettim .... LVM değil t İnce ayar sağlama gerçekten yapılmaz ve XFS yalnızca bir dosya sistemi oluşturmanıza izin verir. Bu yüzden fazla alanın bir mantıksal hacme ayrılması, çok fazla kullanılamaz alan ekleyebilir.

Bunların tümü yaklaşık 5 yıl önce kurulmuştu ve bugün kurarsam OpenSolaris ve ZFS kullanırdım. Bunun ana nedeni ZFS havuzlu depolama yaklaşımı daha az birim yönetimi demektir. Her bir projeyi kendi dosya sistemine ayırabilirsiniz, ancak her bir birimin boyutlarını mikro yönetmeye gerek kalmadan. ZFS'nin daha iyi bir seçim yapması için çok hoş bazı özellikleri var ama buna giren sunucu arızasında başka sorular da var.

Bence ZFS, bugün mevcut en iyi ücretsiz çözüm.

Linux ile kalırsanız dikkat etmeniz gereken bazı şeyler:

• Dosya sistemini de düşünün. 4x500GB'lık örnek, ext3 için iyi bir bilinçle önerebileceğim en yüksek kapasite hakkında Çok daha büyük ext3 dosya sistemleri oluşturmanızı önermiyorum, çünkü fsck zamanı çok fazla olabilir. Büyük bir dosya sistemi yerine daha küçük birkaç tane oluşturun.
• Video verilerinden bahsettiğiniz gibi: ext3 büyük dosyaları verimsiz biçimde işler çünkü büyük dosyaların verilerini depolamak için dolaylı, çift dolaylı ve üçlü dolaylı meta veri blokları oluşturmak zorunda kalır ve bedelini ödersiniz. Günümüzde, ext4, uzantıları destekler ve bunu daha iyi ele alır. Ama sonra, oldukça yeni ve örneğin Red Hat Enterprise Linux 5 henüz desteklemiyor. (Bazı Kurumsal dağıtımlar, XFS gibi alternatifleri destekleyecektir).
• Herhangi bir veri bloğunda veri bozulması varsa, bunu Linux dosya sistemlerinde bile fark etmekte zorlanacaksınız. Öte yandan üzerinde ZFS sağlama tüm meta ve veriler ve ayrıca sağlama doğrular her zaman veri diskten okunur. (Ayrıca arka plan ovma vardır)
• RAID katmanı, dosya sisteminin içeriğini bilmediğinden, Linux'taki RAID yeniden oluşturma süresi disk boyutuyla orantılıdır. ZFS'nin RAID-Z yeniden oluşturma süresi, başarısız diskteki gerçek veri miktarına bağlıdır, çünkü yalnızca kullanılmış bloklar yedek diskte kopyalanacak / yeniden oluşturulacaktır.
• Eğer istiyorsunuz anlık dosya sistemlerinizi? LVM anlık görüntüleri ZFS'nin anlık anlık görüntüleriyle bile karşılaştırılmaz. Sonuncusu ayrıca son kullanıcılara da kolaylıkla maruz kalabilir, örneğin kolay restorasyonlar için.
• RAID6 (RAID-Z2) kullanın ve yalnızca RAID5'i (RAID- Z) değil, büyük disklerle (> 500GB) yeniden kurma sırasında başka bir diskin arızalanma olasılığı vardır.

Sürücülerinizden bir RAID-5 dizisi oluşturmak için "mdadm" yardımcı programını kullanın.

Bu ihtiyaç duyduğunuz fazlalığı sağlar, böylece bir sürücü kapanırsa, veri kaybı olmadan değiştirebilir ve ayrıca 4 sürücüden 3'ünü de kullanabilirsiniz.

Ayrıca RAID'in üzerinde bir LVM birimi oluşturmanızı da öneririm, böylece alanı gerektiği gibi bölümlere ayırabilirsiniz.

AFS'ye bir bakmak isteyebilirsiniz. Bu size hem kullanılabilirlik (bu dosyalara ağınızdaki ve dışındaki erişebilirsiniz) hem de artıklık (dosyalar çoğaltılabilir) hakkında bir miktar ölçüm verecektir. Bir dosyayı açtığınız bir iş akışı için, bir süre üzerinde çalışın ve daha sonra kaydedin, bu, en azından daha eski NFS olan NFS'den daha iyi olurdu (bir ağ açısından).

Diğer cevabın dediği gibi, LVM yaygın olarak kullanılmaktadır ve birkaç diski tek bir büyük blok cihazına benzeyen tek bir "birim grubuna" birleştirebilmektedir. Bununla birlikte, bunu yapmanın başarısızlık olasılığınızı arttırdığını hatırlatmakta fayda var - bir dosya grubunda tüm dosya sistemini çıkarmak için bir diskin başarısız olması ve birleştirilmiş dört diskiniz varsa, bu dört kez daha muhtemeldir. Bir RAID1'in üzerinde LVM kullanmak veya bunu hafifletmek için benzer. Donanım yazılımı RAID daha uygun olsa da Linux yazılımı RAID bu konuda oldukça yeterli.

Üzgünüz, bu bir yorum olurdu, ancak temsilcisi yok ...

RAID-Z veya RAIDZ2, RAID6'dan daha iyi artıklık nasıl sağlar?

ZFS her yerde checksumming vardır

Orijinal soru hakkında. Veriler ne olursa olsun, her 10 disk için 2 aktif parite kullanırdım. 3'lü olanlar mükemmel olan kaliteli RAID kartı kullanırdım. Şahsen batarya yedekli donanım RAID kullanıyorum. LVM, böylelikle donanımın ömrünün sonunda verileri kolayca taşıyabilirsiniz. Dosya sistemi olarak XFS.

Sistem sunucusunun önyüklenmesini sağlamak için neden bir disk veya SSD kart kullanmıyorsunuz ve sadece 500 GB'lık depolama alanı. Bir 500 GB disk kullanın ve tam dolduğunda el ile değiştirin. Yedeklemeyi daha sonra başka bir bilgisayarda sakince yapabilirsiniz. Çünkü sabit disk dönerken (dönerken) hasar görebilir. Neyse, tüm diskleri aynı anda bağlarsanız hepsi dönüyor ve kullanıyorsanız kullanmıyorsanız hasar alabilir. Daha fazla disk açıldığında arıza olasılığı artacaktır. Her seferinde bir tane kullanın ve dolu olduğunda veya bir arızayı beklerken belirli bir sürede değiştirin (bundan kurtulmak için SMART özelliğini kullanın). Bir taşıma diski kullanın veya bazı harici SCSI / SATA disk adaptörü kullanın, böylece her disk değişimi yaptığınızda bilgisayar sunucusunu çıkarmanıza gerek kalmaz. Bu en güvenli ve güvenilir formdur. RAID kullanmak daha pahalıdır ve sadece bazı diskleri boşa harcarsınız (çünkü sadece açılmasına izin vermek için zarar görmesine neden olabilirsiniz (aptal ya da değil?). Daha fazla veri girişi istiyorsanız, bunun için RAID yapılandırması kullanmak bence iyi bir seçimdir, ancak hiçbir zaman bilgisayar yapılandırmasına güvenmeyin. Yedekleme her zaman bir kişiyle (ağ veya sunucu yöneticisi) manuel olarak yapılmalıdır. Bu yöneticinin eserlerinden biridir. Yedeklemeyi yapmak için kasetler, DVD, BlueRay veya diğer diskleri kullanabilirsiniz. Ancak her zaman güvenilir bir depolama ortamına ihtiyacınız olacak ve çalışan bir disk de değil. Kapatılmış bir disk ve iyi kurtarılmış (taze ve nemli bir yerde) güvenilir bir depolama ortamıdır. Daha fazla veri girişi istiyorsanız, bunun için RAID yapılandırması kullanmak bence iyi bir seçimdir, ancak bilgisayar yapılandırmasına asla güvenmeyin. Yedekleme her zaman bir kişiyle (ağ veya sunucu yöneticisi) manuel olarak yapılmalıdır. Bu yöneticinin eserlerinden biridir. Yedeklemeyi yapmak için kasetler, DVD, BlueRay veya diğer diskleri kullanabilirsiniz. Ancak her zaman güvenilir bir depolama ortamına ihtiyacınız olacak ve çalışan bir disk de değil. Kapatılmış bir disk ve iyi kurtarılmış (taze ve nemli bir yerde) güvenilir bir depolama ortamıdır. Daha fazla veri girişi istiyorsanız, bunun için RAID yapılandırması kullanmak bence iyi bir seçimdir, ancak bilgisayar yapılandırmasına asla güvenmeyin. Yedekleme her zaman bir kişiyle (ağ veya sunucu yöneticisi) manuel olarak yapılmalıdır. Bu yöneticinin eserlerinden biridir. Yedeklemeyi yapmak için kasetler, DVD, BlueRay veya diğer diskleri kullanabilirsiniz. Ancak her zaman güvenilir bir depolama ortamına ihtiyacınız olacak ve çalışan bir disk de değil. Kapatılmış bir disk ve iyi kurtarılmış (taze ve nemli bir yerde) güvenilir bir depolama ortamıdır. Ancak her zaman güvenilir bir depolama ortamına ihtiyacınız olacak ve çalışan bir disk de değil. Kapatılmış bir disk ve iyi kurtarılmış (taze ve nemli bir yerde) güvenilir bir depolama ortamıdır. Ancak her zaman güvenilir bir depolama ortamına ihtiyacınız olacak ve çalışan bir disk de değil. Kapatılmış bir disk ve iyi kurtarılmış (taze ve nemli bir yerde) güvenilir bir depolama ortamıdır.