Linux ile ev yapımı otomatik katmanlı depolama çözümleri? (Bellek -> SSD -> HDD -> uzak depolama)


13

İlgili veriler için sistem ve HDD için bir SSD kullanımı hakkında bu soruya , ben otomatik olarak yapmak için Sistemimi istiyorum hariç ...

Tercihen açık kaynak kodlu bir yazılım kullanarak, aralarında otomatik olarak birkaç depolama katmanı ve öğeler arasında geçiş yapmak mümkün müdür?

EMC SAN-> EMC Centera otomatik arşivleme gibi son derece pahalı kurumsal sınıf çözümler biliyorum , ancak bu tür bir aşamalı depolamanın otomatik olarak mümkün olup olmadığını merak ediyordum.

Burada birkaç katmana sahip olmak güzel olurdu: Bellek-> SSD-> HDD-> daha yavaş HDD veya bant veya başka bir arşiv çözümü.

Bunu otomatik olarak yapabilen herhangi bir dosya sistemi var mı? (ZFS, Btrfs, HAMMER?)

Herhangi bir Unix -varyantı gayet iyi, bunun nasıl çalıştığı ve Linux veya diğer lezzetler (BSD vb.) İçin taşınabilir olmasıyla ilgileniyorum.

Yanıtlar:


14

ZFS, Karma Depolama Havuzu (HSP) adlı bir depolama katmanı kullanır :

  1. Katman: bellek
  2. Katman: SSD tabanlı okuma önbellekleri (L2ARC) ve yazma önbellekleri (ayrı amaç günlüğü olarak da bilinir).
  3. Katman: (ucuz) sabit diskler

HSP ile, sadece sabit disk çözümüne kıyasla SSD'lerin avantajlarından otomatik olarak yararlanmak kolaydır. HSP kullanan bir sistem, ikincisinden daha hızlı ve daha ucuz olabilir. Bkz bu bağlantıyı bazı güzel örnekler ve daha fazla ayrıntı için.

ZFS için hiyerarşik depolama yönetimi (HSM) ile ilgili planlar olduğunu düşünüyorum (örneğin, Otomatik Veri Taşıma (ADM) OpenSolaris projesi), ancak şu anki durumunu bilmiyorum.


Tam da böyle düşünüyordum, teşekkürler! (Şimdi Linux bağlantı noktasında yardım etmek için ...;)
David Gardner

Ben bu katmanlama değil, önbellekleme. Önbellekleme, sık kullanılan blokların bir kopyasını tutmak , verileri daha yavaş / daha hızlı depolamaya taşımak anlamına gelir . Doğru anlarsam, ZFS'deki niyet günlüğünü gerçek bir yazma önbelleği olarak adlandırmazdım.
mrossi


5

TIER ihtiyaçlarınızı karşılıyor gibi görünüyor Bu, katmanlı bir depolama alanı oluşturabilen bir linux çekirdek modülüdür. Deseni kendi kendine öğreniyor ve depoya yerleşimi optimize ediyor gibi görünüyor

http://www.lessfs.com/wordpress/?p=776


Sorunun eski olduğunu gördüm ... Üzgünüm ^^ '
Dolanor

2
Eski soruları yeniden canlandırmak, eski ve güncel olmayan bilgilerle çürümekten daha iyidir!
David Gardner

Bu adamın ekstra kapasite uğruna fazlalığı azaltmak istediğinden endişeleniyorum (özellikle SSD'ler nispeten küçük ve güvenilmez olduğunda).
Tobu

Ayrıca, deneysel yazılımın en çok yedeklemeye ihtiyacı olduğunda, baskını çözüm olarak önerdiğinden endişeleniyor.
Tobu

Gerçi biraz daha olumlu geri bildirimler: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu

1

Bulduğum bir şeyle kendi sorumu cevaplıyorum:

Sadece çekirdeği güncelliyor ve eklenen yeni şeylere bakıyordum ve şimdi (genellikle uzak) dosya sistemlerini yerel bir dosya sistemine önbelleğe almayı sağlayan bir 'CACHEFILES' seçeneği var. En azından bir hiyerarşi seviyesi için daha yavaş bir depolama mekanizmasını (HDD) daha hızlı bir mekanizmaya (SSD) önbelleğe almak için bunu kullanabilirim.


Bu çözümü denedin mi? Nasıl çalışır?
skolima

1
Boşver - Kendimi CacheFS'nin şimdilik sadece NFS ve AFS'yi desteklediğini öğrendim.
skolima

Bunun için ağ dosya sistemlerini kullanmak kötü bir fikir değildir, çekirdek yama kümelerinden çok daha hızlı olgunlaşma eğilimindedirler. Acaba Ceph veya DRBD'nin katmanlı depolama için faydalı modları olup olmadığını merak ediyorum.
Tobu

1

İlgili bazı bağlantılar. YMMV.

http://code.google.com/p/fscops/ - "Çevrimiçi Hiyerarşik Depolama Yöneticisi (OHSM), verileri otomatik olarak yüksek maliyetli ve düşük maliyetli depolama arasında taşıyan kurumsal düzeyde açık kaynaklı bir veri depolama yöneticisine yönelik ilk girişimdir medya. ".

http://www.tack.ch/unix/dmapi/ - Linux altında XFS + DMAPI

http://jfs.sourceforge.net/ - Linux altında JFS + DMAPI


OHSM projesi takip edilmesi ilginç bir proje gibi görünüyor. Şimdilik yalnızca ext2 ve 2.6.30 çekirdeği destekleniyor, ancak iyi çalışırsa daha fazla dosya sistemi kazanacağını umuyorum.
David Gardner

Bu proje terk edilmiş görünüyor, en son etkinlik 2009 yılında yapıldı.
sendmoreinfo


0

LVM2 anlık görüntüleri akla geliyor ... ancak tek bir anlık görüntüden daha fazlasını yapamazsınız.


0

SAM-QFS , Sun'ın mevcut ürünüdür ve geçen yıl açık kaynaklıydı. CDDL, sadece doğrudan * BSD'ye bağlayabilirsiniz.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.