Linux'ta blok düzeyinde veri tekilleştirme


10

NetApp, blok düzeyinde veri tekilleştirme (ASIS) sağlar. Linux'ta (veya OpenSolaris, * BSD) aynı işlevi sağlayan herhangi bir dosya sistemi (hatta FUSE tabanlı) biliyor musunuz?

(Sabit bağlantılar gibi yanlış tekilleştirme ile ilgilenmiyorum).

Yanıtlar:


6

Linux için lessFS, veri tekilleştirme dosya sistemi kontrol edin. Hala beta sürümündedir, ancak deneyebilirsiniz:

http://www.lessfs.com/

Saygılarımızla,

MV


Mükemmel! Bu hala beta ama kesinlikle başlamak için bir şey.
Benoît

7

Veri tekilleştirme, OpenSolaris'te ZFS'ye geliyor, ancak bu işlev şu anda kullanılamıyor.

Geçtiğimiz kış Jeff Bonwick ve Bill Moore tarafından prototiplendi ve bu yaz onu entegre etmeye çalışıyorlar. Bu nedenle, OpenSolaris'in bir sonraki sürümünde veya geliştirme dalı ile oynamak istiyorsanız daha erken mevcut olmalıdır.


@ Jlliagre'nin cevabına bakın - şimdi kullanılabilir.
James Moore

4

Veri tekilleştirmeye aşina olmayan kişiler için, verilerin dosya (veya blok, sanırım) düzeyinde analiz edildiği ve dosya sistemi boyunca aynı dosyaların / blokların daha küçük bir belirteçle değiştirildiği bir tekniktir. Bunun, disk üzerindeki etkin boyutu büyük ölçüde küçültme etkisi vardır. Bu, üzerine yazma kopyası olarak düşünülebilir . Üzerinde wiki sayfasını okuyun .

Tekilleştirme, dosya veya blok düzeyi yapmak için Linux'ta duyduğum hiçbir dosya sistemi yok. İşlemci yoğun olmasına rağmen böyle bir canavar kullanışlı olacaktır.


4

Veri tekilleştirme artık OpenSolaris'te ZFS ile kullanılabilir (128a ve daha yeni sürümler).


2

Bir yıl sonra, ancak OpenBSD için Epitome adlı bir çözüm var: http://www.peereboom.us/epitome/ . Liberal lisanslama olması koşuluyla Linux çekirdeğine dönüşebilir.


1

Sadece üzerinde çalıştığım ve satır içi tekilleştirme yapan bir proje yayınladım. Müdahale edildiyseniz , buradan bir göz atabilirsiniz . Sigortaya dayanır ve linux üzerinde çalışır.


0

Linux için ücretsiz veri tekilleştirme uygulamaları bilmiyorum. Bazı depolama satıcıları, veri tekilleştirme yapan bir VTL (Sanal depolama kitaplığı) ile bir HSM (hiyerarşik depolama yönetimi) sistemi kullanmanızı tavsiye gördüm.

Ayrıca şeffaf olmayan ancak veri tekilleştirmeden daha iyi sonuçlar verebilen Occarina benzeri bir sistemi de düşünebilirsiniz .


0

yani ... Linux'ta tekilleştirme hakkında haber yok mu? opendedup bir seçim olabilir ama üzerinde çalışan java platformu vererek, baş ağrısı almak istemiyorum. Evet denedim, ama bu java makinesi ve geri kalanı depolama yanıt süreleri ve güvenlik ihtiyaçlarımla pek iyi olmuyor.


0

Veri tekilleştirme seçeneği Linux altında, BTRFS ve ZFS dosya sistemlerinde kullanılabilir. BTRFS yerel olarak linux altında geliştirilmiştir ve çevrimdışı veri tekilleştirme aracına sahiptir. Ben 'çevrimdışı' sanmıyorum, fs umount gerekir. Çevrimdışı, etkin olarak yazılan verilerin tekilleştirilmediği anlamına gelir. Ancak daha sonra, artık depolanan tekilleştirme düşüncelerine yönelik aracı çalıştırıyorsunuz. Aslında araç beta sürümündedir. Diğer yol ZFS içinde. FUSE olarak ve yerel olarak kullanılabilir: http://zfsonlinux.org/ . Bu, çevrimiçi tekilleştirme yapar, maalesef bu yavaşlama yazar çünkü her şey anında hesaplanmalıdır. Bu davranışı çevrimiçi olarak kapatıp açabilirsiniz. Tekilleştirmeden çıktıktan sonra tekilleştirilen tüm veriler yine de tekilleştirilmiş olarak depolanır. Yeni yazma işlemleri 'kopyalanmış' olarak saklanacaktır. Gelecekte bu verilerin tekilleştirilmesini istiyorsanız, tekilleştirmeyi açmalı ve tüm 'çoğaltılmış' dosyaları yeniden yazmalısınız.

Sayfada bulunan dokümana bakın. Yazıları ve okumaları hızlandırmak için depolama havuzuna daha hızlı cihazlar ekleyebilirsiniz (özellikle SDD sürücüler veya belki daha hızlı flash USB, cihaz güvenilirliğine dikkat edin).


-2

DRBD sadece bunu yapar ve bunu gerçekten iyi yapar! Master / Slave veya Master / Master yapabilir :-)


Beni tekilleştirme dokümanı olarak gösterebilir misiniz? Bunu drbd.org/home/feature-list adresinde bulamıyorum .
Benoît

Bence Antoine 'çoğaltma' demekti, bu aradığınız şey değil, biliyorum
Matt Simmons

Aman Tanrım, çoğaltma ve tekilleştirme arasındaki fark nedir?
Antoine Benkemoun

Yorumuma hızlı bir açıklama yaptım, ancak esasen çoğaltma verileri başka bir ana bilgisayara gönderir; burada tekilleştirme, dosya boşluğu boyunca aynı bilgileri ortadan kaldırırken etkili boş alanı artırır
Matt Simmons
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.