Dosyaları tekilleştirme yöntemleri

Sadece birkaç makinedeki dosyaları yedeklemek ve arşivlemek istiyorum. Ne yazık ki, dosyalar aynı dosyada olan ancak farklı makinelerde farklı şekilde saklanan bazı büyük dosyalara sahiptir. Örneğin, bir bilgisayardan diğerine geçici yedekleme olarak kopyalanan birkaç yüz fotoğraf olabilir. Artık ortak bir dosya deposu yapmak istediğime göre, aynı fotoğrafın birkaç kopyasını istemiyorum.

Tüm bu dosyaları tek bir dizine kopyalarsam, geçip gidip yinelenen dosyaları tanıyabilen ve bana bir liste verebilecek veya yinelenenlerden birini silebilecek bir araç var mı?

Her dosya için bir md5sum oluşturun, yinelenen md5sums yinelenen dosyaları önerir (ancak garanti etmez).

Aynı dosyaları sabit bağlantılara dönüştürmek için dupemerge kullanabilirsiniz . Ancak büyük bir dosya setinde çok uzun zaman alacaktır . Dosyaların SHA (veya MD5) karmaları neredeyse kesinlikle daha hızlı çalışacaktır, ancak kopyaları bulmak için daha fazla çalışma yapmanız gerekecektir. Yanlışlıkla çarpışma olasılığı o kadar düşüktür ki, gerçekte onu görmezden gelebilirsiniz. (Aslında, birçok veri tekilleştirme ürünü bunu zaten yapıyor.)

Fotoğraf ve müzikle uğraşmak için en iyi seçeneğiniz, özellikle bu öğelerin kopyalarını bulmak için uyarlanmış araçlar elde etmektir. Özellikle etiketleme, kırpma veya kodlama farklılıkları devreye girdikten sonra ikili düzeyde özdeş olan dosyalarınız olmayabilir. Dosyalara "küçük" resimler bulabilecek araçlar ve dosyalarda küçük ayarlamalar yapılmış olsa bile aynı "kulağa" gelen müzikler isteyeceksiniz.

Yeteneğiniz varsa, tekilleştirici bir dosya sistemi kurabilir ve yedeklerinizi buna koyabilirsiniz. Bu sadece tüm dosyaları tekilleştirmekle kalmayacak, aynı zamanda benzer dosya parçalarını da silecektir. Örneğin, birden fazla yerde aynı JPEG'e sahipseniz, ancak her sürümde farklı EXIF ​​etiketleri varsa, tekilleştirici bir dosya sistemi görüntü verilerini yalnızca bir kez depolar.

Veri tekilleştirme sistemlerinde lessfs, ZFS ve SDFS bulunur.

Bu tür bir şey yaparken, birkaç hafta boyunca boş zamanlarınızda dosyaları kendiniz gözden geçirmenin çok daha ilgi çekici / zaman etkili olduğunu öğrendim. İşler arasındaki farkı bilgisayarınızın yapabileceğinden daha iyi anlayabilirsiniz.

Kabul etmiyorsanız, o zaman EasyDuplicateFinder öneririm . Yukarıda da belirttiğim gibi, 5GB dosya için yaklaşık bir gün uzun bir zaman alacaktır.

Ve başka bir notta, Crashplan daha önce yaptığınızı yapıyor, ancak çok daha organize, versiyonlama problemi olmayan bir şekilde.

Yedeklediğiniz makinelerin onu destekleyeceğini varsayan bir başka olasılık, benzer bir şey kullanmaktır rsync.

Eğer rsyncA ila B, sonra C ila B, daha sonra D vb B'ye, tam çiftleri (örneğin, dosya ismine göre) ortadan kaldırıldığında (ve makineler yedeklemekte konum arasında senkronize).

Ancak hepsinin birbiriyle senkronize olmasını istemiyorsanız, bu en iyi yol değildir.

Görüntü dosyaları için findimagedupes kullanın . Ayrıca debian olarak paketlenmiştir .

Sabit bağlantılar tekilleştirme işlemini yalnızca tüm dosya aynı ise gerçekleştirir. Üstbilgiler (EXIF, ID3,…) veya meta veriler (sahip) farklıysa, bunlar birbirine bağlanmaz.

Blok tekilleştirme desteği (ZFS, btrfs,…) ile bir dosya sistemi kullanma şansınız olduğunda bunu kullanın. Kapsam düzeyinde veri tekilleştirmeyi destekleyen ve sürekli olarak büyük miktarda bellek tüketmeyen (ZFS çevrimiçi veri tekilleştirmesi gibi) btrfs'nin çevrimdışı (aka toplu ) veri tekilleştirme desteğine çok düşkünüm .

Veri tekilleştirme, dosyaların diğer kopya bildirimi olmadan kullanıcı tarafından değiştirilebilmesi avantajına da sahiptir (bu sizin durumunuzda değil, başkalarında uygulanabilir).

Mükemmel bir tartışma için bkz. Https://btrfs.wiki.kernel.org/index.php/Deduplication .