findİki dizinde yinelenen dosyaları bulmak ve bir dizindeki dosyaları diğer dizindeki dosyaların hardlinkleri ile değiştirmek için kolay bir yol (muhtemelen bir komut içeren komutlar dizisi) arıyorum .

İşte durum: Bu, her kullanıcının kendi klasörüne sahip olduğu birden fazla kişinin ses dosyalarını depoladığı bir dosya sunucusudur. Bazen birden fazla insan aynı ses dosyalarının kopyalarına sahiptir. Şu anda, bunlar kopya. Sabit disk alanından tasarruf etmek için hardlinks olmalarını istiyorum.

Http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.pl adresinde tam olarak istediğiniz şeyi yapan bir perl betiği var :

Komut satırında adı geçen tüm dizinleri geçin, MD5 sağlama toplamlarını hesaplayın ve aynı MD5 ile dosyaları bulun. Eşitlerse, gerçekten eşitlerse gerçek bir karşılaştırma yapın, iki dosyanın ikincisini birincisine sabit bağlantıyla değiştirin.

rdfindtam olarak ne istediğinizi yapar (ve neden johny sırayla listeler). Çiftleri silmeyi, yumuşak ya da sert bağlantılarla değiştirmeyi mümkün kılar. symlinksSizinle birlikte , sembolik bağlantıyı mutlak veya akraba yapabilirsiniz. Hatta checksum algoritmasını (md5 veya sha1) bile seçebilirsiniz.

Derlendiğinden çoğu komut dosyası çözümünden daha hızlıdır: timeMac Mini'de 2009'dan itibaren 2600 dosya bulunan 15 GiB klasöründe bunu döndürür

9.99s user 3.61s system 66% cpu 20.543 total

(md5 kullanarak).

Çoğu paket işleyicide bulunur (örn. Mac OS X için MacPorts).

fdupesAracı kullanın :

fdupes -r /path/to/folderdizindeki kopyaların bir listesini verir (-r onu özyinelemeli yapar). Çıktı şöyle görünür:

dosyaadı1
dosyaadı2

dosyaadı3
dosyaadı4
dosyaadı5

dosyaadı1 ve dosyaadı2 aynı ve dosyaadı3, dosyaadı4 ve dosyaadı5 de aynıdır.

Kullandığım hardlinkgelen http://jak-linux.org/projects/hardlink/

Bu "fslint" tarafından sağlanan fonksiyonlardan biridir - http://en.flossmanuals.net/FSlint/Introduction

"Birleştir" düğmesini tıklayın:

Ana hedefiniz disk alanı kazanmak olduğundan, başka bir çözüm daha var: dosya sistemi düzeyinde çoğaltma (ve muhtemelen sıkıştırma). Sabit bağlantı çözümüyle karşılaştırıldığında, diğer bağlantılı dosyaları yanlışlıkla etkileme sorunu yoktur.

ZFS, havuz sürüm 23'ten itibaren bir tekilleştirme (blok düzeyinde, dosya düzeyinde değil) ve uzun zamandan beri sıkıştırma yapıyor. Linux kullanıyorsanız, zfs-fuse'u deneyebilirsiniz veya BSD kullanıyorsanız, yerel olarak desteklenir.

Bugünlerde modern Linux'ta btrfs dosya sisteminde çift kopyalayan https://github.com/g2p/bedup var , ancak 1) taramayı çok fazla yapmadan, 2) dosyalar daha sonra kolayca tekrar ayrılabilir.

Çift dosyaları bulmak için duff kullanabilirsiniz .

Duff, verilen bir dosya grubunda kopyaları hızlıca bulmak için kullanılan bir Unix komut satırı aracıdır.

Basitçe çalıştırın:

duff -r target-folder

Otomatik bu dosyalara bağları oluşturmak için, çıkışını ayrıştırmak gerekir Duff ile bash veya başka komut dosyası dili.

aptitude show hardlink

Açıklama: Aynı dosyanın birden çok kopyasını sabit bağlantılar Hardlink, aynı dosyanın birden çok kopyasını algılayan ve bunları sabit bağlantılarla değiştiren bir araçtır.

Bu fikir http://code.google.com/p/hardlinkpy/ adresinden alınmıştır , ancak kod MIT lisansı altında sıfırdan yazılmış ve lisanslanmıştır. Ana Sayfa: http://jak-linux.org/projects/hardlink/

Burada belirtilen Linux için hardlinking araçlarının çoğunu kullandım. Ben de Ubuntu'da ext4 fs ile sıkışıp kaldım ve cp -l ve -s komutlarını hard / softlinking için kullanıyorum. Ama son zamanlarda fark hafif kopyasını içinde cp gereksiz disk alanı yedek ima adam sayfasında kadar bir tarafı olarak alır:

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

Bana göre ilk önce dosya ismini kontrol etmek işleri hızlandırabilir. İki dosya aynı dosya adına sahip değilse, o zaman birçok durumda onları kopya olarak görmezdim. Sırayla, en hızlı yöntemin karşılaştıracağı gibi görünüyor:

• dosya adı
• boyut
• md5 sağlama toplamı
• bayt içeriği

Bunu yapan herhangi bir yöntem var mı? Bak duff, fdupes, rmlint, fslint, vb

Aşağıdaki yöntem commandlinefu.com sitesinde en fazla oy aldı : Çift Dosyaları Bul (önce boyuta, sonra MD5 hashına göre)

Dosya adı karşılaştırması ilk adım, boyut ikinci adım olarak eklenebilir mi?

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

Perl hayranı olmadığım için, burada bash versiyonu:

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

Bu, aynı sağlama toplamına sahip tüm dosyaları bulur (büyük, küçük veya zaten sabit bağlantılar olsun) ve bunları birlikte sabitler.

Bu, ek bulma bayrakları (örneğin, boyut) ve bir dosya önbelleği ile tekrarlanan çalışmalar için büyük ölçüde optimize edilebilir (böylece her seferinde sağlama toplamını yinelemeniz gerekmez). Herhangi biri daha akıllı, daha uzun sürümle ilgileniyorsa, gönderebilirim.

NOT: Daha önce de belirtildiği gibi, hardlinkler, dosyalar hiçbir zaman modifikasyona ihtiyaç duymadığı veya dosya sistemleri arasında taşındığı sürece çalışır.

Konuştuğunuz şeye benzer bir şey yapan bir Perl senaryosu hazırladım:

http://pastebin.com/U7mFHZU7

Temel olarak, sadece içindeki bir dizini dolaşır, içindeki dosyaların SHA1 değerini hesaplar, onu birleştirir ve eşleşmeleri birbirine bağlar. Pek çok durumda işe yarar.

Çiftleri mac'ta veya herhangi bir UNIX tabanlı sistemdeki Hard Links ile değiştirmek istiyorsanız, SmartDupe http://sourceforge.net/projects/smartdupe/ geliştiriyorum

FSLint başvuruları ( http://www.pixelbeat.org/fslint/ ) tüm eşit dosyaları herhangi bir klasörde (içeriğe göre) bulabilir ve sabit bağlantılar oluşturabilir. Bir şans ver!

Jorge Sampaio

jdupes Bir yorumda bahsedilmiş ancak kendi cevabını hakediyor, çünkü çoğu dağıtımda büyük olasılıkla mevcut ve oldukça hızlı çalışıyor (sadece bir dakikada 2.7 GB'lık% 98 tam 158 GB'lık bir bölümü (SSD sürücüsü) serbest bıraktı):

jdupes -rL /foo/bar

Hardlinks yapacaksanız, bu dosyadaki haklara dikkat edin. Dikkat, sahip, grup, mod, genişletilmiş öznitelikler, zaman ve ACL (bunu kullanıyorsanız) INODE'de saklanır. Dizin yapısında ve diğer noktaların INODE özelliklerinde depolandığından yalnızca dosya adları farklıdır. Bu nedenle, aynı inode'a bağlı tüm dosya isimleri aynı erişim haklarına sahiptir. Herhangi bir kullanıcı diğerine dosyaya zarar verebileceğinden bu dosyayı değiştirmemelisiniz. Basit. Bu yeterli, herhangi bir kullanıcı aynı dosyaya başka bir dosya koydu. Daha sonra inode numarası kaydedilir ve tüm hardlink isimleri için orijinal dosya içeriği imha edilir (değiştirilir).

Dosya sistemi katmanında tekilleştirme daha iyi bir yoldur. BTRFS (son zamanlarda çok popüler), OCFS veya bunun gibi kullanabilirsiniz. Sayfaya bakınız: https://en.wikipedia.org/wiki/Comparison_of_file_systems , tablodaki uzmanlık Özellikler ve sütun veri tekilleştirmesi. Tıklayabilir ve sıralayabilirsiniz :)

Özellikle ZFS dosya sistemine bakın. Bu SİGORTA olarak mevcuttur, ancak bu şekilde çok yavaş. Yerel destek istiyorsanız, http://zfsonlinux.org/ sayfasına bakın . O zaman çekirdeği düzeltmelisiniz ve daha sonra yönetim için zfs araçlarını kurun. Anlamıyorum, linux neden sürücü olarak desteklemiyor, diğer birçok işletim sistemi / çekirdeği için bu yöntemdir.

Dosya sistemleri veri tekilleştirmeyi 2 yolla, veri tekilleştirilen dosyaları veya blokları destekler. ZFS, bloğu destekler. Bu, aynı dosyada tekrarlanan aynı içeriklerin tekilleştirilebileceği anlamına gelir. Diğer yol, verilerin veri tekilleştirildiği zamandır, bu çevrimiçi (zfs) veya çevrimdışı (btrfs) olabilir.

Dikkat, veri tekilleştirme RAM kullanır. Bu nedenle, neden FUSE ile monte edilmiş ZFS birimine dosya yazmak, performansın önemli ölçüde yavaşlamasına neden olur. Bu belgelerde açıklanmıştır. Ancak çevrimiçi olarak birim üzerinde tekilleştirme / kapanma ayarını yapabilirsiniz. Herhangi bir verinin tekilleştirilmesi gerektiğini görürseniz, sadece tekilleştirmeyi ayarlayın, herhangi bir dosyayı geçici olarak yeniden yazın ve sonunda değiştirin. Bundan sonra veri tekilleştirme kapalı ve tam performans geri yükleyebilirsiniz. Elbette, herhangi bir önbellek diskini depolamaya ekleyebilirsiniz. Bu, çok hızlı döndürme diskleri veya SSD diskleri olabilir. Elbette bu çok küçük diskler olabilir. Gerçek işlerde bu RAM yerine geçer :)

Linux altında ZFS'ye dikkat etmelisiniz, çünkü her şey olması gerektiği gibi çalışmaz, dosya sistemini yönetirken, anlık görüntüyü vb. Yaparken özel olarak çalışır, ancak yapılandırma yaparsanız ve değiştirmezseniz, hepsi düzgün çalışır. Başka bir deyişle, Linux'u opensolaris olarak değiştirmelisiniz, doğal olarak ZFS'yi desteklemelisiniz :) ZFS'de çok hoş olan budur, hem dosya sistemi olarak çalışır hem de LVM'ye benzer volüm yöneticisi. ZFS kullanırken buna ihtiyacınız yoktur. Daha fazla bilgi edinmek için belgelere bakın.

ZFS ve BTRFS arasındaki fark dikkat edin. ZFS daha yaşlı ve daha olgundur, ne yazık ki sadece Solaris ve OpenSolaris (ne yazık ki kahin tarafından boğulmuş) altındadır. BTRFS daha gençtir, ancak son kez çok iyi desteklenir. Taze çekirdeği öneririm. ZFS'nin çevrimiçi tekilleştirmesi var, bu da yazının yavaşlamasına neden oluyor, çünkü tümü çevrimiçi hesaplanıyor. BTRFS, çevrimdışı veri tekilleştirmesini destekler. Sonra bu performans tasarrufu sağlar, ancak ana makinenin yapacak bir şeyi yoksa, veri tekilleştirme yapmak için düzenli aralıklarla aracı çalıştırırsınız. Ve BTRFS yerel olarak linux altında yaratılmıştır. Belki bu sizin için daha iyi FS :)

Sabit bağlantılar en iyi fikir olmayabilir; bir kullanıcı dosyayı değiştirirse, her ikisini de etkiler. Ancak, sabit bir bağlantıyı silmek her iki dosyayı da silmez. Ayrıca, Sabit Bağlantıların aynı dosyanın birden fazla kopyasıyla aynı alanı (işletim sistemi değil) harcadığından emin değilim; Windows'a göre (Link Shell Extension ile) yaparlar. Verilmiş, bu Windows, Unix değil ...

Benim çözümüm gizli bir klasörde "ortak" bir dosya oluşturmak ve asıl kopyaları sembolik bağlarla değiştirmek ... daha sonra, sembolik bağlar yalnızca iki "dosyayı" kaydeden meta veri veya alternatif dosya akışlarıyla gömülecekti. Birinin dosya adını değiştirmek veya özel albüm resmi veya başka bir şey eklemek istemesi gibi, birbirinden farklı; aynı oyunun veya yazılımın birden fazla sürümünün kurulu olması ve en küçük farklarla bile bağımsız olarak test edilmesi gibi veritabanı uygulamalarının dışında bile faydalı olabilir.

En kolay yol dupeGuru özel programını kullanmaktır

olarak dokümantasyon diyor

Silme Seçenekleri

Bu seçenekler, yinelenen silme işleminin nasıl yapıldığını etkiler. Çoğu zaman, hiçbirini etkinleştirmenize gerek yoktur.

Silinen dosyaları bağla:

Silinen dosyalar referans dosyasına bir link ile değiştirilir. Onu bir link link veya hard link ile değiştirme seçeneğiniz var. ... bir link, dosyanın yolunun kısayoludur. Orijinal dosya silinir veya taşınırsa, bağlantı bozulur. Bir hardlink, dosyanın kendisine bir linktir. Bu bağlantı “gerçek” bir dosya kadar iyidir. Yalnızca bir dosyaya yapılan tüm bağlantılar silindiğinde, dosyanın kendisi silinir.

OSX ve Linux'ta bu özellik tam olarak desteklenir, ancak Windows'ta biraz karmaşıktır. Windows XP desteklemiyor, ancak Vista ve üstü destekliyor. Ancak, bu özelliğin çalışması için, dupeGuru idari ayrıcalıklarla çalıştırılmalıdır.