Neden “find | grep 'dosyaadı' ”, 'dosyaadı' bulmaktan” çok daha yavaş mı?

Her iki komutu da denedim ve komut find | grep 'filename' basit find 'filename' komuttan çok daha yavaş .

Bu davranış için uygun bir açıklama ne olurdu?

( findBurada GNU olduğunu varsayıyorum )

Sadece

find filename

olur sadece dönecekti, çünkü hızlı olmak filename, veya içinde isimler filenamebu ismi geçerli dizinde olmasaydı bu bir dizin veya bir hata yoksa. Çok hızlı bir işlemdir ls filename(ancak bir dizinse özyinelemeli filename).

Tersine,

find | grep filename

geçerli dizinden ve altındaki tüm adların findbir listesini oluşturmaya izin verir ve bu da filtrelenir. Açıkçası bu çok daha yavaş bir işlem olacaktır.grep

Ben ne olduğunu tahmin ediyorum aslında amaçlanan oldu

find . -type f -name 'filename'

Bu filename, geçerli dizinde veya altında herhangi bir yerde normal bir dosyanın adı olarak görünür .

Bu, hızlı (veya nispeten hızlı) olacaktır find | grep filename, ancak grepçözüm filename, her bir adın tam yoluyla, ne -path '*filename*'yapacağına benzer şekilde eşleşecektir find.

Karışıklık, nasıl findçalıştığının yanlış anlaşılmasından kaynaklanıyor .

Yardımcı program birkaç yol alır ve bu yolların altındaki tüm adları döndürür.

Ardından , dosya adı, yol, zaman damgası, dosya boyutu, dosya türü vb. Üzerinde etkili olabilecek çeşitli sınamalar kullanarak döndürülen adları kısıtlayabilirsiniz .

Dediğinde

find a b c

Sormak findüç yolları altında kullanılabilir her ismi listelemek için a, bve c. Bunlar geçerli dizindeki normal dosyaların adlarıysa, bunlar döndürülür. Bunlardan herhangi biri bir dizinin adı olursa, o dizindeki diğer tüm adlarla birlikte döndürülür.

Ben yaparken

find . -type f -name 'filename'

Bu, geçerli dizindeki ( .) ve altındaki tüm adların bir listesini oluşturur . Daha sonra adları normal dosyalarla, yani dizinlerle vb. İle kısıtlar -type f. Sonra filenamekullanarak eşleşen isimleri için bir kısıtlama daha var -name 'filename'. Dize filenamebir dosya adı globbing deseni olabilir, *.txt(sadece alıntı yapmayı unutmayın!).

Misal:

Aşağıdakiler .profileana dizinimde çağrılan dosyayı "buluyor" gibi görünüyor :

$ pwd
/home/kk
$ find .profile
.profile

Ama aslında, yoldaki tüm isimleri döndürür .profile(sadece bir isim vardır ve bu dosyadadır).

Sonra cdbir seviye yukarı ve tekrar deneyin:

$ cd ..
$ pwd
/home
$ find .profile
find: .profile: No such file or directory

findKomut şimdi denilen herhangi yolu bulamıyor .profile.

Ancak, geçerli dizine bakmak ve sonra döndürülen adları yalnızca kısıtlamak için.profile alırsanız , oradan da bulur:

$ pwd
/home
$ find . -name '.profile'
./kk/.profile

Teknik olmayan açıklama: Bir kalabalığın içinde Jack'i aramak, bir kalabalığın içindeki herkesi aramaktan ve Jack dışındaki her şeyi göz ardı etmekten daha hızlıdır.

Sorunu henüz anlamadım, ancak daha fazla fikir verebilirim.

Kusalananda için find | grepolduğu gibi, sistemimdeki çağrı çok daha hızlıdır, bu da çok mantıklı değildir. İlk başta bir çeşit tamponlama problemi olduğunu varsaydım; konsola yazmanın sonraki dosya adını okumak için sonraki sistem çağrısına geçme süresini yavaşlatır. Bir boruya yazmak çok hızlıdır: 32 baytlık yazmalar için bile yaklaşık 40MiB / s (oldukça yavaş sistemimde; 1MiB blok boyutu için 300 MiB / s). Bu nedenle find, bir boruya (veya dosyaya) yazarken dosya sisteminden daha hızlı okuyabildiğini, böylece dosya yollarını okuyan ve konsola yazılan iki işlemin paralel çalışabileceğini varsaydım ( findtek bir iş parçacığı işlemi olarak kendi başına yapamaz).

Bu bir findhata

İki çağrıyı karşılaştırma

:> time find "$HOME"/ -name '*.txt' >/dev/null

real    0m0.965s
user    0m0.532s
sys     0m0.423s

ve

:> time find "$HOME"/ >/dev/null

real    0m0.653s
user    0m0.242s
sys     0m0.405s

bunun findinanılmaz derecede aptalca bir şey yaptığını gösterir (ne olursa olsun). Sadece yürütmede oldukça beceriksiz olduğu ortaya çıktı -name '*.txt'.

Giriş / çıkış oranına bağlı olabilir

find -nameYazacak çok az şey varsa, bunun kazanacağını düşünebilirsiniz . Ama bu sadece daha utanç verici oluyor find. Aşağıdakiler için 200K dosyaya (13M boru verisi) karşı hiçbir şey yazılmasa bile kaybeder grep:

time find /usr -name lwevhewoivhol

findgrepyine de olabildiğince hızlı olabilir

Bu findaptallığın namediğer testlere uzanmadığı ortaya çıkıyor . Bunun yerine normal ifade kullanın ve sorun ortadan kalktı:

:> time find "$HOME"/ -regex '\.txt$' >/dev/null     

real    0m0.679s
user    0m0.264s
sys     0m0.410s

Bu bir hata olarak kabul edilebilir sanırım. Hata raporu vermek isteyen var mı? Benim sürümüm find (GNU findutils) 4.6.0

Uyarı : Kastettiğinizi varsayacağım find . -name filename(aksi takdirde farklı şeyler arıyorsunuz; find filenameaslında dosya adı adı verilen , neredeyse hiç dosya içermeyen, dolayısıyla gerçekten hızlı bir şekilde çıkabilen bir yola bakar ).

Beş bin dosya içeren bir dizininiz olduğunu varsayalım. Çoğu dosya sisteminde, bu dosyalar aslında herhangi bir dosyayı hızlı bir şekilde bulabilmenizi sağlayan bir ağaç yapısında saklanır .

Eğer sorduğunuzda Yani find, ismi denetimi gerektiren bir dosyayı bulmak için, findolacak sormak için o yığın depolama gelen çok az sayıda sayfayla okuyacak yatan dosya sistemi için, dosyanın ve sadece bu dosya. Yani dosya sistemi tuz değerinde ise, bu işlem tüm girişleri almak için tüm ağacı çevirmekten çok daha hızlı çalışacaktır .

Ova findistediğinde, tam olarak bunu yaparsın, tüm ağacı okuyarak okursun. Her. Tek. Giriş. Büyük dizinlerle, bu bir sorun olabilir (tam olarak birçok dosyayı diskte depolaması gereken birkaç yazılımın iki veya üç bileşen derinliğinde "dizin ağaçları" yaratacağı nedeni budur: bu şekilde, her bir yaprağın yalnızca daha az tutması gerekir Dosyalar).

/ John / paul / george / ringo / beatles dosyasının var olduğunu ve aradığınız dosyanın 'taş' olduğunu varsayalım

find / stones

find 'beatles'ı' stone 'ile karşılaştırır ve' s 've' b 'eşleşmediğinde düşürür.

find / | grep stones

Bu durumda bulmak grep '/ john / paul / george / ringo / beatles' geçecek ve grep onun bir maç olup olmadığını belirlemeden önce tüm yol boyunca çalışmak zorunda kalacak.

grep bu yüzden çok daha fazla iş yapıyor, bu yüzden daha uzun sürüyor