İçinde rastgele dosyalar bulunan bir dizini yinelemeli olarak almak için wget kullanma

Bazı yapılandırma dosyalarını sakladığım bir web dizinim var. Bu dosyaları aşağı çekmek ve mevcut yapısını korumak için wget kullanmak istiyorum. Örneğin, uzak dizin şöyle görünür:

http://mysite.com/configs/.vim/

.vim birden çok dosya ve dizini barındırır. Bunu wget kullanarak istemcide çoğaltmak istiyorum. Bunu yapmak için doğru bayrak kombinasyonunu bulamıyorum. Herhangi bir fikir?

Sen geçmek zorunda -np/ --no-parentseçeneği wget(ilaveten -r/ --recursive, tabii ki), aksi takdirde üst dizine sitemde dizin endeksinde bağlantıyı takip edecek. Yani komut şöyle görünecektir:

wget --recursive --no-parent http://example.com/configs/.vim/

Otomatik oluşturulan index.htmldosyaları indirmekten kaçınmak için -R/ --rejectseçeneğini kullanın:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

İndex.html * dosyalarını reddeden ve ana makine adı, üst dizin ve tüm dizin yapısı olmadan indirilen bir dizini özyinelemeli olarak indirmek için:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

Benzer sorunları olan herkes için. robots.txtSiteyi almanıza izin vermeyebilecek Wget takip ediyor. Endişelenmeyin, kapatabilirsiniz:

wget -e robots=off http://www.example.com/

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html

-M (ayna) bayrağını kullanmalısınız, çünkü bu zaman damgalarıyla uğraşmamaya ve süresiz olarak geri çekilmeye özen gösterir.

wget -m http://example.com/configs/.vim/

Bu başlıkta başkaları tarafından belirtilen noktaları eklerseniz, şöyle olur:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

Bir sunucunun dizininden dosya indirmeme yarayan tam wget komutu (yoksayılıyor robots.txt):

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/

Eğer --no-parentyardım etmezseniz, --includeseçeneği kullanabilirsiniz .

Dizin yapısı:

http://<host>/downloads/good
http://<host>/downloads/bad

Ve indirmek istiyorsunuz downloads/goodama downloads/baddizini değil :

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

wget -r http://mysite.com/configs/.vim/

benim için çalışıyor.

Belki de ona müdahale eden bir .wgetrc var?

Kullanıcı adı ve parolayla bir dizini tekrar tekrar almak için aşağıdaki komutu kullanın:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/

Wget 1.18 daha iyi çalışabilir, örneğin, bir sürüm 1.12 hata tarafından ısırıldı var ...

wget --recursive (...)

... tüm dosyalar yerine yalnızca index.html dosyasını alır.

Geçici çözüm, bazı 301 yönlendirmelerini fark etmek ve yeni konumu denemekti - yeni URL göz önüne alındığında, wget dizindeki tüm dosyaları aldı.

Tek ihtiyacınız biridir iki bayrak olan "-r"özyineleme ve için "--no-parent"(veya -npgitmek değil sırayla) '.'ve ".." . Bunun gibi:

wget -r --no-parent http://example.com/configs/.vim/

Bu kadar. Aşağıdaki yerel ağaca indirir: ./example.com/configs/.vim. Ancak, ilk iki dizini istemiyorsanız, --cut-dirs=2önceki yanıtlarda önerilen ek bayrağı kullanın :

wget -r --no-parent --cut-dirs=2 http://example.com/configs/.vim/

Ve dosya ağacınızı yalnızca ./.vim/

Aslında, bu cevaptan ilk satırı tam olarak wget kılavuzundan aldım, bölüm 4.3'ün sonuna doğru çok temiz bir örneği var.

Aşağıdaki seçenek, özyinelemeli indirme ile uğraşırken mükemmel bir kombinasyon gibi görünüyor:

wget -nd -np -P / dest / dir - yinelenen http: // url / dir1 / dir2

Kolaylık sağlamak için man sayfalarındaki alakalı snippet'ler:

   -nd
   --no-directories
       Do not create a hierarchy of directories when retrieving recursively.  With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the
       filenames will get extensions .n).


   -np
   --no-parent
       Do not ever ascend to the parent directory when retrieving recursively.  This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.

Bunu sadece -r ekleyerek yapabilmeniz gerekir.

wget -r http://stackoverflow.com/

Bu sürüm özyinelemeli olarak indirilir ve üst dizin oluşturmaz.

wgetod() {
    NSLASH="$(echo "$1" | perl -pe 's|.*://[^/]+(.*?)/?$|\1|' | grep -o / | wc -l)"
    NCUT=$((NSLASH > 0 ? NSLASH-1 : 0))
    wget -r -nH --user-agent=Mozilla/5.0 --cut-dirs=$NCUT --no-parent --reject="index.html*" "$1"
}

Kullanımı:

1. ~/.bashrcTerminale ekleyin veya terminale yapıştırın
2. wgetod "http://example.com/x/"