«wget» etiketlenmiş sorular

Bir web sitesinin yerel bir ayna oluşturmak için wget kullanmaya çalışıyorum. Ama bütün bağlantı sayfalarını alamadığımı görüyorum. İşte web sitesi http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ İle başlayan tüm sayfaları istemiyorum web.archive.org, ancak ile başlayan tüm sayfaları istiyorum http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/. Kullandığımda wget -rdosya yapımda web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/index.html, ancak bu veritabanının parçası olan tüm dosyalara sahip değilim, örneğin web.archive.org/web/20110808041151/http://cst-www.nrl.navy.mil/lattice/struk/d0c.html. …

12 linux  wget  httrack  webarchive 

Web sayfalarını özyinelemeli olarak indirebileceğinizi biliyorum wget, ancak kuru çalışma yapmak mümkün mü? Böylece, gerçekten yapsaydınız ne kadar indirileceğini görmek için bir deneme çalışması yapabilirdiniz? Görüntü, ses veya film dosyaları gibi medya dosyalarına çok fazla bağlantısı olan sayfaları düşünmek.

12 wget 

Beş farklı sunucuda barındırılan oldukça büyük bir dosyam var. Orijinal sunucu üretmek için her sunucudan dosyanın farklı bölümlerini indirmek ve daha sonra parçaları birleştirmek istiyorum. Bunu curl / wget veya başka bir OS X komut satırı aracıyla yapmanın bir yolu var mı?

12 macos  download  wget  curl 

Parametresiz çalıştırılırsa, wgetbaskılarım: D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. Bu muhtemelen dosya için görünüyor olduğu anlamına gelir wgetrciçinde c:/progra~1/wget/etc/wgetrc. Ne yazık ki, bu konum kök olmayan programlar için kullanılamıyor. Değişkenleri değiştirebileceğimi SYSTEM_WGETRCveya syswgetrcortam değişkenlerini değiştirebileceğimi düşünüyordum …

11 proxy  wget 

Benzer bir URL indirmeye çalışıyorum http://www.somesite.com/restaurants.html#photo=22x00085. Tek tırnak işaretleri arasına koydum, ancak sadece doğru sayfa olmayan http://www.somesite.com/restaurants.html dosyasını indirir . Bir çözüm var mı?

11 wget  url 

Demek istediğim, Wayback Machine'de bulunan her sayfayı belirli bir süre ve aralıkta indirmek. Örneğin, her gün mevcut olan her sayfayı Ocak 2012'den Aralık 2012'ye kadar nature.com'dan indirmek istiyorum. wget, ne yazık ki Wayback makinesinin nasıl çalıştığının eşsiz doğası nedeniyle çalışmaz. Wayback Machine downloader gibi araçlar sadece sayfanın en son sürümünü …

11 download  wget  webpage 

Bir CD'ye eklemek için iki siteyi indirmeye çalışıyorum: http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info Yaşadığım sorun, bunların ikisi de wiki. Yani örneğin ile indirirken: wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ Ayrıca ...? Action = edit ...? Action = diff & version = ... gibi bağlantıları takip ettiği için çok fazla dosya alıyorum …

11 linux  unix  wget 

Aşağıdakileri yapacak bir bash betiği nasıl yazabilirim: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done Bu yüzden döngüden bir sayı ile sona eren bir URL gerçekleştirmek için bir dizi döngü var. wgetBunların hepsine ihtiyacım var .

11 bash  shell-script  wget 

Wget ile bir dosya indirmek istiyorum , ancak her zamanki UNIX felsefesine göre, indirme başarılı olursa hiçbir şey çıktısını istemiyorum . Ancak, indirme başarısız olursa, bir hata mesajı istiyorum. Bu -qseçenek hata mesajları dahil tüm çıktıları bastırır. Ben eklerseniz -nvyerine seçeneği, Wget hala (standart hataya) yazdırır: 2012-05-03 16:17:05 URL:http://example.net/ [2966] …

11 wget 

Bir html sayfa url'im var ve bunu grep etmek istiyorum. Bunu nasıl yapabilirim wget someArgs | grep keyword? İlk fikrimdi wget -q -O - url | grep keyword, ama wget'in çıktısı grep'i atlar ve terminalde orijinal haliyle ortaya çıkar.

11 grep  wget 

Kalıcı tutma için basit bir sayfa kopyasının HD'ye indirilmesini istedim. Ben derin bir özyinelemeli olsun, sadece tek bir sayfa değil, aynı zamanda o sayfa tarafından yüklenen herhangi bir kaynak da indirmek için arıyorum. Örnek: https://www.tumblr.com/ Expect: İndex.html Yüklenen görüntüler Yüklenen tüm JS dosyaları Yüklenen CSS dosyaları CSS dosyasına yüklenen görüntüler …

11 javascript  html  css  images  wget 

Tamam, pes ediyorum. 2 MB'tan büyük dosya istemediğim gibi hangi dosyaların indirileceğini nasıl sınırlayabilirim?

11 download  wget 

Tor üzerinde wget kullanmaya çalışan bir Linux Mint (Lisa) ve Tor Bundle kullanıcısıyım. Burada bulduğum talimatları takip ettikten sonra , wget çalıştırırken elde ettiğim tek şey "514 Kimlik Doğrulaması gerekli" diyen bir çıktı dosyası. Yaptığım şey: Linux için Tor Bundle'un en son sürümünü (Sürüm 2.2.35-9) indirdim ve ayıkladım. ./Start-tor-browser koştum. …

10 linux  proxy  wget  linux-mint  tor 

Özellikle, çeşitli Stack Exchange sitelerinde kullanıcı profilimden belirli sayfaları indirebilmek istiyorum. Ancak bunu cronkomut satırından ve ayrıştırılabilir biçimde otomatik olarak (bir iş kullanarak ) yapmak istiyorum . Bunun için Linux kullanmayı tercih ederim, ancak gerekirse bir Mac veya Windows makinesine erişebilirim. İdeal olarak, sayfaları getirmek için Wget veya cURL gibi …

10 linux  command-line  wget  curl  openid 

Http://www.apache.org/dist/httpd/binaries/ gibi bir dosya sunucusundaki dosyaların listesini nasıl indirebilirim ? Ben wget kullanabilirsiniz varsayalım ama sonra da tüm bağlantıları ve html dosyasını almaya çalışır. Bunu başarmak için daha iyi bir araç var mı?

10 download  apache-http-server  wget