«wget» etiketlenmiş sorular

Aşağıdaki bash betiğinde paralel olarak curl arka plan işlemlerinin thounsandını çalıştırıyorum START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done 49Gb Corei7-920 özel sunucum var (sanal değil). Bellek tüketimini ve CPU'yu topkomut aracılığıyla izliyorum …

14 linux  performance  bash  curl  wget 

Ben sshbenim sunucuya ed ve koştum wget -r -np zzz.aaa/bbb/cccve onu çalışmaya başladı. Sonra (benim evde) benim internet bağlantısı kesintiye var ve ben varsayarak endişeli var wgetolmuştur hup, çünkü ped sshbağlantısı kesildi ve bu nedenle terminali ölmüştü. Ama sonra sshsunucuma hala çalıştığını ve çıktıyı koyup bir wget.logşeyler indirdiğini fark ettim …

13 ssh  terminal  wget  signals 

Www.website.com/XYZ altındaki bağlantıları taramak ve yalnızca www.website.com/ABC altındaki bağlantıları indirmek istiyorum. İstediğim dosyaları almak için aşağıdaki wget komutunu kullanıyorum: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Wget 1.13.4 kullandığımda bu mükemmel çalışıyor. Ama sorun wget 1.11 olan bir sunucuda bu komutu kullanmak zorunda ve aynı komutu kullandığınızda, gibi …

13 command-line  wget 

wgetGörüntü dosyalarını indirmek için (php betiğinden) kullanmak istiyorum , ancak belirli bir boyuttaki dosyaları indirmek istemiyorum. Dosya boyutunu ile sınırlayabilir miyim wget? Değilse, daha iyi bir yol nedir?

13 files  wget  size 

Bir dosyayı indirmeyi ve değiştirmeyi içeren bir komut dosyası yazıyorum ve üzerinde çalışmadan önce dosyanın eksik olmadığından (örneğin, kesilen bir bağlantı nedeniyle) emin olmak istiyorum.

13 files  wget  curl  download  corruption 

Bir sunucuda temelde bir grup HTML sayfası, resim ve ses olan bir sitem var. Bu sunucuya şifremi kaybettim ve orada saklanan her şeyi almam gerekiyor. Sayfa sayfa gidip her şeyi kaydedebiliyorum ama sitenin 100'den fazla sayfası var. OSX kullanıyorum. Kullanmaya çalıştım wgetama sunucu bunu engelliyor düşünüyorum. Bu içeriği almak için …

13 wget 

Ben şu şekilde koşuyorum wget: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Bu mesajların bir demet olsun: Last-modified header missing -- time-stamps turned off. Sanırım bu, yerel olarak sahip olmama rağmen sayfaların yeniden indirilmeye devam ettiği anlamına geliyor. NOT : Komut aynasını her çalıştırdığımda varolan dosyaları yeniden indirmek zorunda …

13 wget  web 

Statik bir html sayfası indirmek için wget kullanıyorum. W3C Doğrulayıcı, sayfanın UTF-8 ile kodlandığını söylüyor. Yine de indirdikten sonra dosyayı cat ettiğimde, bir grup ikili saçmalık elde ediyorum. Ubuntu'dayım ve varsayılan kodlamanın UTF-8 olduğunu düşündüm. Yerel ayarımın söylediği bu. Bu neden oluyor ve nasıl düzeltebilirim? Ayrıca, benziyor Content-Encoding: gzip. Belki …

12 wget  character-encoding  gzip  http 

Bir kez yayınlandıktan sonra değişmeyen birden fazla dosya arasındaki veri dağılımını indiriyorum. Bu nedenle --timestampingyeterince iyi değil, çünkü hangi kaynağın değiştiğini sürekli olarak kontrol ediyor, yani benim durumumda tamamen anlamsız. --no-clobbermükemmel uyuyor. Ne yazık ki --convert-links bir nedenden dolayı çalışmıyor . --No-clobber ve --convert-links belirtildi, yalnızca --convert-linkleri kullanılacak. Bunun --backup-convertedyardımcı …

12 wget  download 

Mesela bir bağlantım var http://www.abc.com/123/def/ghi/jkl.mno. Ben wgetveya kullanarak kullanarak indirmek curlve çıktı bağlantısı adını almak istiyorum def_ghi_jkl.mno, nerede def_ghibağlantı link alınır. wgetBirden fazla dosyayı indirmek için bir komut dosyasında bu komutu koyacağım, bu nedenle çıktı dosyası adını açıkça veremiyor.

12 filenames  wget  curl 

Ben sadece CPU, bellek, depolama (yani, uzak dosyaların kopyalarını yerel olarak kaydetmeden) ek yük olmadan bir dropbox dosya sistemini keşfetmek mümkün. Resmi müşteri çok fazla yeniden kaynak tüketiyor gibi görünüyor (ve senkronizasyon gibi gereksiz işlemleri de yapacak) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Biri sadece bunu (diyelim, SİGORTA ile ve yerel olarak dosya …

12 wget  fuse  dropbox  hosting-services  protocols 

Küme ayracı genişletmeyi kullanıyorsanız wget, sıralı olarak numaralandırılmış görüntüleri kolaylıkla getirebilirsiniz: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Bu numaralandırılmış ilk 10 dosya getirir 90.jpgiçin 99.jpgsadece para cezası, ancak 100.jpgve sonrası bir dönüş 404: Dosya bulunamadı (Sadece sunucuda depolanan 100 fotoğraf var) hatası. {00..200}100 olmayan dosya ile daha geniş bir aralık kullanırsanız, bu varolmayan …

12 bash  shell-script  wget 

wgetAdam sayfası için bölüm altında, bu devletler --random-waitparametre: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer platform provided code …

11 wget  man  documentation 

Wget ile bir url çağırıyorum: /usr/bin/wget --read-timeout=7200 https://site_url/s Wget, ayarlanan zaman aşımına rağmen, bu durumda her 15 dakikada bir GET isteği gerçekleştirir, bu neden olur? Arama yalnızca bir kez yapılmalıdır, wget'i Yeniden Denememe olarak nasıl ayarlayabilirim? Ayarlayabileceğinizi biliyorum t=nama 0 sonsuz ve 1 istediğimden 1 daha fazla.

11 linux  rhel  wget 

wget hızlı bir şekilde internette bir şeyler indirmek için çok yararlı bir araçtır, ancak FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare gibi hosting sitelerinden indirmek için kullanabilir miyim? Öyleyse, bunu nasıl yapabilirim?

11 wget  download  hosting-services