«wget» etiketlenmiş sorular

Örneğin www.example.com, bir blog yansıtmaya çalışıyorum wget. Wget aşağıdaki seçeneklerle kullanıyorum (kabuk değişkenleri doğru şekilde değiştirildi): wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \ --referer=$url \ -U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 …

9 wget  mirroring 

XCode'u curl veya wget kullanarak indirmenin bir yolu var mı? EDIT: Aşağıdaki kıvrılma pasajı neden çalışmıyor? İlk önce Apple'ın sitesine giriş yaptım: curl -d "theAccountName=USERNAME&theAccountPW=PASS" -c xcode-cookie -A "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1" https://daw.apple.com//cgi-bin/WebObjects/DSAuthWeb.woa/104/wo/W1df7WQblBsLekQzvS1tJ0/0.5.3.1.1.2.1.1.3.1.1" Sonra dosyayı indirmeye çalışıyorum: curl -b xcode-cookie -c xcode-cookie -O -v …

6 wget  xcode  curl 

Mp3 dosyalarını https://musicforprogramming.net/ adresinden indirmek için wget kullanmaya çalışıyorum . Gördüğünüz gibi , ana sayfadaki her parça sayfasına (ör. Https://musicforprogramming.net/?twentythree ), ana sayfadan bir bağlantı ve her parçadaki mp3 dosyasına bir bağlantı (ör. Https: // datashat) vardır. net / music_for_programming_23-panda_magic.mp3 ). Bu komutun benim için tüm mp3 dosyalarını indireceğini düşündüm: …

6 linux  download  wget  mp3 

Merhaba İki dosyayı indirerek iki farklı indirme noktasına dosya indirmek için wget (veya curl veya aget vb.) Kullanmam gerekiyor: First: 0 to 490000 bytes of file Second: 490001 to 1000000 bytes of file. Bunu indirme hedeflerini ayırmak için indireceğim ve indirme işlemini hızlandırmak için tekrar birleştireceğim. Dosya çok büyük ve …

6 linux  download  wget 

Proxy arasında bir çözüm arıyorum ve wgetikisi de çözmeye çalıştığım konuyu tam olarak ele almadığı için. Dosyaları uzaktaki makinelerden (akıllı telefon, web tarayıcı vb.) Ev makinemdeki belirli bir dizine (yalnızca Linux sunucusu - yalnızca komut satırı) indirmek istiyorum. Bu bir çözüm gibi geliyor wgetAJAX / JavaScript (örn Uploaded.net, Mega.nz) üzerinden …

5 browser  download  proxy  wget 

Örnek: http://www.mediafire.com/?tjmjrmtuyco Ben de bunu denedim. wget -A rar [-r [-l 1]] <mediafireurl> Yani özyinelemeli seçeneği ile ve olmadan denedim. İstediğim şey 90-100 MB ve RAR aralığındayken, birkaç KB boyutunda bir HTML sayfasının indirilmesiyle bitiyor. MediaFire’a habersiz olanlar için olan şey, ilk önce şunu söylüyor: İndirme İsteği İşleniyor ... Bir …

5 linux  networking  ubuntu  script  wget 

Macbook Air MacOsx 10.11.06'daki bir meslektaşıma, demleme ile kurulan wget (sürüm 1.19.1) kullanarak bir web sitesinin arşivlenmesi konusunda yardım etmeye çalışıyorum. Bu komutu kullanmak. wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --domain scart.be --warc-file=20161103_scart www.scart.be Ancak bu terminalde bir hata ile sonuçlanır: İçindeki bağlantıları dönüştürme http://www.scart.be/index.html?q=fr%2Fnode%2F1135.html 35-27 Eksik veya geçersiz …

2 ubuntu  conversion  wget  osx-el-capitan 

Çok kaprisli bir proxy (kalamar) arkasındayım ve yalnızca belirli bir kullanıcı aracısıyla yapılan http isteklerine izin veriliyor gibi görünüyor. Getirirken google.com Google Chrome’dan bir HTTP GET WireSharc'ta. Ancak, wget DNS'yi önce hiç yanıt vermeyen varsayılan DNS sunucuları aracılığıyla çözmeye çalışır. Nasıl yapabilirim wget ya da git doğrudan bir DNS sorgusu …

2 dns  proxy  wget  squid 

Birkaç sıkıştırılmış paketi indirmek için wget kullandım (herhangi bir önemi varsa, apt-get'i el ile taklit etme girişimi sırasında) ve paketlerin yerlerini hatırlamıyorum. Wget indirme geçmişini görmek mümkün mü (Yaptığım tüm indirmeleri silmek için görmek istiyorum)? Ya da belki de tüm ağ yardımcı programları ve tarayıcılar tarafından indirilenler de dahil olmak …

2 linux  ubuntu  download  wget 

Zaman zaman web üzerinde, defterimde çevrimdışı kullanım için gereken bazı belgeleri buluyorum. Genelde küfür edip bütün siteyi ele geçiririm. Ancak birçok proje şimdi wikilere geçiyor ve bu da her bir sürümü ve her "beni düzenle" bağlantısını indirdiğim anlamına geliyor. Wget'ta herhangi bir araç veya yapılandırma var mı? Örneğin, yalnızca sorgu …

2 download  wget  web  wiki  batch 

İndirmek için harika bir dosyam var. wget -i list_of_urls ama benim sorunum, bu wget indirilen dosyanın dosya adını kullanıyor. URL adının tamamını kullanmak için bir yol (veya farklı bir araç) var mı, f.e. http://www.example.com/file1.html http://www.example.com/file2.html Dosyalara yönlendir: http___www_example_com_file_1.html http___www_example_com_file_2.html

1 download  wget  curl 

Web geliştirmemizin çoğunu gerçekleştirdiğimiz yerel bir sunucumuz var ve sonra bunu müşterilerin erişebilmesi için canlı bir ortama itiyoruz. Genellikle yerel sunucumuzdan uzaktaki sunucumuza almamız gereken devasa tarball'larla (özellikle bu, 6.6Gb'dir) sonuçlanır. Macunu terminal ve WinSCP olarak kullanıyoruz. Wget üzerinden veri almak her zaman çok hızlıdır ancak yerel sunucumuza tarball almak …

1 wget  local 

Tüm .html dosyalarını adında belirli bir metni olan bir web sitesinden almak istiyorum: Örneğin. this_is_good_site.html Bu nedenle, adına "iyi" kelimesini içeren .html dosyalarını indirmek istiyorum. Wget and curl'ı denedim, ancak normal bir ifade kullanarak bu dosyaları nasıl seçebilirim anlamadım. Unix'in komut satırı araçları bunu yapamazsa, Python veya Perl çözümü var …

1 mac  unix  html  wget  curl 

İnsanların temelde bütünü nasıl getirdiğine benzer bash Windows ortamına çeşitli nedenlerle oynamak ve oynamak bash orada, çok küçük ölçekte benzer bir şey yapmak isterdim. Orada fark ettim cmd.exe, başlatmama izin veriyor .bat Dosyalar. Yolumda duran tek bir aksaklık var (toplu iş bash'tan çok daha basittir) ve bu da internete erişim …

1 linux  batch-file  download  wget  wine 

Ben zaten wget ile web-kazıma hakkında bir soru yanıtladı. ama biraz daha fazla okuduğumda, web tarama programı aradığımı fark ediyorum. özellikle web tarayıcıları ile ilgili kısım, bağlantılar veya benim durumumdaki ürünler gibi belirli verileri alabilmenin bir parçası. Sitemdeki tüm ürünler aşağıdaki adlandırma kurallarına sahiptir: website.com/uniqueAlphaNumericID.html bildiğim kadarıyla, dinamik içerik üretimi …

1 website  wget  web-crawler