«web-crawler» etiketlenmiş sorular

HTML'leri indirmek (örnek: http://www.brpreiss.com/books/opus6/ ) ve e-kitap okuyucunda kullanabileceğim bir HTML veya başka bir formata katılmak istiyorum . Ücretsiz kitapları olan siteler standart sayfalamaya sahip değildir, bloglar veya forumlar değildir, bu nedenle bazı otomatik tarama ve birleştirme işlemlerinin nasıl yapıldığını bilmezsiniz.

23 ebook  web-crawler 

@ Neden bazen web sayfalarında [at] olarak yazılır? Bunun belirli bir nedeni var mı?

15 email  html  web  spam-prevention  web-crawler 

Aslında, tüm bir siteyi Wget ile taramak istiyorum, ancak ASLA diğer varlıkları (ör. Görüntü, CSS, JS, vb.) İndirmem gerekiyor. Yalnızca HTML dosyalarını istiyorum. Google aramaları tamamen işe yaramaz. İşte denediğim bir komut: wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -E -e robots=off -U "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) …

14 wget  web-crawler 

Bir web sitesini özyinelemeli olarak taramak ve yalnızca belirli türdeki resimleri indirmek için nasıl uyarırsınız? Bir siteyi taramak ve sadece Jpeg resimleri indirmek için bunu kullanmayı denedim: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories http://somedomain/images/page1.html Ancak, page1.html, resimlere doğrudan bağlantıları olan yüzlerce alt sayfaya bağlantı içeriyor olsa da, "subpage13.html dosyasının …

13 linux  bash  script  web-crawler  wget 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Yanıtların gerçekler, referanslar veya uzmanlık tarafından desteklenmesini bekliyoruz, ancak bu soru muhtemelen tartışma, tartışma, oylama veya genişletilmiş tartışma talep edecektir. Bu sorunun çözülebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, yardım için yardım merkezini ziyaret edin . 9 yıl önce kapalı . …

12 php  curl  screen-scraping  web-crawler 

Birden çok web sitesinden bir kelime belgesine metin ayıklamak otomatikleştirmek için bir yol arıyorum. Doc kelimesine yapıştırıldığında "birleştirme biçimlendirme" kullanarak yapıştırmaya ihtiyacım var. Bu, ayıklanan metnin doc kelimesine yapıştırıldıktan sonra bitmesini istiyorum - Örnek Metin çıkarıcısına yalnızca "Önceki Bölüm" dediği, ancak "önceki bölüm" demediği bölümün sonuna kadar, "Kitap 1, Bölüm …

1 microsoft-word  parsing  web-crawler 

Ben zaten wget ile web-kazıma hakkında bir soru yanıtladı. ama biraz daha fazla okuduğumda, web tarama programı aradığımı fark ediyorum. özellikle web tarayıcıları ile ilgili kısım, bağlantılar veya benim durumumdaki ürünler gibi belirli verileri alabilmenin bir parçası. Sitemdeki tüm ürünler aşağıdaki adlandırma kurallarına sahiptir: website.com/uniqueAlphaNumericID.html bildiğim kadarıyla, dinamik içerik üretimi …

1 website  wget  web-crawler 

Bir web sitesi haritasını aşağıdaki gibi bir biçimde almam gerekiyor: http://example.org/ http://example.org/product/ http://example.org/service/ http://example.org/about/ http://example.org/product/viewproduct/ Gibi bağlı tabanlı (dosya veya dir brute-force), ihtiyacım var: ayrıştırma anasayfası - & gt; tüm bağlantıları al - & gt; onları keşfet - & gt; bağlantıları al ... Ayrıca, bir sayfanın "alt sayfaların" tümünü almamak …

website  wget  web-crawler  sitemap 

Son zamanlarda sitemin ziyaretçisinin günlüğüne yönelik bir güncelleme yaptım ve düzgün çalıştığını kontrol ederken, bana ait olmayan URL’leri ziyaret ettiğimi fark ettim. Site Google’da olmadığı ve şu anda bildiğim herhangi bir yerden bağlantıda olmadığı için botları gördüğüme şaşırdım. Sitem IP, zaman damgası, kullanıcı temsilcisi ve sayfa adresini her ziyaret için …

dns  web-crawler