Wget kullanarak tüm bir web sitesini indirmek istiyorum ancak resim, video vb indirmek için wget istemiyorum.
denedim
wget -bqre robots=off -A.html example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
ancak bunu yaptığımda .php dosyalarını indirmez, sadece statik .html dosyalarını indirir.
Wget ile bu soruna bir çözüm var mı?
Yanıtlar:
Wget'e yalnızca .htmlbir sonek olan dosyaları kabul etmesini açıkça söylediniz .
Php sayfalarının olduğu varsayılarak .php, bunu yapabilirsiniz:
wget -bqre robots=off -A.html,.php example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″
Bu php kaynağı değil, işlenmiş html indirecektir unutmayın. Sayfa yeterince dinamikse, beklediğiniz sonuç elde edilemeyebilir.
Ancak, httrack gibi başka bir aracın daha iyi bir iş yapabileceğini öneririm - bu tam olarak ne yapmanız gerektiğine bağlıdır.
-A bir liste alır, bu yüzden -A.html, .php faturaya uymalıdır. Ayrıca -R'ye de bakmalısınız (ayrıca bir reddetme listesi de alır).
Evet, var ve oldukça basit. Bu SO cevabına bir göz atın: /superuser/709702/how-to-crawl-using-wget-to-download-only-html-files-ignore-images-css-js
tl / dr; --follow-tags=ayalnızca aetiketleri izleyecek olan kullanın .