Bir web sitesinin tamamını nasıl indirebilirim?

81

Bütün bir web sitesini (alt sitelerle birlikte) indirmek istiyorum. Bunun için herhangi bir araç var mı?

software-recommendation

— UAdapter
kaynak

1

tam olarak ne elde etmeye çalışıyorsun? Sorunuzun başlığı ve içeriği birbiriyle ilişkili değildir ve içeriği belirli değildir.

— RolandiXor

Not, yalnızca aşağıdaki linkleri takip etmek (örneğin, --convert-linkswget kullanarak kullanmak ) başka şeylerin yanı sıra yalnızca bir form göndererek ortaya çıkan siteleri de göstermeyecektir.

— Steven

140

Buradan örnek 10'u deneyin :

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

–mirror : yansıtmaya uygun seçenekleri aç.
-p : Belirli bir HTML sayfasını düzgün görüntülemek için gerekli olan tüm dosyaları indirin.
--convert-links : indirdikten sonra, yerel görüntüleme için belgedeki bağlantıları dönüştürün.
-P ./LOCAL-DIR : tüm dosyaları ve dizinleri belirtilen dizine kaydet.

— shellholic
kaynak

sadece belirli sayfaları (örneğin, birkaç html dökümanına yayılmış bir makalenin birkaç kısmı) indirmenin bir yolu var mı?

— don.joey,

@Özel Evet, muhtemelen sayfaları almak için python veya başka bir şey kullanmak daha kolay olsa da (düzen / url’ye bağlı olarak). Sayfaların URL'si sürekli artan bir sayıya göre değişiyorsa veya sayfaların bir listesine sahipseniz, muhtemelen basget betiğinde wget kullanabilirsiniz.

— Gerçeklik

2

--wait=secondsSiteye daha yakın olmak istiyorsanız , tartışmayı kullanmayı düşünebilirsiniz ; alımlar arasında belirtilen saniye sayısını bekleyecektir.

— belacqua

Yukarıdakiler çalışır, ancak joomla için parametrelenmiş url yerel olarak bağlı olmayan dosyalar oluşturur. Biridir wget -m -k -K -E benim için çalıştı your.domain.com : buradan vaasa.hacklab.fi/2013/11/28/...

— M.Hefny

1

Ayrıca --no-parentalınan "ana dizine çıkmak hiçbir zaman" burada .

— Daniel,

38

httrack , aradığınız araçtır.

HTTrack , İnternet'ten yerel bir dizine bir World Wide Web sitesi indirmenize, tekrarlı bir şekilde tüm dizinleri oluşturmanıza, HTML, resimler ve diğer dosyaları sunucudan bilgisayarınıza indirmenize izin verir. HTTrack, orijinal sitenin göreceli bağlantı yapısını düzenler.

— Sid
kaynak

7

Bir wgetweb sitesinin tamamını indirebileceğinizden, özyinelemeli bir indirme -riçin switch'i kullanmalısınız . Örneğin,

wget -r http://www.google.com

— Arthur Knopper
kaynak

6

WEBHTTRACK WEB SİTESİ COPIER , çevrimdışı bir tarama için bir web sitesinin tamamını sabit diskinize indirmek için kullanışlı bir araçtır. Ubuntu yazılım merkezini açın ve arama kutusuna "webhttrack website copyier" yazın. seçin ve yazılım merkezinden sisteminize indirin. webHTTrack'i başlatıcınızdan veya başlatıcı menüsünden başlatın, oradan sitenizdeki indirmeler için bu harika aracın tadını çıkarmaya başlayabilirsiniz.

— Frizer
kaynak

3

Alt alanlar, yani alt siteler hakkında bilgim yok, ancak wget tam bir siteyi kapmak için kullanılabilir. Bu süper kullanıcı sorusuna bir göz atın . -D domain1.com,domain2.comTek bir komut dosyasında farklı etki alanları indirmek için kullanabileceğinizi söylüyor . Alt alanları indirmek için bu seçeneği kullanabileceğinizi düşünüyorum.-D site1.somesite.com,site2.somesite.com

— binW
kaynak

1

Kullandığım Burp örümcek aracı wget çok daha zeki olduğunu ve gerekirse bölümleri önlemek için yapılandırılabilir -. Burp Suite'in kendisi teste yardımcı olacak güçlü bir araç kümesidir, ancak örümcek aracı çok etkilidir.

— Rory Alsop
kaynak

1

Burp sadece Windows değil mi? Burp için kapalı kaynaklı lisans anlaşması da oldukça ağır. Fiyat etiketinden bahsetmiyorum $ 299.00:

— Kat Amsterdam

ehliyetten: UYARI: BURP SUITE FREE EDITION, GÜVENLİK HAYALARI TESTİ İÇİN TASARLANMIŞTIR ve İŞLEVSELLİĞİNİN DOĞUSUNDAN HEDEF SİSTEMLERE ZARAR VEREBİLİR. GÜVENLİK İÇİN TAVSİYE DOĞRU, BAZI ZARARLI HEDEFLERDE SORUNLARA HAZIR OLABİLECEK STANDART OLMAYAN YOLLARDA HEDEFLERLE ETKİLEŞMEYE ÇALIŞIR. YAZILIMI KULLANARAK GEREKENLERE AİTMELİ, KULLANMADAN ÖNCE TÜM BELGELERİ OKUYUNUZ, KULLANIM ÖNCESİ HEDEF SİSTEMLERİNİ OKMALIDINIZ VE ÜRETİM SİSTEMİNDE YAZILIMI KULLANMAMANIZ VEYA SADECE YAZILIMIN YAZILIMINI KULLANMAMANINIZ .

— Kat Amsterdam

Yaptığı şey için, fiyat etiketi inanılmaz derecede ucuz - çok çeşitli güvenlik testleri için satın almanızı tavsiye ederim. Ve istediğiniz gibi test etmek için yapılandırması çok kolaydır - bazı durumlarda AppScan'dan daha güvenli :-)

— Rory Alsop

1

@KatAmsterdam Özellikle uyumluluk sorusu ile ilgili olarak: Wikipedia'ya göre , Burp Suite bir Java uygulamasıdır, bu yüzden Ubuntu'da iyi çalışması gerekir .

— Eliah Kagan,

Kat - Linux'un çeşitli lezzetlerinde gayet iyi çalışıyor. Lisans üzerindeki uyarı, güvenlik değerlendirmeleri için kullanabileceğiniz herhangi bir araçla aynıdır.

— Rory Alsop,

1

Tüm Web Sitesi Komutunu indirebilirsiniz:

wget -r -l 0 website

Örnek :

wget -r -l 0 http://google.com

— Harish Kotikalapudi
kaynak

Lütfen bu komutun nasıl çalıştığını açıklayabilir misiniz? Bu ne yapar?

— Kaz Wolfe

0

Hız kaygılıysa (ve sunucunun refahı değilse), wget gibi çalışan, ancak birkaç sayfayı paralel olarak indirebileceğiniz puf'u deneyebilirsiniz . Bununla birlikte, bitmiş bir ürün değildir, bakımı yapılmaz ve korkunç şekilde belgelendirilmez. Yine de, çok ve çok sayıda ufacık dosya içeren bir web sitesini indirmek için, bu iyi bir seçenek olabilir.

— loevborg
kaynak