Ben zaten wget ile web-kazıma hakkında bir soru yanıtladı. ama biraz daha fazla okuduğumda, web tarama programı aradığımı fark ediyorum. özellikle web tarayıcıları ile ilgili kısım, bağlantılar veya benim durumumdaki ürünler gibi belirli verileri alabilmenin bir parçası.
Sitemdeki tüm ürünler aşağıdaki adlandırma kurallarına sahiptir: website.com/uniqueAlphaNumericID.html
bildiğim kadarıyla, dinamik içerik üretimi kullanılmıyor ve yukarıdaki formatta bir öğe için sadece bir sayfa kullanılıyor.
sadece düşünmeliyim:
wget website.com | grep * .html
veya örümceklere / paletlere bakmalı mıyım?
Sorunun ne olduğu belli değil. Tam olarak ne yapmaya çalışıyorsun?
—
Michelle Six
Bir web örümcek programını bir web sayfasında kendim kullanabilir miyim, yoksa bu terminoloji sadece arama motorunun kendisinden sayfalardan veri almak için mi kullanılıyor? mac osx'ta bir web tarama programı veya bu konuda başka bir işletim sistemi kullanabilir miyim ve ne tavsiye edersiniz? Yapmaya çalıştığım şey bir web sitesinden veri almanın farklı yollarını bulmak
—
fightermagethief