Bir web sayfasının tüm dış bağlantılarını nasıl ayıklayabilir ve bir dosyaya nasıl kaydedebilirim?

Bir web sayfasının tüm dış bağlantılarını nasıl ayıklayabilir ve bir dosyaya nasıl kaydedebilirim?

Eğer harika bir komut satırı aracınız varsa.

Vaşak ve awk olmak üzere 2 araca ihtiyacınız olacak , bunu deneyin:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

Numaralama satırlarına ihtiyacınız varsa, nl komutunu kullanın , şunu deneyin:

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

İşte lelton'un cevabında bir gelişme: vaşakların bazı yararlı seçeneklerine sahip olması için hiç awk'ye ihtiyacınız yok.

lynx -listonly -nonumbers -dump http://www.google.com.br

numaralar istiyorsan

lynx -listonly -dump http://www.google.com.br

1. Söz konusu web sayfalarını almak için Güzel Çorba kullanın .
2. Alan adınızı göstermeyen tüm URL'leri bulmak için awk kullanın

Ekran kazıma teknikleri üzerinde Güzel Çorba tavsiye ederim.

komut satırı bir kuvvet değilse Tüm Bağlantıları Kopyala Firefox uzantısını kullanabilirsiniz.