«scrapy» etiketlenmiş sorular

Kapalı. Bu soru Yığın Taşması yönergelerine uygun değil . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu Yığın Taşması için konuyla ilgili olacak şekilde güncelleyin . 5 yıl önce kapalı . Tarayıcı otomatik test takımları ve kazıma yeteneğine sahip başsız tarayıcı platformları için olası çözümlerin listesini yapmaya …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Lxml'i kurmak istiyorum, böylece Scrapy'yi yükleyebilirim. Bugün Mac'imi güncellediğimde lxml'i yeniden yüklememe izin vermedi, aşağıdaki hatayı alıyorum: In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with exit status 1 Demlemek için libxml2 ve libxslt'i yüklemeyi denedim, …

234 python  xcode  macos  scrapy  lxml 

Pip ile OSX 10.11 (El Capitan) Scrapy Python çerçevesini yüklemeye çalışıyorum. Yükleme komut dosyası gerekli modülleri indirir ve bir noktada aşağıdaki hatayı döndürür: OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' Ben komut ile OSX 10.11 rootless özelliğini devre dışı bırakmaya çalıştım: sudo nvram boot-args="rootless=0";sudo reboot ancak makine yeniden başlatıldığında da …

206 python  macos  python-2.7  scrapy 

Son zamanlarda Python öğreniyorum ve elimi bir web kazıyıcı inşa etmeye daldım. Hiç fantezi bir şey değil; tek amacı, verileri bir bahis web sitesinden çıkarmak ve bu verilerin Excel'e konmasını sağlamaktır. Sorunların çoğu çözülebilir ve etrafta iyi bir karışıklık yaşıyorum. Ancak bir konuda büyük bir engelle karşılaşıyorum. Bir site at …

145 javascript  python  ajax  screen-scraping  scrapy 

Amazon ve e-bay ürün fiyatı arasındaki karşılaştırmayı gösteren bir web sitesi yapmak istiyorum. Bunlardan hangisi daha iyi çalışır ve neden? BeautifulSoup'a biraz aşinayım ama Scrapy tarayıcısına pek benzemiyorum .

134 python  beautifulsoup  scrapy  web-crawler 

'Python ile Web Kazıma' kodunun alıştırması yapıyorum ve şu sertifika sorununu yaşıyorum: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: #We …

113 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

Bir hurdacı örümceğine kullanıcı tanımlı bir argüman geçirmeye çalışıyorum. Bunun nasıl yapılacağı konusunda kimse önerebilir mi? Bir -ayerde bir parametre okudum ama nasıl kullanılacağı hakkında hiçbir fikrim yok.

100 python  scrapy  web-crawler 

Python 2.7 ile Scrapy 0.20 üzerinde çalışıyorum. PyCharm'ın iyi bir Python hata ayıklayıcısına sahip olduğunu buldum. Scrapy örümceklerimi bunu kullanarak test etmek istiyorum. Bunu nasıl yapacağını bilen var mı lütfen? Ne denedim Aslında örümceği bir senaryo olarak çalıştırmayı denedim. Sonuç olarak, o senaryoyu ben oluşturdum. Daha sonra Scrapy projemi PyCharm'a …

100 python  debugging  python-2.7  scrapy  pycharm