«urlopen» etiketlenmiş sorular

Basit bir web kazıyıcı geliştirmeye çalışıyorum. HTML kodu olmadan metin ayıklamak istiyorum. Aslında, bu hedefe ulaşıyorum, ancak JavaScript'in yüklü olduğu bazı sayfalarda iyi sonuçlar elde etmediğimi gördüm. Örneğin, bazı JavaScript kodları metin eklerse, onu göremiyorum, çünkü aradığımda response = urllib2.urlopen(request) Orijinal metni eklenmemiş olarak alıyorum (JavaScript istemcide yürütüldüğünden). Bu sorunu …

178 python  web-scraping  python-2.x  urlopen 

Python 3 ile bir URL'den bir json belgesi talep ediyorum. response = urllib.request.urlopen(request) responseNesne sahip bir dosya benzeri nesnedir readve readlinemetotları. Normalde bir JSON nesnesi, metin modunda açılmış bir dosya ile oluşturulabilir. obj = json.load(fp) Ne yapmak istiyorum: obj = json.load(response) Ancak urlopen ikili modda bir dosya nesnesini döndürdüğü için …

177 python  json  python-3.x  encoding  urlopen