«web-scraping» etiketlenmiş sorular

Kapalı . Bu sorunun daha fazla odaklanması gerekiyor . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu, yalnızca bu yayını düzenleyerek tek bir soruna odaklanacak şekilde güncelleyin . 6 yıl önce kapalı . HTML kazıma için bir Python paketi olan Beautiful Soup'u denemeyi düşünüyorum . Bakmam gereken …

406 html  web-scraping  html-parsing  html-content-extraction 

Beautifulsoup kullanarak "class" özniteliği ile HTML öğelerini ayrıştırma konusunda sorun yaşıyorum. Kod şuna benzer soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Komut dosyası bittikten sonra aynı satırda bir hata alıyorum. File "./beautifulcoding.py", line 130, in getlanguage if (div["class"] == "stylelistrow"): File …

386 python  html  web-scraping  beautifulsoup 

Kapalı. Bu soru Yığın Taşması yönergelerine uygun değil . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu Yığın Taşması için konuyla ilgili olacak şekilde güncelleyin . 5 yıl önce kapalı . Tarayıcı otomatik test takımları ve kazıma yeteneğine sahip başsız tarayıcı platformları için olası çözümlerin listesini yapmaya …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Kapalı. Bu soru Yığın Taşması yönergelerine uygun değil . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu Yığın Taşması için konuyla ilgili olacak şekilde güncelleyin . 2 yıl önce kapalı . Bu soruyu geliştir Projemde Google önbellek yaşının önemli bilgiler olarak eklenmesine ihtiyacım var. Google önbellek yaşı, …

261 html  url  hyperlink  web-scraping 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Yanıtların gerçekler, referanslar veya uzmanlık tarafından desteklenmesini bekliyoruz, ancak bu soru muhtemelen tartışma, tartışma, oylama veya genişletilmiş tartışma talep edecektir. Bu sorunun çözülebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, yardım için yardım merkezini ziyaret edin . 7 yıl önce kapalı . …

194 java  html  parsing  html-parsing  web-scraping 

Açılır listeden bir öğe seçmem gerekiyor . Örneğin: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select> 1) Önce üzerine tıklamam gerekiyor. Bunu yapıyorum: inputElementFruits = driver.find_element_by_xpath("//select[id='fruits']").click() 2) Bundan sonra iyi elementi seçmek zorundayım diyelim Mango. Ben bunu yapmaya çalıştım inputElementFruits.send_keys(...)ama işe yaramadı.

185 python  selenium  selenium-webdriver  web-scraping  webdriver 

Basit bir web kazıyıcı geliştirmeye çalışıyorum. HTML kodu olmadan metin ayıklamak istiyorum. Aslında, bu hedefe ulaşıyorum, ancak JavaScript'in yüklü olduğu bazı sayfalarda iyi sonuçlar elde etmediğimi gördüm. Örneğin, bazı JavaScript kodları metin eklerse, onu göremiyorum, çünkü aradığımda response = urllib2.urlopen(request) Orijinal metni eklenmemiş olarak alıyorum (JavaScript istemcide yürütüldüğünden). Bu sorunu …

178 python  web-scraping  python-2.x  urlopen 

XML paketini kullanarak html tablolarını nasıl kazıyabilirim? Örneğin, Brezilya futbol takımındaki bu wikipedia sayfasını ele alalım . Bunu R'de okumak ve "Brezilya'nın FIFA tarafından tanınan takımlara karşı oynadığı tüm maçların listesi" tablosunu data.frame olarak almak istiyorum. Bunu nasıl yapabilirim?

153 html  r  xml  parsing  web-scraping 

İnternetteki bir resmin URL'sini biliyorum. örneğin , Google logosunu içeren http://www.digimouth.com/news/media/2011/09/google-logo.jpg . Şimdi, URL'yi bir tarayıcıda açmadan ve dosyayı manuel olarak kaydetmeden Python kullanarak bu görüntüyü nasıl indirebilirim.

152 python  web-scraping 

Bir web sayfasının bağlantılarını nasıl alabilirim ve Python kullanarak bağlantıların url adresini nasıl kopyalayabilirim?

141 python  web-scraping  hyperlink  beautifulsoup 

Puppeteer'da bir değişkeni bir page.evaluate()işleve geçirmeye çalışıyorum , ancak aşağıdaki çok basitleştirilmiş örneği kullandığımda, değişken tanımsız.evalVar Puppeteer'da yeniyim ve üzerine inşa edilecek herhangi bir örnek bulamıyorum, bu page.evaluate()yüzden içeride kullanabilmek için bu değişkeni işleve geçirmede yardıma ihtiyacım var. const puppeteer = require('puppeteer'); (async() => { const browser = await puppeteer.launch({headless: …

128 javascript  web-scraping  evaluate  puppeteer 

İçeriği aşağıdaki web sitesinden almak istiyorum. Firefox veya Chrome gibi bir tarayıcı kullanırsam, istediğim gerçek web sitesi sayfasını alabilirim, ancak Python istediği paketi (veya wgetkomutu) kullanırsam, tamamen farklı bir HTML sayfası döndürür. Web sitesinin geliştiricisinin bunun için bazı engeller yaptığını düşündüm, bu yüzden soru şu: Python isteklerini veya wget komutunu …

127 python  html  web-scraping  python-requests  wget 

'Python ile Web Kazıma' kodunun alıştırması yapıyorum ve şu sertifika sorununu yaşıyorum: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: #We …

113 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

Kapalı . Bu soru fikir temelli . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek mi istiyorsunuz? Bu yazıyı düzenleyerek gerçekler ve alıntılarla cevaplanabilmesi için soruyu güncelleyin . 6 yıl önce kapalı . Bu soruyu geliştirin Bir web sitesinden içerik çıkarmam gerekiyor, ancak uygulama bu verilere programlı olarak erişmek için …

107 api  web-scraping  screen-scraping 

Burada iş bir API itibaren başlar o bir site kazımak için olduğu https://xxx.xxx.xxx/xxx/1.jsonkadar https://xxx.xxx.xxx/xxx/1417749.jsonve MongoDB tam olarak yazın. Bunun için aşağıdaki kod var: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com = db["threadcol"] start_time = time.time() write_log = open("logging.log", "a") min = 1 max = 1417749 for n in range(min, max): …

16 python  mongodb  web-scraping  pymongo