Başsız Tarayıcı ve kazıma - çözümler [kapalı]

Tarayıcı otomatik test takımları ve kazıma yeteneğine sahip başsız tarayıcı platformları için olası çözümlerin listesini yapmaya çalışıyorum.

TARAYICI TESTİ / Kazıma:

• Selenyum - tarayıcı otomasyonunda çok dilli amiral gemisi, Python, Ruby, JavaScript, C #, Haskell ve daha fazlası için bağlamalar, daha hızlı test dağıtımı için Firefox için IDE (bir uzantı olarak). Sunucu olarak işlev görebilir ve tonlarca özelliğe sahiptir.

JAVASCRIPT

• PhantomJS - JavaScript , ekran yakalama ve otomasyon ile başsız test, Webkit kullanıyor . Sürüm 1.8 itibariyle Selenium'un WebDriver API'sı uygulanmıştır, böylece herhangi bir WebDriver bağlamasını kullanabilirsiniz ve testler Selenium ile uyumlu olacaktır
• SlimerJS - PhantomJS'e benzer şekilde , WebKit yerine Gecko (Firefox) kullanır
• CasperJS - Hem PhantomJS hem de SlimerJS üzerine kurulu JavaScript , ekstra özelliklere sahiptir
• Hayalet Sürücü - JavaScript uygulaması WebDriver Tel Protokolü için PhantomJS .
• yeni PhantomCSS - CSS regresyon testi. Bir CasperJS PhantomJS ve görsel regresyon test otomatikleştirmek için modül Resemble.js .
• Yeni WebdriverCSS - için eklentisi Webdriver.io görsel regresyon test otomasyonu için
• yeni PhantomFlow - Testlerle kullanıcı akışlarını tanımlayın ve görselleştirin. Web kullanıcı arayüzü testine deneysel bir yaklaşım.
• yeni trifleJS - Internet Explorer altyapısını kullanmak için PhantomJS API'sini bağlar.
• yeni CasperJS IDE (ticari)

node.js

• Node-phantom - PhantomJS ve node.js arasındaki boşluğu doldurur
• WebDriverJs - Selenium Team tarafından node.js için Selenium WebDriver bağlamaları
• WD.js - WebDriver / Selenium 2 için düğüm modülü
• yiewd - En yeni Harmony jeneratörlerini kullanan WD.js sarmalayıcısı! İle geri arama piramidin kurtulun verim
• ZombieJs - node.js kullanarak inanılmaz hızlı, başsız tam yığın testi
• NightwatchJs - Selenium Webdriver kullanarak Node JS tabanlı test çözümü
• kuruntu - Chimera: phantomJS'nin yaptığı her şeyi yapabilir, ancak tam JS ortamında
• Dalek.js - Selenium Webdriver ile JavaScript ile otomatik çapraz tarayıcı testi
• Webdriver.io - Önceden tanımlanmış 50+ eylemle WebDriver bağlarının daha iyi uygulanması
• Kâbus - Üst düzey API ile elektron köprüsü.
• jsdom - Web kazıma işlemine uygun . Node.js'de uygulanan çok hafif bir DOM, javascript içeren sayfaları destekler.
• yeni Kuklacı - Chrome veya Chromium'u kontrol etmek için üst düzey bir API sağlayan düğüm kitaplığı. Kuklacı varsayılan olarak başsız çalışır.

WEB TARAMA / MADENCİLİK

• Scrapy - Python , esas olarak bir kazıyıcı / madenci - hızlı, iyi belgelendirilmiş ve güzel madencilik dağıtımları için Django Dynamic Scraper veya PaaS (sunucusuz) dağıtımı için Scrapy Cloud , terminalde veya sunucu bağımsız işlemlerinde kullanılabilir , Twisted üstüne inşa edilmiş Kereviz ile kullanılabilir
• Snailer - node.js modülü, henüz test edilmedi.
• Node-Crawler - node.js modülü, henüz denenmemiş.

ONLINE ARAÇLAR

• yeni Web Scraping Language - Web'i taramak için basit sözdizimi

• Yeni Çevrimiçi HTTP istemcisi - Özel SO yanıtı

• dead CasperBox - CasperJS komut dosyalarını çevrimiçiçalıştırın

İLGİLİ LİNKLER VE KAYNAKLAR

• Webscraping yazılımının karşılaştırılması
• yeni Resemble.js : Görüntü analizi ve karşılaştırması

Sorular:

• PhanthomJS / CasperJS modülüne yönelik saf Node.js çözümü veya Nodejs gerçekten çalışıyor ve belgeleniyor mu?

Cevap: Chimera bu yöne gidiyor gibi görünüyor, Chimera'ya bakın

• Selenyum'dan daha kolay JavaScript enjeksiyonu yapabilen diğer çözümler?

• Saf yakut çözeltileri biliyor musunuz ?

Cevap: rjk tarafından oluşturulan listeye ruby ​​tabanlı çözümlerle göz atın

• İlgili bir teknoloji veya çözüm biliyor musunuz?

Bu soruyu düzenleyebilir ve istediğiniz gibi içerik ekleyebilirsiniz! Katkılarınız için teşekkür ederiz!

Ruby sizin işinizse, şunları da deneyebilirsiniz:

• https://github.com/chriskite/anemone (geliştirici durduruldu)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/ (Selenyum)

ayrıca, Nokogiri mücevher kazıma için kullanılabilir:

• http://nokogiri.org/

nokogiri'nin paket yayıncılığıyla kazıma için nasıl kullanılacağına dair özel bir kitap var

http://triflejs.org/ phantomjs gibidir ancak IE tabanlı

Bir tür JS tabanlı Selenium Dalek.js'dir . Sadece otomatik ön uç testleri için değil, aynı zamanda ekran görüntüleri de yapabilirsiniz. Tüm önemli tarayıcılar için web sürücülerine sahiptir. Ne yazık ki bu web sürücüleri geliştirmeye değer görünüyor (sadece Firefox'a "buggy" dememek).