Otomatik kullanıcı arayüzü testi hangi sorunu çözer?

Şu anda otomatik kullanıcı arayüzü testini araştırıyoruz (şu anda otomatik birim ve entegrasyon testi yapıyoruz).

Selenyum ve Telerik'e baktık ve çok daha esnek olan kayıt cihazı nedeniyle tercih edilen araç olarak ikincisine yerleştik - ve testçilerin çok fazla kod yazmasını istemiyoruz.

Ancak, genel faydayı anlamaya çalışıyorum. İnsanların görüşleri nelerdir ve ne tür şeyler işe yarar ve ne işe yaramaz?

Sistemimiz sürekli geliştirilme aşamasındadır ve (web tabanlı) platformumuzun yeni sürümlerini düzenli olarak piyasaya sürmekteyiz.

Şu ana kadar görebildiğimiz ana yarar, özellikle platformumuzun birden fazla müşteri dağıtımında, regresyon testi için.

Gerçekten başkalarının görüşlerini arıyor. Yapılması gereken doğru şey olduğunu "düşünüyoruz" ancak çoktan yoğun bir programda bazı ek bilgiler bekliyor.

Ekibim otomatik UI testini uyguladığında çok büyük şeyler oldu.

Birincisi, KG ekibi, uygulamayı test etmede ve uygulamada daha ustalaştığında çok daha etkili oldu. Önde gelen QA, yeni QA üyelerini UI için test süitleriyle tanıştırarak hızlı bir şekilde hızlandırabildiğini söyledi.

İkincisi, Dev ekibine geri gelen QA biletlerinin kalitesi daha iyiydi. 'Gönder düğmesini tıklattığımda sayfa kırıldı' yerine, forma ne girildiğini görebilmemiz için başarısız olan durumu gördük. KG ekibi ayrıca, başarısız olan durumları kontrol ederek ve o sayfadaki diğer senaryoları test ederek bize neler olduğunu daha iyi görebilmemiz için bir adım daha ileri gitti.

Üçüncüsü, QA ekibinin daha fazla zamanı oldu. Bu fazladan zamanla, daha fazla tasarım toplantılarında oturabiliyorlardı. Bu da onların yeni test paketi senaryolarını yazmalarına izin verdi ve aynı zamanda Devs bu yeni özellikleri kodlarken kullandı.

Ayrıca, kullandığımız test odasının test ettiği stres testi altın cinsinden ağırlığına değdi. Dürüst olmak gerekirse, uygulamamızın atılan hemen hemen her şeyi alabileceğini bilerek geceleri daha iyi uyumamı sağladı. Canlı yayına girmeden önce düzeltebileceğimiz baskı altında toplanan birkaç sayfa bulduk. Sadece mükemmel.

Bulduğumuz son şey, QA ekibinin bazı tweaksleriyle, uygulamamız üzerinde bazı SQL enjeksiyon testleri de yapabileceğimizdi. Çabucak düzeltebileceğimiz bazı güvenlik açıkları bulduk.

UI test takımının kurulumu iyi zaman aldı. Ancak, bir zamanlar oradaydı, gelişim sürecimizin merkezi bir parçası oldu.

Otomatik UI testleri gerçek entegrasyon testleridir. Tüm sistemi, gerçekten canlıyken kullanıldığı şekilde test ederler. Bu onları en anlamlı testler yapar. Bununla birlikte, aynı zamanda en kırılgan olma ve en yavaş uygulanma eğilimindedirler.

Ve yalnızca el test edilir bazı şeyler var (ama emin yaptıkları için değil hestitate (kırılganlık maliyetinin bir parçası olmak ile birlikte) maliyet / fayda oranı bir göz atın edilir test). Ve eğer mümkünse, geliştiricilerin UI test paketinin belirli bölümlerini uygulamanın yerel olarak çalışan sürümleriyle karşılaştırmasını sağlayın, böylece geliştirme sırasında yapılan testlerden faydalanabilirler.

Testlerin otomatik olarak bir yapı sunucusunda (günde en az bir kez) çalıştırılması, elbette mutlak bir zorunluluktur.

Testçilerin çok fazla kod yazmasını istemiyoruz.

IMO bu bir boru rüyası. Otomatikleştirilmiş testleri oluşturma olduğu kod yazmadan. Kayıt işlevi, bu kodun bir kısmını daha hızlı yazmanıza ve manuel olarak yazarak daha hızlı başlamanıza yardımcı olabilir (ve yazma kodunun elle daha hızlı hale geldiği noktayı kaçırırsanız, sizi çok yavaşlatır), ancak sonuçta el ile kod yazmanız yeterli olacaktır . çok yapıyorum. Test çerçevenizin bunu iyi bir şekilde desteklediğini ve geliştirilmesinin çok fazla odaklanmamasını umduğumda, (test edilebilir) boru rüyasına çok fazla odaklanmadı, otomatik testler üretmek için kod yazamayan insanlara izin verme.

ve biz gerçekten testçilerin çok fazla kod yazmasını istemiyoruz

Tersine yaklaşıyoruz. Biz istedik kod yazmadan test.

İşte benimsemeye başladığımız iş akışı. Bunu yapmak kolay değil çünkü yönetim kesinlikle ön uç otomatik testine bağlı değildir . "Yeterince yakın" için razı olmak istiyorlar.

1. Kullanıcı hikayeleri.

2. İşlemsel kavram Hikayenin nasıl işleyebileceği. Tasarım yorumu.

3. Ekran çizimi: UI tasarımı. Nasıl göründüğü.

4. Selenyum Scriptleri. Senaryoların hepsi işe yararsa, sürüm serbest bırakılır.

5. Senaryo çalışana kadar kodlama ve test.

Otomatikleştirilmiş test, işlevselliğin var olduğunu kanıtlamanın tek yoludur.

Manuel testler hataya açıktır ve yönetimin geçersiz kılmaya tabi tutulması: “yeterince iyi, bu başarısız testler gerçekten bunu zamanında bırakmak kadar önemli değil.”

"Otomatik test olmadan herhangi bir program özelliği yoktur."

Görsel sunum başka bir hikaye. Görsel bir düzenin manuel olarak test edilmesi istisnai bir durumdur çünkü estetik yargılamayı veya çok geniş ve karmaşık bir ekran pikselinde belirli (küçük) meselelere bakmayı içerebilir.

Şu ana kadar görebildiğimiz ana yarar, özellikle platformumuzun birden fazla müşteri dağıtımında, regresyon testi için.

Regresyon testinizi otomatize etmek iyi bir şeydir. Bu, test uzmanlarınızı daha ilginç işler yapmak için özgürleştirir - bu daha otomatik testler eklemek, uygulamanızı stres testi veya başka pek çok şey için yapmaktır.

Ayrıca, otomatik hale getirerek geliştiricilerinizin testleri çalıştırmalarını ve böylece işlemin daha sonra keşfedilmesini önleme problemlerini önleyebilirsiniz.

Selenyum ve Telerik'e baktık ve çok daha esnek kayıt cihazı nedeniyle tercih edilen araç olarak sonuncusuna yerleştik

Ne kadarına baktığından emin değilim. Kesinlikle başka seçenekler de var. Eğer içine baktın mı Watir , WatiN , Sikuli birkaç isim?

ve biz gerçekten testçilerin çok fazla kod yazmasını istemiyoruz.

Bu senaryoları sürdürmek zorunda kalan insanlar için üzülüyorum. Çoğu zaman, kolayca değiştirilebilen kodlar olmadan, komut dosyaları kırılgan hale gelir ve komut dosyasını değiştirmek, yeniden kaydetmekten daha uzun sürer, bu da daha fazla zaman harcar.

Ancak, genel faydayı anlamaya çalışıyorum. İnsanların görüşleri nelerdir ve ne tür şeyler işe yarar ve ne işe yaramaz?

Test otomasyonu doğru yapıldığında çok güzel bir şeydir. Testçilerinize ellerinden gelenin en iyisini yapmaları için daha fazla zaman tanımaları için, regresyon testlerine / kontrollerine zaman kazandırır. Gümüş bir mermi olmasına rağmen bir anlığına inanmayın. Otomasyon komut dosyaları, uygulama zaten varsa, ancak testler gerektirmiyorsa ve geliştirme her sürümde sürekli güncelleme gerektiriyorsa, geliştirmek için önemli bir zaman gerekir. Otomatikleştirilmiş testler ayrıca ekipteki yeni kişilerin sistemin nasıl davranması gerektiğini görmesi için harika bir yoldur. Ayrıca, test edicilerinizin neyin otomatikleştirilmesi gerektiğine karar verdiklerinden emin olun. Kontrol etmesi gereken çok küçük bir çek varsa, çok monoton ve otomatikleştirmesi kolaysa, bununla başlayın. Her zaman otomasyonla en fazla kazanılan kontrollerle başlayın ve oradan çalışın.

Şu ana kadar görebildiğimiz ana yarar, özellikle platformumuzun birden fazla müşteri dağıtımında, regresyon testi için.

Bu temel avantajdır ve doğru kuruluysa, ihtiyacınız olan tarayıcıların çoğunu küçük bir yapılandırma değişikliği ile test edebilir.

Yapılması gereken doğru şey olduğunu "düşünüyoruz" ancak çoktan yoğun bir programda bazı ek bilgiler bekliyor.

Daha önce de belirttiğim gibi, test otomasyonu oldukça çaba sarf ediyor, ancak doğru yapıldığında, "Test otomasyonumuzu kurmamı dilerdim" diyen bir ekiple tanışmadım .

Haklısın, regresyon muazzam bir şey. Ayrıca -

• Eğer testleriniz modüler olarak yazılmışsa, test setlerini karıştırarak ve eşleştirerek paranın karşılığını daha iyi alabilirsiniz.

• Veri testi için otomatik test komut dosyalarını yeniden kullandık, böylece büyük boyutlu testler yapmak için bir veritabanını kullanmak zorunda kalmayacağız

• performans testi

• çoklu iplik testleri

• web sistemlerinde - tarayıcılar arasında geçiş yapmak ve işletim sistemleri arasında geçiş yapmak. Tarayıcı tutarlılığı sorunlarıyla, mümkün olduğunca geniş bir tabana vurmak çok büyük bir şey.

Atlanacak şeyler - özellikle web sistemlerinde, ekranınızın öğelerinin dinamik, değişen kimlikleriyle oluşturulduğu durumlara dikkat edin - genellikle otomatik test komut dosyaları bu işi iyi yapmaz ve bunu güncellemek için ciddi bir yeniden tasarım yapmanız gerekebilir.

Sadece bir örnek: web sayfası oluşturma süresinin doğru ölçülmesi

Otomasyon testlerini kullanarak, web tarayıcısının performansını test etmek çok daha kolaydır. Kabul etme ihtimaliniz olan maksimum yanıt süresini ölçmek için, sadece test komut dosyalarınıza bir sabit koyun ve / veya bir fonksiyon parametresi olarak geçirin, örneğin bu sözde kodda: $ sel-> wait_for_page_to_load ($ mypage, $ maxtime).

Düşük değerlere sahip tarayıcılar arası test yapmak oldukça aydınlatıcı olabilir.

Alternatif, çalışanların bir kronometre ile zamanlama ölçümü yapmalarını sağlamaktır.

Otomatik Kullanıcı Arabirimi Testi, aşağıdakileri yapmayı sağlar:

• çok sayıda bileşenin testini hızla tekrarlayın
• Her seferinde çok sayıda işlevi test etmeyi unutmayın.
• Uygulama büyüdükçe test paketlerinin çalıştırma ve çalıştırma zamanlarını karşılaştırın
• yüzlerce farklı girdi ve değişken koşullu kurulum
• Testi yazmayan kişilerin, çalıştırıp görsel sorunları görmelarını sağlama
• Son kullanıcıların uygulamayı hızlı ve kolay bir şekilde kullandıklarını görmesine izin ver
• sınama kullanıcı arabirimi çalıştırmalarını bir ağa, uzak sunucuya veya hizmete dağıtma
• paralel makineler kullanarak hacim testine başlayın.

Ancak, diğerlerinin de belirttiği gibi:

Telerik ...

çok daha esnek kayıt cihazı sayesinde tercih edilen araç

birçoğumuz için kırmızı bayrak.

Bu şekilde kaydedilen senaryolar uzun vadeli bir çözüm olma eğiliminde değildir, çünkü:

• veritabanı / nesne kimliği durumdan duruma değişme eğilimindedir
• elle kaydedilen komut dosyaları sıklıkla değişen sayfa düzeni etiketlerine dayanır
• yeniden kullanıma izin vermek yerine ortak eylemlerin tekrar tekrar yazılması gerekecektir (bkz. SitePrism ve PageObject yaklaşımı).
• bazen mevcut sayfa bilgisine dayanarak ek bilgiler almak için xpath gibi araçlar kullanmanız gerekir. Basit bir kaydedilmiş script bunu yapmaz.
• kod yazan geliştiriciler ve test yapanlar, daha sağlam ve sürdürülebilir testlere yol açacak uygulamalar olan CSS sınıflarını, kimlikleri ve HTML5 veri özniteliklerini kullanmaya teşvik edilmeyeceklerdir.

Telerik'in dikkate alınması gereken bazı avantajları var:

• mobil müşterilere yönelik
• büyümeyi yönetmek için yerleşik araçlar
• Android, iOS ve Windows Phone'u yönetiyor

Boşlukları kapatmaya yardımcı olabilecek bir yaklaşım, ilk sayfa komutunu araçlar sayfa kaydedicisini kullanarak kaydetmektir ancak daha sonra zaman içinde dayanacak şekilde kimliği, sınıfları ve veri özelliklerini kullanmak için betiği değiştirmektir . Bu aslında firefox selenium eklentisi ile kullandığım bir yaklaşım.

"Uzman Testini" ("Keşif testine" benzer) ancak son kullanıcılar veya ekip üyeleri tarafından büyük miktarda iş bilgisine sahip olanlar tarafından gerçekleştirilmesini) gerçekleştirmesini, sonuçlarını kaydetmesini, ölçmesini ve otomatikleştirmesini kolaylaştırır.

Buna farklı bir arka plandan geldim. Eski işverenimde ticari otomatik test araçları geliştirdik (QALoad, QARun, TestPartner, SilkTest, SilkPerfomer).

Otomatik UI testini iki rolü doldururken gördük:

1. Tam regresyon testi

2. Test ortamlarının otomatik kurulumu

Regresyon testlerini gece bazında yapmak için araçlara yoğun bir şekilde dayandık. UI ile işletme mantığı arasında hiçbir şey kırmadığımızı doğrulamak için tüm düğmeleri ve diyalogları test etme gücüne sahip değildik.

Daha önemli testler için, tek bir kişinin birkaç VM'yi döndürebildiğini ve gerçek bir test noktasına gelmek için komut dosyalarını kullanabileceğini gördük. Bu, önemli parçalara odaklanmalarına izin verdi ve 24 aşamalı bir test vakasını deneyip takip etmemelerini sağladı.

Otomatik testlerle ilgili tek sorun, yinelenen veya gereksiz testleri ortadan kaldırmak için herhangi bir denetim olmadan kutuya çok fazla test atma alışkanlığıydı. Her şimdi ve sonra oraya gidip işleri budamak zorunda kalacağız, böylece süit 12 saatten daha kısa sürede tamamlanabilirdi.

Her türlü otomatik sınama, regresyon sınamasını sağlar; Eskiden çalıştığı sınamayı çalıştırarak, başka ne eklemiş olursanız olun, hala çalıştığını (veya çalışmadığını) doğrularsınız. Bu, testin bir entegrasyon testi (genellikle kullanıcı arayüzüne dokunmayan) veya bir AAT (genellikle kullanıcı arayüzünü gerektiren ) olup olmadığına bakılmaksızın geçerlidir .

Otomatik kullanıcı arayüzü testi, kullanıcının düğmelere tıklıyormuş gibi test edilmesini sağlar. Bu tür testler, sistemdeki navigasyonu, etiketlerin ve / veya mesajların doğruluğunu, belirli bir test ortamında performans ve / veya yükleme sürelerini, vb. Doğrulamak için kullanılabilir. Temel hedef QA adamının düğmelere harcadığı zamanı azaltmaktır. programlayıcı için entegrasyon ve birim testleri gibi. Bir kez bir test ayarlayabilir (genellikle kendi fare tıklamalarını ve veri girişlerini bir komut dosyasına kaydederek) ve test düzgün bir şekilde çalıştığında, test edilen sistemin doğruluğunu tekrar doğrulamak için yapması gereken tüm işlemleri yapması gerekir. Selenyum gibi bazı çerçeveler, tarayıcılar arasında testlerin yapılmasına izin verir ve sitenin düzgün çalışması gereken çeşitli ortamların test edilmesini sağlar.

Otomatik testler olmadan, QA test cihazlarınızın sayısı ve hızı ile sınırlandırılmış olursunuz; kelimenin tam anlamıyla sisteme uygulamalılar, yeni özelliğinizin gereksinimleri karşılayıp karşılamadığını (ve en önemlisi) zaten orada olan hiçbir şeyi bozmadığınızı test etmek zorundalar.

Test yapmak birçok farklı şeyi belirler. Bu testlerin birçoğu, angaryanın kaldırılmasını sağlamak ve daha fazlasını yapmak için otomatikleştirilebilir. Testlerinizin otomatikleştirilip gerçekleştirilemeyeceğini belirlemek için önce sordukları sorunun bunun için uygun olup olmadığını görmeniz gerekir.

• Bir bileşenin teknik özelliklere göre çalışıp çalışmadığını belirliyor musunuz?
• Farklı tüm olası giriş ve çıkışları test etmek ister misiniz?
• stres bileşeni test?
• Yoksa "işe yaradığını" test etmeye mi çalışıyorsun?

Bunların çoğu otomatik olabilir çünkü doğada mekaniktirler. Yeni fonksiyon girişleri kabul eder, bu yüzden rastgele verileri attığımızda ne olur? Ancak bazıları, sistemin çalışıp çalışmadığını test etmek gibi birisinin gerçekten kullanmasını gerektirir . Olmazlarsa, kullanıcılarınızın beklentilerinin programla aynı olup olmadığını asla bilemezsiniz. Bu kadar, sistem 'kırılır'.

Tecrübelerime göre, otomatik kullanıcı arayüzü testi aşağıdakiler dahil birçok boşluğu kapsamaktadır:

• Dokümantasyon eksikliği (örnek: mevcut işlevselliğin tanıtılması için otomatik test çalıştırıcısının kullanılması)
• Kapsamın sürünmesi nedeniyle eski gereklilikler (örnek: test çalışmaları sırasında ekranı yakalayarak gereksinimler ve kod arasındaki boşluğu belirlemek)
• Geliştiricilerin ve test edicilerin yüksek cirosu (örnek: test araçları sırasında ekran açılarak mühendislik aracı JavaScript açıkken ters mühendislik eski JavaScript'i)
• XPath regresyon testleri ile standart adlandırma kurallarının ihlal edildiğini belirleme (örneğin: tüm DOM özellik düğümlerini deve harfli adlar için arama)
• Yalnızca bir bilgisayarın bulabileceği güvenlik açıklarını tanıma (örneğin: aynı anda diğerine bir form gönderirken bir sekmeden çıkış yapın)

Ekibimizin tecrübesini paylaşmak istiyorum. Kendimizi ve müşterilerimizin web uygulamalarını test etmek için kendi UI test aracımızı, Screenster'i kullanıyoruz. Görsel / CSS testleri için Selenium'a yardımcı bir alternatif olduğunu kanıtlamıştır . Screenster, web sayfalarınızın farklı sürümlerinin ekran görüntüsüne dayalı karşılaştırmasını yapan bir test otomasyon aracıdır . Öncelikle, her kullanıcı işlemi için ekran görüntüsü alarak bir sayfa için görsel bir taban çizgisi oluşturur. Bir sonraki çalıştırma sırasında, her adımda yeni bir ekran görüntüsü alır, bunu başlangıçtaki ile karşılaştırır ve farklılıkları vurgular.

Özetle, Screenster aşağıdaki avantajlara sahiptir: Görsel taban: Test kaydı sırasında her kullanıcı için ekran görüntüleri yakalanır Ekran görüntüsü tabanlı karşılaştırma: Ekran sunucusu, oynatma sırasında yakalanan görüntüleri taban çizgisinden olanlarla karşılaştırır ve tüm farkları vurgular Smart CSS seçicileri: test cihazı seçebilir Ekranlardaki CSS öğeleri ve onlarla eylemler gerçekleştirin - örneğin, daha fazla karşılaştırmanın dışında tutacağı bölgeleri yoksayma olarak işaretle