Defining a test automation system for mobile apps

107 Pages·2014·1.23 MB·English

Faculdade de Engenharia da Universidade do Porto
Defining a test automation system for
mobile apps
Renato Rodrigues
MestradoIntegradoemEngenhariaInformáticaeComputação
Supervisor: Prof. Dr. RuiMaranhão
Co-Supervisor: MEng. JoséCampos
July10,2014

Defining a test automation system for mobile apps
Renato Rodrigues
Mestrado Integrado em Engenharia Informática e Computação
Approved in oral examination by the committee:
Chair: Prof. Dr. MagalhãesCruz
ExternalExaminer: Prof. Dr. JoséMariaFernandes
Supervisor: Prof. Dr. RuiMaranhão
July10,2014

Abstract
Mobiledeviceslikesmartphonesandtabletsareeverywhere. Weareinanerawherecom-
putersarebeingsurpassedbythesedevices. Theirportabilityandavailability,compared
to desktop and laptop computers, are seen as an advantage making their over-use more
likely. Smartphones have become a central social, communication and information tool
formanypeople. Statisticsshowthat,infact,peoplechecktheirphones150timesaday.
This wide range of devices with different operating systems results in thousands of
differentconfigurations. Ifacompanywantstoreach95%oftheactivemobilemarket,it
hastosupportmorethan300differentdevices. Thisimmensediversityofdevicesiswhat
iscalledbyfragmentation,anever-growingnightmare,notonlyfordevelopersaswellfor
end-users.
Suchproliferationofmobiledevicesraisesabigengineeringproblem. Howtomake
sureanapplicationwillcorrectlyworkonmostmobiledevicesinthemarket?
Althoughthewebautomationtoolsareverymaturenowadays,themobileecosystem
stillhasalongwaytogo. Asthesoftwarerunningonmobiledevicesbecomesmoreand
more powerful and complex, the testing of these mobile applications poses great chal-
lenges for mobile application vendors. The purpose is very clear—create a continuous
delivery solution with extensive tests, if possibly with tests on real devices. With func-
tional testing in mind, one can test applications against the requirements specifications
and hence validate them. But manual testing is out of question because it is expensive,
slowandrequireserror-pronehumanworkforce. Moreover,testingtranslatesintorepeti-
tivetasksandsuchrepetitionisbest-suitedforcomputers. Mobiletestautomationframe-
works arise as a viable solution to the problem in hands. These tools, if used on real
devices and in an environment as close as possible to production, can give an elevated
degreeofconfidence. Cloud-basedtestingservicesdoexistandprovideautomatedtest-
ing functionalities but cloud computing is yet a risk that most companies do not want
to take. Security vulnerabilities, privacy concerns and possible outages and downtimes
preventcompaniesfromadoptingthesemodernarchitectures.
This dissertation encompasses two goals: first, the optimization and refactoring of a
continuous integration solution to achieve a continuous delivery solution, and, second,
thedesignandimplementationofafullsystemofautomationtestingthatcanbeusedto
runtestsacrossmultiplephysicalmobiledevices. Aprocessthatlivesalongwithcontinu-
ousintegrationpracticesandcontinuouslydrivestestsonseveralphysicalmobiledevices
cangreatlydecreasethedeliverycycleofacompany.
Thefinalsolutionwasarobustdeploymentpipelineonanenvironmentofcontinuous
deliverywiththeinclusionofanprocessofautomatedacceptancetestsbeingexecutedin
arangeofphysicaldevices.
i
ii
Resumo
Dispositivosmóveiscomo e estãoemtodoolado. Vivemosnumaaltura
smartphones tablets
emqueoscomputadoresestãoaserultrapassadosporestesdispositvos. Asuaportabili-
dadeedisponibilidade,emcomparaçãocomadoscomputadoresdesecretáriaeportáteis,
sãovistoscomoumavantagemtornandomaisprováveloseuusoprolongado. Os
smart-
tornaram-seferramentasdecomunicaçãosocialedeinformaçãoparamuitaspes-
phones
soas. Estatísticasmostramqueosutilizadoresconsultamoseutelefonemaisde150vezes
pordia.
Esta grande gama de dispositvos com diferentes sistemas operativos resulta em mil-
hares de configurações diferentes. Se uma empresa pretender atingir 95% do mercado
móvel activo, tem de suportar mais de 300 dispositivos diferentes. Este imensa diversi-
dadededispositivosresultanaquiloaquesechamadefragmentação,umpesadelocada
vezmaior,nãosóparaosprogramadores,bemcomoparaosutilizadoresfinais.
Tamanhaproliferaçãodedispositivosmóveislevantaumgrandeproblemadeengen-
haria. Comocertificarqueumaaplicaçãoiráfuncionarcorretamentenamaioriadosdis-
positivosnomercado?
Emboraasferramentasdeautomatização estejambastantesmadurashojeemdia,
web
o ecossistemamóvel aindatem um longocaminho apercorrer. À medidaque o
software
executado nestes dispositivos móveis se torna mais e mais poderoso e complexo, o teste
destasaplicaçõesmóveisapresentagrandesdesafiosparaosfornecedoresdeaplicações.
O objectivo é muito claro—criar uma solução de com testes extensos
continuous delivery
e,sepossível,comtestesemdispositivosfísicos. Comtestesfuncionaisemmente,pode-
se testar aplicações contra especificações de requisitos e, assim, validá-las. Mas testes
manuais estão fora de questão porque são caros, lentos e exigem mão-de-obra passível
de erro humano. Além disso, testes traduzem-se em tarefas repetitivas e tal repetição é
maisadequadaparacomputadores. Ferramentasdeautomatizaçãomóvelsurgemassim
comoumasoluçãoviávelparaoproblemaemmãos. Estasferramentas,seusadasemdis-
positvosreaisenumambienteomaispróximopossíveldodeprodução,podemconferir
um grau elevado de confiança. Existem serviços de testes na que fornecem fun-
cloud
cionalidadesdeautomatizaçãodetestesmas éaindaumriscoquemuitas
cloudcomputing
empresasnãoqueremtomar. Vunerabilidadesdesegurança,problemasdeprivacidadee
apossibilidadedeinterrupçõesefalhasnoserviçoimpedemasempresasdeadotarestes
modelosmaisrecentes.
Estadissertaçãoabrangedoisobjectivos: primeiro,aoptimizaçãodeumasoluçãode
integração contínua com vista a obter uma solução de e, segundo, o
continuous delivery
desenho e implementação de um sistema completo para a automatização de testes em
múltiplos dispositivos móveis. Um processo que, usado em conjunto com práticas de
integraçãocontínua,executatestesemváriosdispositivosmóveispodereduzirdrastica-
menteosciclosdeprodução.
iii
Asoluçãofinaléumafiladeprodução( )inteiramenteautomatizada
deploymentpipeline
numambientede comainclusãodeumprocessocomtestesautoma-
continuousdelivery
tizadosdeaceitaçãoexecutadosnumconjuntodedispositivosfísicos.
iv
Acknowledgments
Thisdissertationrepresentsthefinalmilestoneofalaboriousbutmarvelousjourneywith
fiveyears. Throughouttheseyears,IhavelearnedsomuchandIhadthechancetoknow
remarkableindividuals. Iwouldliketothankmanypeoplewhohavehelpedmethrough
thecompletionofthisdissertation.
First and foremost, I would like to express my gratitude to my supervisor, Prof. Dr.
Rui Maranhão, whose expertise, knowledge and patience were essential for my success
onwritingthisdissertation. Iwouldliketothankmyco-supervisor,JoséCampos,forthe
tirelesssupportandpatience. Yourthoroughlyfeedbackwasextremelyhelpful.
AveryspecialthanksgotoMauroMartins,myproponentandmentoratBlip,whose
motivationandencouragementwereessentialtokeepmepushingmylimits. Heprovided
me with direction, technical support and became more of a friend, than a proponent. I
mustalsoacknowledgemyworkmates: LuísRomaPires,TiagoCorreia,JoãoSilva,Fábio
Rocha, Pedro Baltarejo, Meik Schutz, Andreia Santos, Daniela Dias, Pedro Pimenta, Rui
Pereira,FábioAlmeida,CarlosSantos,JoãoDavid,RicardoMateus,DianaBarbosa,David
Matellano, SaraVilaça, GonçaloAlvarez, ÁlvaroMonteiro, RicardoVieira, JoãoPrudên-
cioandRuiTeixeira. Irecognizethesupportofallyou. Thankyouforshowingmesuch
professionalismandpatiencewithme. Besidesthem,asincerethankstoeverybodyelse
atBlipthatsomehowIinteractedwith.
I must also thank the Group Buddies guys: Luís Zamith, Miguel Palhas and Bruno
Azevedo. Your skills and knowledge were truly valuable. Together, we created a great
solution.
I thank all my friends for all the support, patience and encouragement. There is no
need to discriminate anyone. The culprits know well to whom I speak. A very special
thanksgoestoafriendwhopassedaway. Iamgratefulforeverysinglemomentand,in
part,youmademethemanIam.
Last but not least, I would like to thank my family for all the support they provided
me.
RenatoRodrigues
v
vi