Constructing Covering Arrays - RiuNet

181 Pages·2012·1.79 MB·English

Using Parallel and Grid Computing
PhD Thesis
ADVISORS:
Jose´ Torres Jime´nez
Vicente Herna´ndez Garc´ıa

Abstract
Agoodstrategytotestasoftwarecomponentinvolvesthegenerationofthewhole
set of cases that participate in its operation. While testing only individual values
may not be enough, exhaustive testing of all possible combinations is not always
feasible. An alternative technique to accomplish this goal is called combinato-
rial testing. Combinatorial testing is a method that can reduce cost and increase
the effectiveness of software testing for many applications. It is based on con-
structing functional test-suites of economical size, which provide coverage of the
most prevalent configurations. Covering arrays are combinatorial objects, that
have been applied to do functional tests of software components. The use of cov-
ering arrays allows to test all the interactions, of a given size, among the input
parameters using the minimum number of test cases.
For software testing, the fundamental problem is finding a covering array with
the minimum possible number of rows, thus reducing the number of tests, the
cost, and the time expended on the software testing process. Because of the
importance of the construction of (near) optimal covering arrays, much research
hasbeencarriedoutindevelopingeffectivemethodsforconstructingthem. There
are severalreportedmethods for constructing these combinatorialmodels, among
them are: (1) algebraic methods, recursive methods, (3) greedy methods, and (4)
metaheuristics methods.
Metaheuristic methods, particularly through the application of simulated anneal-
inghas providedthe mostaccurateresults in severalinstances to date. Simulated
annealingalgorithmis a general-purposestochastic optimizationmethodthat has
provedtobeaneffectivetoolforapproximatinggloballyoptimalsolutionstomany
optimizationproblems. However,oneofthemajordrawbacksofthesimulatedan-
nealing is the time it requires to obtain good solutions.
In this thesis, we propose the development of an improved simulated annealing
algorithm for constructing covering arrays of strength t >= 2 for their use in
software interaction testing. In addition, we propose the use of Grid computing
and Supercomputing to address the large amount of computing time necessary to
obtain near-optimal covering arrays.
I
II
Resumen
Una buena estrateg´ıa para probar un componente de software, implica la genera-
ci´on de todo el conjunto de casos que participan en su funcionamiento. Mientras
que probars´olo algunos valores puede no ser suficiente, hacer una prueba exhaus-
tiva de todas las combinaciones no siempre es factible. Una t´ecnica alternativa
para lograr este objetivo es conocida como combinatorial testing. Combinatorial
testing es un m´etodo que puede reducir los costos e incrementar la eficacia de
las pruebas de software para muchas aplicaciones. Se basa en la construccio´n de
pequen˜os casos de prueba funcionales, que proporcionan la cobertura de las con-
figuraciones m´as comunes. Los covering arrays son objetos combinatorios, que
han sido aplicados para realizarpruebas funcionales en diversas´areas,entre ellas,
las pruebas de componentes de software. El uso de los covering arrays permite
probar todas las interacciones, de un determinado taman˜o, entre los para´metros
de entrada, utilizando el menor nu´mero de casos de prueba posible.
Para las pruebas de software, el problema fundamental es encontrar un covering
array con el m´ınimo nu´mero de renglones posible, lo que reducir´ıa: el nu´mero
de pruebas, el costo y el tiempo empleado en el proceso de pruebas de software.
Debido a la importancia de la construccio´n de covering arrays ´optimos o cuasi-
´optimos, se ha llevado a cabo mucha investigaci´on sobre el desarrollo de m´etodos
eficaces para construirlos. Hay varios m´etodos reportados para la construccio´n
de estos modelos combinatorios, entre ellos esta´n: (1) m´etodos algebraicos, (2)
m´etodos recursivos, (3) algoritmos voraces, y (4) algoritmos aproximados (meta-
heur´ısticas).
Los m´etodos basados en metaheur´ısticas, especialmente los basados en simulated
annealinghanproporcionadolosresultadosm´asprecisosenvariasocasioneshasta
la fecha. El simulated annealing es un m´etodo de optimizaci´on estoca´stica de
propo´sitogeneralque ha demostradoseruna herramientaeficaz pararesolveruna
amplia gama de problemas de optimizaci´on combinatoria. Sin embargo, uno de
los mayoresinconvenientes del simulated annealing es el tiempo que requiere para
obtener soluciones ´optimas o cercanas a lo ´optimo.
III
Enestatesis,seproponeeldesarrollodeunalgoritmodesimulated annealingpara
la construccio´n de covering arrays de fuerza t >= 2, para aplicarlos al desarrollo
depruebasfuncionalesdecomponentesdesoftware. Adem´as,seproponeelusode
las tecnolog´ıas de Grid Computing y Supercomputing para hacer frente a la gran
cantidadde tiempo que requiereel algoritmode simulated annealing para obtener
covering arrays ´optimos o cercanos al ´optimo.
IV
Resum
Una bona estrat`egia per a provar un component de programari, implica la gen-
eracio´ de tot el conjunt de casos que participen en el seu funcionament. Mentre
que provar nom´es alguns valors pot no ser suficient, fer una prova exhaustiva
de totes les combinacions no sempre ´es factible. Una t`ecnica alternativa per a
aconseguiraquestobjectiu´esconegudacomcombinatorialtesting. Combinatorial
testing´esunm`etodequepotreduirelscostosiincrementarl’efica`ciadelesproves
de programariper a moltes aplicacions. Es basa en la construccio´ de petits casos
de prova funcionals, que proporcionen la cobertura de les configuracions m´es co-
munes. Elscoveringarrayss´onobjectescombinatoris,quehansigutaplicatspera
realitzar proves funcionals en diverses `arees, entre elles, les proves de components
de programari. L’u´s dels covering arrays permet provar totes les interaccions,
d’una determinada grand`aria, entre els para`metres d’entrada, utilitzant el menor
nombre de casos de prova possible.
Per a les proves de programari, el problema fonamental ´es trobar un covering ar-
ray amb el m´ınim nombre de l´ınies possible, la qual cosa reduiria: el nombre de
proves, el cost i el temps emprat en el proc´es de proves de programari. A causa
de la importa`ncia de la construccio´de coveringarrays`optims o cuasi-`optims,s’ha
dutatermemoltainvestigaci´osobreeldesenvolupamentdem`etodeseficac¸ospera
construir-los. Hihadiversosm`etodesreportatsperalaconstruccio´d’aquestsmod-
els combinatoris, entre ells estan: (1) m`etodes algebraics, (2) m`etodes recursivos,
(3) algorismes vorac¸os,i (4) algorismes aproximats (metaheur´ısticas).
Els m`etodes basats en metaheur´ısticas, especialment els basats en simulated an-
nealing han proporcionat els resultats m´es precisos en diverses ocasions fins avui.
Elsimulatedannealing´esunm`etoded’optimitzaci´oestoca`sticadepropo`sitgeneral
que ha demostrat ser una eina eficac¸ per a resoldre una `amplia gamma de prob-
lemes d’optimitzaci´o combinat`oria. No obstant ac¸o`, un dels majors inconvenients
del simulated annealing´es el temps que requereix per a obtenir solucions `optimes
o properes a l’o`ptim.
En aquesta tesi, es proposa el desenvolupament d’un algorisme de simulated an-
nealing per a la construccio´ de covering arrays de for¸ca t >= 2, per a aplicar-los
V
aldesenvolupamentde provesfuncionalsde componentsdeprogramari. Am´es,es
proposal’u´sdelestecnologiesdeGridComputingiSupercomputingperaferfront
a la granquantitat de temps que requereixl’algorismede simulatedannealingper
a obtenir covering arrays `optims o propers a l’o`ptim.
VI
Acknowledgments
This dissertation would not have been possible without the help of many people
which is my pleasure to thank them.
I amindebted to my advisorsVicente Hern´andez Garc´ıaand Jos´eTorres Jim´enez
for their insight and guidance. They have been a continual source of support and
encouragementand have provided me with insights from differing points of view.
I would also like to thank the members of the examination committee, Francisco
MiguelCastej´onMagan˜a,VioletaMigall´onGomis,EduardoHuedoCuesta,Isabel
CamposPlasencia,Jos´eIgnacioAliagaEstell´esandAlfonsoNin˜oRamos,fortheir
feedback and suggestions on this thesis.
I would also like to thank Ignacio Blanquer Espert and all the members of the
Research Group (GRyCAP) who helped me during my work.
I offer my regards to all those who supported me in any way in preparing this
dissertations, especially, to all my friends at CINVESTAV-Tamaulipas M´exico.
I would like to thank the Consejo Nacional de Ciencia y Tecnologia (CONACyT-
M´exico) for the financial support provided to carry out this PhD study.
Last but not least, I am grateful to my wife, Brenda, for believing in me and for
hercontinuousloveandsupportthroughoutthis journey. She is my soulmate and
makes every day a little brighter.
July, 2012.
Himer Avila-George
[email protected]
VII