Quality Assurance in Agile Distributed Software Teams

108 Pages·2016·5.88 MB·English

Quality Assurance in Agile Distributed
Software Teams
Goal/Question/Metric Application in Agile Globally Dis-
tributed Software Development Teams
G.H. Kuijer
e
c
n
e
ci
S
r
e
t
u
p
m
o
C
y
t
ul
c
a
F

Q A A
UALITY SSURANCE IN GILE
D S T
ISTRIBUTED OFTWARE EAMS
GOAL/QUESTION/METRIC APPLICATION IN AGILE GLOBALLY
DISTRIBUTED SOFTWARE DEVELOPMENT TEAMS
by
G.H.Kuijer
inpartialfulfillmentoftherequirementsforthedegreeof
MasterofScience
inComputerScience
specialisationInformationArchitecture
attheDelftUniversityofTechnology,
TobedefendedonJune14,2016at1.00PM.
Studentnumber: 4094107
Projectduration: July1,2015–June14,2016
Supervisor: Prof.dr.ir.R.vanSolingen
Thesiscommittee: Prof.dr.ir.G.J.P.M.Houben(TUDelft)
Prof.dr.ir.R.vanSolingen(TUDelft)
T.Hurkmans(ExactSoftware)

P
REFACE
Thisreportiswrittenaspartofthegraduationofmasterofscienceincomputerscience,informationarchi-
tecture,attheDelftuniversityoftechnology,theNetherlands.
IstartedthisresearchwhenanopportunitypresenteditselfforacasestudyinMauritius. Itwasnotthe
tripabroadwhatinterestedmebutthecasetoliftateamtoahigherlevelofsoftwarequality. Duringmy
researchIgotmoreinterestedinsoftwarequalityassurance.EspeciallybecauseInoticedthatonmanyofthe
developer’sprioritylists,ithasalowpriority. Softwarequalityassuranceisoftenobservedasanobligation
insteadofahandytool.MytruemotivationforthisresearchwastoseeifIcouldchangethis.
Inthisresearchthechallengewastodevelopanewapproachforqualityassurancewithinagiledistributed
developmentenvironments. Theresearchwasstartedasfollow-upofseveralinterviewsperformedwithex-
pertsintheareaofsoftwaredevelopmentinwhichtheopportunitiesinthefieldwereobserved.
Theresearchpresentedinthisreportcanbeofvalueforallsoftwaredevelopmentengineers,withorwith-
outexpertiseinqualityengineering. Theresearchmightparticularlyberelevantifsearchingforstructured
approachesforimprovingsoftwareprocessesorproducts. Nexttothesespecificgroups,anyonewhoisin-
terestedinsoftwarequality(assurance),agile(distributed)approachesorthechallengesinthese,canobtain
relevantandinterestinginformationfromthisreport.
FortheguidanceIexperiencedduringmythesisIwouldliketothankRinivanSolingen,mymentorat
theUniversityandToineHurkmans, whoactedasmentoratExactSoftware. Iwouldfurtherliketothank
ExactSoftwarefortheopportunityofconductingacasestudyandinspecialtheTitan,ResearchandSystem
teamfortheircooperation. FurtherthanksgoestoSanderKrugerandGlobalEdgeSoftwarewhoofferedthe
opportunityforperformingtheorientatingcasestudy.
G.H.Kuijer
Delft,May2016
iii

C
ONTENTS
1 Introduction 1
2 TheoreticalBackground 3
2.1 SearchStrategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1.1 KeyTermsandSynonyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1.2 StudySelectionCriteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1.3 PerformedSearch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2.1 Whatarecurrentapproachestowardssoftwarequalityassuranceproveninpractice? . . . 4
2.2.2 Whichchallengesandproblemsarepresentinsoftwarequalityassuranceincollocated
andgloballydistributedagilesoftwaredevelopment? . . . . . . . . . . . . . . . . . . . 5
2.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 CaseStudyProtocol 9
3.1 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2 Questions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.3 Propositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4 Unitsofanalysis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.5 DataCollection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.6 DataAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.7 Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.8 Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.9 Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4 TitanTeam 13
4.1 Iteration1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.1.1 QuestionsandMetricsDetermination. . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.1.2 MetricandVisualizationImplementation . . . . . . . . . . . . . . . . . . . . . . . . . 13
4.1.3 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4.1.4 TeamFeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.1.5 Improvements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.1.6 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5 ResearchTeam 29
5.1 Iteration1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1.1 QuestionsandMetricsDetermination. . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1.2 MetricandVisualizationImplementation . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1.3 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.1.4 TeamFeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.5 Improvements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1.6 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Iteration2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.1 QuestionsandMetricsDetermination. . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.2 Metricandvisualizationimplementation . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.3 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5.2.4 TeamFeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.2.5 Improvements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2.6 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
v
vi CONTENTS
5.3 Iteration3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3.1 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3.2 ResultsRetrospective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.3.3 Improvements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.3.4 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6 SystemTeam 47
6.1 Iteration1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.1 QuestionsandMetricsDetermination. . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.2 MetricandVisualizationImplementation . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.3 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.4 TeamFeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.1.5 Improvements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.1.6 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
6.2 Iteration2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.2.1 QuestionsandMetricsDetermination. . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.2.2 Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6.2.3 ResultsRetrospective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6.2.4 ObservationsoftheIteration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
7 AgileGQM:TheEmergedApproach 55
7.1 QualityGoals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
7.2 Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
7.3 MetricsImplementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
7.4 Measurements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
7.5 Retrospective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
8 Discussion 59
8.1 ExactCaseStudyResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.2 Whatarethechallengesinqualityassuranceinagloballydistributedagilehighorganisational
maturitylevelcompany? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
8.3 Howcanthechallengesofsoftwarequalityassurancebesolvedinagloballydistributedagile
highorganisationalmaturitylevelcompany? . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
8.4 BroaderApplicationofAgileGQM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
9 Conclusion 63
9.1 Whatarecurrentapproachestowardssoftwarequalityassuranceproveninpractice? . . . . . . 63
9.2 Which challenges and problems are present in software quality assurance in collocated and
globallydistributedagilesoftwaredevelopment? . . . . . . . . . . . . . . . . . . . . . . . . . 64
9.3 Whatarethechallengesinqualityassuranceinagloballydistributedagilehighorganisational
maturitylevelcompany? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
9.4 Howcanthechallengesofsoftwarequalityassurancebesolvedinagloballydistributedagile
highorganisationalmaturitylevelcompany? . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
9.5 Howcanthechallengesandproblems,thatariseinsoftwarequalityassuranceatsoftwarede-
velopmentthatisperformedinanagilegloballydistributedsetting,besolved? . . . . . . . . . 66
9.6 FutureWork. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
10LessonsLearned 69
10.1 Measuringinpractice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
10.2 WorkingatExact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
10.3 ACaseStudyAbroad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
A ExploratoryCaseStudy 71
A.1 ProjectUnify . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
A.1.1 InitialProjectProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
A.1.2 AnalysisofInitialProcess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
A.1.3 UnifySoftwareQuality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
A.1.4 UnifySoftwareQualityAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
A.1.5 PlannedChanges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
CONTENTS vii
A.1.6 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
A.1.7 Experiences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
A.1.8 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
B PerformedSearches 77
C Goal1:MetricSummary 79
D FullAnalysis 81
D.1 TeamTitanIteration1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
D.1.1 Whatinfluencestheaccuracyofestimationofstoryduration?. . . . . . . . . . . . . . . 81
D.1.2 Whatfactorsinfluencethevariationindurationofastorywiththesameamountofstory
points?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
D.2 ResearchTeamIteration1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
D.2.1 Whatinfluencestheaccuracyofestimationofstoryduration?. . . . . . . . . . . . . . . 88
D.2.2 Whatfactorsinfluencethevariationindurationofastorywiththesameamountofstory
points?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Bibliography 95