an accuracy study on earned value management extensions using monte carlo simulation

115 Pages·2011·4.83 MB·English

UNIVERSITEIT GENT
FACULTEIT ECONOMIE EN BEDRIJFSKUNDE
ACADEMIEJAAR 2010 - 2011
AN ACCURACY STUDY ON EARNED
VALUE MANAGEMENT EXTENSIONS
USING MONTE CARLO SIMULATION
Masterproef voorgedragen tot het bekomen van de graad van
Master in de Toegepaste Economische Wetenschappen: Handelsingenieur
Evelyn De Blieck en Ellen De Groote
onder leiding van
Prof. dr. Mario Vanhoucke

UNIVERSITEIT GENT
FACULTEIT ECONOMIE EN BEDRIJFSKUNDE
ACADEMIEJAAR 2010 - 2011
AN ACCURACY STUDY ON EARNED
VALUE MANAGEMENT EXTENSIONS
USING MONTE CARLO SIMULATION
Masterproef voorgedragen tot het bekomen van de graad van
Master in de Toegepaste Economische Wetenschappen: Handelsingenieur
Evelyn De Blieck en Ellen De Groote
onder leiding van
Prof. dr. Mario Vanhoucke
Permission
‘Theauthorsgivetheauthorizationtomakethisthesisavailableforconsultationand
to copy parts of it for personal use. Any other use is subject to the limitations of
copyright, in particular with regard to the obligation to explicitly mention the source
when quoting results from this thesis.’
Evelyn De Blieck Ellen De Groote
Abstract
Tijdensdeuitvoeringvaneenprojectheeftdeprojectleidertweeultiemedoelen: kost
enduurtijdvanhetprojectcontrolerenenbinnenaanvaardbaregrenzenhouden. Om
deze doelstellingen te halen, kan hij gebruik maken van Earned Value Management
(EVM). EVM systemen voorzien de projectleider van cruciale informatie betreffende
devooruitgangvanhetproject,zowelopvlakvantijdalsopvlakvankost. Bovendien
voorziet EVM de projectleider van vroegtijdige signalen die hem waarschuwen indien
de succesvolle uitvoering van het project bedreigd zou worden. In deze situatie kan
deprojectleidercorrigerendeactiesondernemenomhetprojectopnieuwophetjuiste
pad te helpen. De letterlijke vertaling van Earned Value zou verworven waarde zijn.
Tijdens de uitvoering van het project wordt steeds meer waarde verworven. Deze
verworven waarde wordt berekend op basis van het percentueel aandeel van het ge-
plandewerkdataluitgevoerdwerd. EVMisbijzonderomdathet,integenstellingtot
andere technieken, zowel de geplande als de re¨ele kosten vergelijkt met de verworven
waarde. EVMwordttijdensdeprojectuitvoeringookgebruiktbijhetvoorspellenvan
de uiteindelijke kost en de finale duurtijd.
Indezethesiswordtonderzoekgedaannaardewaardevanenkeleuitbreidingenen
vernieuwingen op het traditionele EVM, voorgesteld door Dr. Mihaly G¨or¨og in haar
verhandeling ‘A comprehensive model for planning and controlling contractor cash
flow’ [17]. In deze verhandeling voert G¨or¨og een pleidooi voor de incorporatie van
cashflows in EVM. Hiervoor stelt ze een model op dat tot op heden nog niet getest is
op zijn waarde. Het is dan ook het doel van deze thesis om de voorgestelde methode
aan een grondige analyse te onderwerpen en kritisch te oordelen over de waarde die
de methode levert voor een projectleider.
Nadat in het eerste deel van de thesis een beknopt overzicht wordt gegeven van
detraditioneleEVMmethode, wordthetmodelvanG¨or¨ogge¨ıntroduceerdvanuithet
standpunt van de projectaannemer.
Het model brengt heel wat nieuwe definities en formules met zich mee. Een eerste
doelstelling was dan ook grondig inzicht te verkrijgen in het Contractor Cash Flow
(CCF) model. Om dit te bereiken werden alle vooropgestelde maatstaven en indica-
toren beknopt uitgelegd en verduidelijkt met een alomvattend voorbeeld. Hierdoor
krijgt ook de lezer de kans om zich in te werken in de nieuwe materie. Bovendien
werd de CFF methode grondig vergeleken met de traditionele EVM methode, wat
enkele interessante inzichten omtrent de gelijkenissen en verschillen hielp verwerven.
Op die manier werd het mogelijk om duidelijkheid te scheppen over op welke punten
het nieuwe model toegevoegde waarde kan leveren.
Voor het verder onderzoek van deze waardevolle componenten werd in het derde
deel van de thesis een simulatiestudie opgezet, die het mogelijk maakte een breed
gamma realistische scenario’s te creren waar een projectmanager mee geconfronteerd
zou kunnen worden. Dit liet toe het effect van verscheidene parameters op het CCF
modelgrondigteonderzoeken. Devoordezestudiegebruiktemethodewordtgrondig
uiteengezet en al zijn componenten worden besproken. Een van de elementen uit het
model die naar onze mening toegevoegde waarde kon leveren is de voorspeller voor
marge. Aandehandvandezesimulatiewerdhetmogelijkomdenauwkeurigheidvan
deze voorspeller te testen in verschillende gecontroleerde situaties. In een eerste fase
werden zowel de invloed van netwerkstructuur, variabiliteit in duurtijd van de pro-
jectactiviteiten en stadium van voltooiing getest. Vervolgens werd de impact van het
margesysteem geanalyseerd. In een derde fase werd onderzocht of het mogelijk is om
de nauwkeurigheid van de voorgestelde methode voor het voorspellen van marge met
reeds bestaande methodes te vergelijken. Deze vraag is cruciaal voor dit onderzoek
omdathettoelaattebepalenoferinderdaadsprakeisvaneengroterenauwkeurigheid
en dus extra waarde. Er werd nagegaan hoe een projectleider marge zou voorspellen
v´o´ordeintroductievanhetCCFmodel,enookopdezemethodewerdendesimulaties
uitgevoerd. Hierdoor werd het mogelijk oude en nieuwe werkwijze voor het voorspel-
len van marge grondig met elkaar te vergelijken.
Tot slot wordt een overzicht gegeven van de belangrijkste conclusies van dit on-
derzoek. Hieruit kon de waarde van het nieuwe model voor de aannemer afgeleid
worden en konden aanbevelingen gedaan worden met betrekking tot het gebruik van
deze nieuwe methode.
Preface
As students Business Engineering, we were first introduced to Earned Value Man-
agement during the course ‘Project Management’, instructed by prof. Dr. Mario
Vanhoucke. His enthusiasm and apparent belief in the usefulness of this system ex-
cited our interest in the subject. When he mentioned that an article was recently
published, presenting an intriguing yet unproven innovation to traditional Earned
Value Management, we accepted the challenge to thoroughly investigate this new
technique. This novelty was proposed by Dr. Mihaly G¨or¨og in her paper ‘A compre-
hensive model for planning and controlling contractor cash flow’ [17].
The document that lies before you is the result of hard work, lots of fun and the
valuable contributions of a few people we therefore would like to thank.
First and foremost, we would like to express our gratitude to our promoter, prof.
Dr. MarioVanhoucke,forhisoptimism,opendoorandthemanyinsightsheprovided
for this master thesis. We appreciate the opportunity he offered us to be part of and
lectureattheEarnedValueAnalysisconferenceinNovember2010. Notonlydidthis
provide us with the ambition to obtain and present our first results, above all, it was
an amazing opportunity to get in touch with experts in the field of Earned Value
Management and to be able to exchange ideas. Thank you, Mario!
Wewouldalsoliketothankourparentsfortheirunconditionalfaithinthesuccess
ofourwork,theencouragingphonecallsandthemanyenergizingsnacks. Thankyou,
folks!
A very big thank you also goes to Friedl and Vincent, who carefully read and
reread our thesis and offered many suggestions and corrections to the text. Thank
you, Friedl and Vincent!
i
Table of Contents
Preface i
Table of Contents ii
List of Abbreviations v
List of Figures ix
List of Tables xi
I Introduction 1
1 General introduction 2
2 Introduction to Earned Value Management 6
2.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 EVM Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.1 Performance Measurements . . . . . . . . . . . . . . . . . . . . 8
2.2.2 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Earned Schedule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Predicting the future . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.1 Estimated cost At Completion (EAC) . . . . . . . . . . . . . . 11
2.4.2 Estimated duration At Completion (EAC(t)) . . . . . . . . . . 12
2.5 To Complete Performance Index . . . . . . . . . . . . . . . . . . . . . 15
2.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
II EVM from a contractor point of view 16
3 A review of the comprehensive model for planning and controlling
contractor cash flow 17
3.1 Measurementsinthecomprehensivemodelforplanningandcontrolling
contractor cash flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
ii
3.2 Indicators in the comprehensive model for planning and controlling
contractor cash flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3 Forecaster in the comprehensive model for planning and controlling
contractor cash flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3.1 Components of the EMC formula . . . . . . . . . . . . . . . . . 23
3.3.2 Critical analysis of the EMC formula . . . . . . . . . . . . . . . 24
4 Example project 26
4.1 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Real scenario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.3 Aggregate project level . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5 Further insights and critical analysis 37
5.1 Relationship with traditional EVM . . . . . . . . . . . . . . . . . . . . 37
5.1.1 Revenue-based metrics . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.2 Cost-based metrics . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.1.3 Final comparison . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Usefulness of Contractor Cash Flow (CCF) Indicators . . . . . . . . . 41
5.3 Practical use of PBPI . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.3.2 Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3.3 Baseline optimization . . . . . . . . . . . . . . . . . . . . . . . 44
5.3.4 Baseline Leveling . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.5 Milestones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
III Simulation study 52
6 Methodology 53
6.1 Monte Carlo Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . 54
6.2 Triangular distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
6.3 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
7 Impact of external factors on the forecast accuracy of EMC 58
7.1 Topological Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
7.2 Variability in activity duration . . . . . . . . . . . . . . . . . . . . . . 62
7.3 Project completion stage . . . . . . . . . . . . . . . . . . . . . . . . . . 65
8 Impact of margin attribution methods on the forecast accuracy of
EMC 67
8.1 Fixed Margin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
8.2 Regressive Margin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
8.3 Progressive Margin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
8.4 Random Margin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
iii
8.5 Analysis of results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
8.5.1 MPI stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
8.5.2 Search for the ideal MPI . . . . . . . . . . . . . . . . . . . . . . 76
9 A comparative study 78
9.1 Impact of external factors on the forecast accuracy of IAC-EAC . . . . 79
9.2 ImpactofmarginattributionsystemsontheforecastaccuracyofIAC-
EAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
9.3 Comparison of accuracy of EMC and IAC-EAC . . . . . . . . . . . . 81
10 Impact of milestones on ABPI 84
IV Final reflections 87
11 Conclusions 88
11.1 Usefulness of Contractor Cash Flow indicators . . . . . . . . . . . . . 89
11.2 Forecast accuracy of Expected Margin at Completion. . . . . . . . . . 90
11.2.1 Impact of external project parameters . . . . . . . . . . . . . . 90
11.2.2 Impact of margin attribution system . . . . . . . . . . . . . . . 91
11.2.3 Comparison with traditional Earned Value Management . . . . 91
12 Recommendations 93
References xii
iv