Market-oriented Service Allocation in Utility and Cloud Computing

165 Pages·2013·3.61 MB·English

Market-oriented Service
Allocation in Utility and Cloud
Computing
DISSERTATION
zur Erlangung des akademischen Grades
Doktor der technischen Wissenschaften
eingereicht von
Ivan Breškovic´, MSc
Matrikelnummer 0849140
ander
FakultätfürInformatikderTechnischenUniversitätWien
Betreuung:Prof.Dr.SchahramDustdar,Mitbetreuung:Dr.IvonaBrandic´
DieseDissertationhabenbegutachtet:
(Prof.Dr.SchahramDustdar) (Prof.Dr.JörnAltmann)
Wien,5.Juni2013
(IvanBreškovic´,MSc)
TechnischeUniversitätWien
(cid:5) (cid:5) (cid:5)
A-1040Wien Karlsplatz13 Tel. [phone] www.tuwien.ac.at

Erklärung zur Verfassung der Arbeit
IvanBreškovic´,MSc
Tendlergasse3/1,1090Wien
Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwende-
ten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit -
einschließlich Tabellen, Karten und Abbildungen -, die anderen Werken oder dem Internet im
WortlautoderdemSinnnachentnommensind,aufjedenFallunterAngabederQuellealsEnt-
lehnungkenntlichgemachthabe.
(Ort,Datum) (UnterschriftVerfasser)
i

Acknowledgments
Thereareanumberofpeoplewithoutwhomthisthesismightnothavebeenwrittenandtowhom
Iamgreatlyindebted.
First and foremost, I would like to express my sincere gratitude to my supervisor Prof.
Schahram Dustdar who gave me the freedom and encouragement I needed to pursue my PhD.
I am also thankful to Ivona Brandic´, my co-supervisor and project leader, for introducing me
to the topic and giving me the opportunity to work in her group. She has provided me with
constructive feedback over the last three years and given me the support needed to pursue my
researchunimpeded.
I am particularly grateful to my PhD examiner Prof. Jörn Altmann for his patience, en-
couragement, enthusiasm, motivation and immense knowledge. He made my stay at the Seoul
National University a very pleasant and productive experience. My gratitude also goes to Si-
monCatonforhostingmeattheKarlsruheInstituteofTechnologyandforshowingmehowfun
researchcanbe.
I am very thankful to Michael Maurer, Vincent Chimaobi Emeakaroha, Dražen Lucˇanin,
ToniMastelic´andSoodehFarokhi-mycolleaguesandprojectmemberswhohavemademytime
attheViennaUniversityofTechnologymemorable. Thankyouforyourconstructivediscussions
andsupport,insightfulcomments,andmakingourgrouplifelivelyandenjoyable.
Ihavebeenluckyenoughtohavethesupportofmanygoodfriendswhohavebeenthemain
sourcesofinspiration,laughterandjoy. IamespeciallygratefultoMorenaLivakovic´ forbeing
atruefriendandaconstantsourceofsupportandencouragementoverthelast13years;Hrvoje
Ribicˇic´ forbeingthemostreliableandinspirationalpersoninmylife;andFlorianBaderforhis
endlesspatience, supportandbeliefinme. Iwouldalsoliketothankseveralotherfriendswho
have made Vienna a very special place over all those years. Thank you all for being there to
listen,drinkandconsole. Lifewouldnothavebeenthesamewithoutyou.
Iowealottomyfamily,mainlytomyfather,mysisterandmynewlybornbrother,whohave
encouraged me and helped me at every stage of my personal and academic life, and longed to
seethisachievementcometrue. Thankyouforinstillingaloveofcreativepursuitsandscience
withinme,allofwhichisthegroundofmyaccomplishments. Thisthesisisdedicatedtoyou.
IvanBreškovic´
June2013
Vienna,Austria
iii

Abstract
Utility and cloud computing are paradigms that offer computational services (e.g., software,
hardware and infrastructure) in a manner similar to utilities such as water, electricity, gas and
telephony- on demand, on apay-as-you-go basis, and withoutregard towhere theservices are
hostedorhowtheyaredelivered. Similartosomeofthesecommonutilities(e.g.,electricityand
crudeoil),economic-orientedallocation,tradingandqualityofservice(QoS)basedscheduling
ofresourcesisexecutedoverelectronicmarketplatformsnamedcloudmarketplaces. However,
despite numerous research works focusing on construction of a cloud marketplace, its imple-
mentation challenge is still awaited. Existing approaches are static and not capable of reacting
to the dynamic nature of the underlying paradigm’s context: high diversity of services and ser-
vicetypes,andunpredictableuserbaseanduserbehavior.
In this thesis, we address the issue of market diversity and dynamism through a novel
methodology for the management of electronic marketplaces - autonomic markets - as a new
way of thinking about the engineering of electronic market platforms. We argue that adding
autonomic capabilities to market platforms will enable the establishment of fault-tolerant and
reliable marketplaces, which in immature or changing paradigms are vital to counteract ele-
mentsofuncertainty.
We begin our journey towards this vision by presenting a monitoring methodology, which
includesaseriesofmarketgoalsfromrelevantliterature,setsofextractablemetricsforamarket
platform, and how to map (i.e., combine and transform) metrics to assess goal performance
suchthatautonomicadaptationofthemarketcouldbeundertakenifthecurrentperformanceis
insufficient.
Additionally, we explore open challenges of service discovery and selection in autonomic
cloudmarkets. Wearguethatalargemarketdiversityisoneofthemaincausesofhightransac-
tioncosts,poormarketliquidity,andeconomicinefficiencyofcloudmarketplaces. Weaddress
this problem by channeling demand and supply into a limited number of adaptable (“standard-
ized”) services. Throughout the process of standardization we apply clustering algorithms and
adaptationmethodstoselectandmanagestandardizedservicesthatarestructuredbasedonthe
users’ demands and offerings. Using a novel liquidity model that we introduce, we ensure that
marketliquidityisalwaysmaximized. Finally,wefacilitatetheprocessofdiscoveringservices
inthecloudmarketplacesbyintroducingmethodsforautomaticmatchingandselectionofcloud
services.
To evaluate usefulness and feasibility of our approach, we build and herewith present con-
ceptual and implementation details of an agent-based market simulator. Using this tool, we
v
simulate several realistic market scenarios and illustrate how important it is to be able to ade-
quatelymonitoramarketwheresuddenchangescanleadtopainfulconsequences. Furthermore,
weshowthatsuchphenomenacanbedetectedbyourmonitoringmodel.
In addition, we simulate a continuous trade between agents in both standardized and dif-
ferentiated goods markets and demonstrate that standardization of goods in small markets (i.e.,
small number of market participants) may hurt market efficiency in terms of market liquidity,
welfare, and transaction cost, but it brings enormous savings and benefits in the markets where
thedemandandthesupplyaresufficientlyhigh.
Kurzfassung
Utility und Cloud Computing sind neuartige Paradigmen, die Rechenressourcen als Services
(z.B. Soft- und Hardware, IT-Infrastukturen) in einer ähnlichen Art und Weise anbieten wie
derzeitWasser,Strom,GasundTelefonangebotenwerden–aufAbrufundmitgenauerDienst-
abrechnungunabhängigvondertatsächlichenLokationderServices.ÄhnlichwiebeiGasoder
Erdöl werden bei der ökonomischen Ressourceallokation, und dem QoS-basierten Scheduling
spezielle Marktplattformen vorausgesetzt, die als Cloud Märkte definiert werden. Obwohl es
derzeit sehr viele Arbeiten zum Aufbau und zur Definition von Cloud Märkten gibt, ist die ge-
naueImplementierungvonsolchenMärktennochimmereineoffeneFragestellung.Diederzeit
existierendenAnsätzeindiesemBereichsindstatischundkönnennichtaufdiedynamischeNa-
tur der Cloud Märkte reagieren, wie z.B. auf die hohe Diversität der Services, Service-Typen
unddasnichtvorausplanbareBenutzerverhalten.
IndieserDissertationbeschäftigenwirunsmitderDiversitätderMärktebasierendaufeiner
neuartigenMethodologiefürdasManagementvonelektronischenMarktplätzen,densogenann-
ten autonomen Märkten. Dabei stellt diese Methodologie einen neuen Ansatz für das Enginee-
ring von elektronischen Marktplätzen. Autonome Eigenschafen ermöglichen dabei fehlertole-
ranteundzuverlässigeMarktplätzezudefinieren.Diesistnotwendig,umdenUnsicherheitsfak-
torenderelektronischenMärkteentgegenzuwirken.
Als ersten Schritt präsentieren wir eine neuartige Monitoring Methodologie, die eine Viel-
zahlvonPerformanzindikatorenzumAufbaueineselektronischenMarktsvoraussetztundauch
die entsprechenden Metriken berücksichtigt, die notwendig sind um diese Indikatoren zu mes-
sen.DabeidefinierenwirauchwiedieseMetrikenaufdieIndikatorenübersetztwerdenkönnen
(z.B. Kombination und Transformation) um zu entscheiden, ob die derzeitige Performanz des
Marktesausreichendist.
Wir beschäftigen uns auch mit der Auffindung der Services und einer automatischen Se-
lektion der Services in Cloud Märkten. Des weiteren argumentieren wir, dass eine sehr hohe
DiversitätdesMarkteseinesderwichtigstenGründefürdiehohenTransaktionskosten,schlech-
te Marktliquidität und die ökonomische Ineffizienz der Märkte ist. Dieses Problem lösen wir
durch die Bündelung von Angebot und Nachfrage in eine limitierte Anzahl von adaptierbaren
(standardisierten) Ressourcen. Um standardisierte Services zu definieren und zu managen ver-
wenden wir die Methodik der Clustering Algorithmen und diverse Adaptierungsmethoden die
auf Angebot und Nachfrage der Benutzer basieren. Dabei verwenden wir ein neuartiges Model
für das Management der Liquidität, das sicherstellt, dass ein Maximum an Liquidität erreicht
wird.
vii
LetztendlichermöglichenwirdurchdieVerwendungderautomatischenVergleicheundSe-
lektion einen automatischen Auffindungsprozess von Services in einem Cloud Markt. Um die
Nutzbarkeit unseres Ansatzes zu evaluieren, diskutieren wir ein Konzept für einen agenten-
basierten Market-Simulator. Mit diesem Tool simulieren wir verschiedene realistische Markt-
Szenarien und illustrieren wie wichtig es ist auf eine adäquate Art und Weise den Markt zu
überwachen-wobeischelleundunerwarteteMarktveränderungenzuschwerwiegendenKonse-
quenzenführenkönnen.DesWeiterensimulierenwirdenkontinuierlichenHandelzwischenden
Agenten in standardisierten und nicht standardisierten Märkten. Dabei demonstrieren wir, dass
die Standardisierung in kleinen Märkten (d.h. sehr geringe Anzahl der Marktteilnehmer) unter
Umständen die Markteffizienz stark beeinflussen kann. Sie kann z.B. eine schlechtere Marktli-
quidität,schlechtereökonomischeWohlfahrt,undhoheTransaktionskostenhervorrufen.Gleich-
zeitigruftdieseStandardisierungaberauchvieleVorteilehervor,wiez.B.enormeEinsparungen,
wennAngebotundNachfrageentsprechendhochsind.