Table Of ContentT R R
ECHNICAL ESEARCH EPORT
Optimal Replacement Policies for Non-Uniform Cache
Objects with Optional Eviction
by Omri Bahat, Armand M. Makowski
CSHCN TR 2002-16
(ISR TR 2002-28)
(cid:1)(cid:2)(cid:3)(cid:4)(cid:5)(cid:3)(cid:6)(cid:7)(cid:3)(cid:8)(cid:4)(cid:9)(cid:10)(cid:8)(cid:4)(cid:11)(cid:12)(cid:7)(cid:3)(cid:13)(cid:13)(cid:14)(cid:7)(cid:3)(cid:4)(cid:12)(cid:6)(cid:15)(cid:4)(cid:16)(cid:17)(cid:18)(cid:8)(cid:14)(cid:15)(cid:4)(cid:5)(cid:10)(cid:19)(cid:19)(cid:20)(cid:6)(cid:14)(cid:21)(cid:12)(cid:7)(cid:14)(cid:10)(cid:6)(cid:4)(cid:22)(cid:3)(cid:7)(cid:23)(cid:10)(cid:8)(cid:24)(cid:25)(cid:4)(cid:14)(cid:25)(cid:4)(cid:12)(cid:4)(cid:22)(cid:26)(cid:11)(cid:26)(cid:27)(cid:25)(cid:28)(cid:10)(cid:6)(cid:25)(cid:10)(cid:8)(cid:3)(cid:15)(cid:4)(cid:5)(cid:10)(cid:19)(cid:19)(cid:3)(cid:8)(cid:21)(cid:14)(cid:12)(cid:13)(cid:4)(cid:11)(cid:28)(cid:12)(cid:21)(cid:3)
(cid:5)(cid:3)(cid:6)(cid:7)(cid:3)(cid:8)(cid:4)(cid:12)(cid:13)(cid:25)(cid:10)(cid:4)(cid:25)(cid:20)(cid:28)(cid:28)(cid:10)(cid:8)(cid:7)(cid:3)(cid:15)(cid:4)(cid:18)(cid:17)(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)(cid:29)(cid:3)(cid:28)(cid:12)(cid:8)(cid:7)(cid:19)(cid:3)(cid:6)(cid:7)(cid:4)(cid:10)(cid:9)(cid:4)(cid:29)(cid:3)(cid:9)(cid:3)(cid:6)(cid:25)(cid:3)(cid:4)(cid:30)(cid:29)(cid:31)(cid:29) !(cid:4)(cid:14)(cid:6)(cid:15)(cid:20)(cid:25)(cid:7)(cid:8)(cid:17)!(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)(cid:11)(cid:7)(cid:12)(cid:7)(cid:3)(cid:4)(cid:10)(cid:9)(cid:4)"(cid:12)(cid:8)(cid:17)(cid:13)(cid:12)(cid:6)(cid:15)!(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)#(cid:6)(cid:14)$(cid:3)(cid:8)(cid:25)(cid:14)(cid:7)(cid:17)
(cid:10)(cid:9)(cid:4)"(cid:12)(cid:8)(cid:17)(cid:13)(cid:12)(cid:6)(cid:15)(cid:4)(cid:12)(cid:6)(cid:15)(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)%(cid:6)(cid:25)(cid:7)(cid:14)(cid:7)(cid:20)(cid:7)(cid:3)(cid:4)(cid:9)(cid:10)(cid:8)(cid:4)(cid:11)(cid:17)(cid:25)(cid:7)(cid:3)(cid:19)(cid:25)(cid:4)&(cid:3)(cid:25)(cid:3)(cid:12)(cid:8)(cid:21)(cid:2)’(cid:4)(cid:1)(cid:2)(cid:14)(cid:25)(cid:4)(cid:15)(cid:10)(cid:21)(cid:20)(cid:19)(cid:3)(cid:6)(cid:7)(cid:4)(cid:14)(cid:25)(cid:4)(cid:12)(cid:4)(cid:7)(cid:3)(cid:21)(cid:2)(cid:6)(cid:14)(cid:21)(cid:12)(cid:13)(cid:4)(cid:8)(cid:3)(cid:28)(cid:10)(cid:8)(cid:7)(cid:4)(cid:14)(cid:6)(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)(cid:5)(cid:11)(cid:16)(cid:5)(cid:22)
(cid:25)(cid:3)(cid:8)(cid:14)(cid:3)(cid:25)(cid:4)(cid:10)(cid:8)(cid:14)((cid:14)(cid:6)(cid:12)(cid:7)(cid:14)(cid:6)((cid:4)(cid:12)(cid:7)(cid:4)(cid:7)(cid:2)(cid:3)(cid:4)#(cid:6)(cid:14)$(cid:3)(cid:8)(cid:25)(cid:14)(cid:7)(cid:17)(cid:4)(cid:10)(cid:9)(cid:4)"(cid:12)(cid:8)(cid:17)(cid:13)(cid:12)(cid:6)(cid:15)’
(cid:1)(cid:2)(cid:3)(cid:4)(cid:5)(cid:6)(cid:7)(cid:2)(cid:4)(cid:4)(cid:8)(cid:7)(cid:7)(cid:9)(cid:10)(cid:11)(cid:11)(cid:12)(cid:12)(cid:12)(cid:13)(cid:6)(cid:5)(cid:14)(cid:13)(cid:15)(cid:16)(cid:17)(cid:13)(cid:2)(cid:17)(cid:15)(cid:11)(cid:18)(cid:19)(cid:20)(cid:18)(cid:21)(cid:11)
Report Documentation Page Form Approved
OMB No. 0704-0188
Public reporting burden for the collection of information is estimated to average 1 hour per response, including the time for reviewing instructions, searching existing data sources, gathering and
maintaining the data needed, and completing and reviewing the collection of information. Send comments regarding this burden estimate or any other aspect of this collection of information,
including suggestions for reducing this burden, to Washington Headquarters Services, Directorate for Information Operations and Reports, 1215 Jefferson Davis Highway, Suite 1204, Arlington
VA 22202-4302. Respondents should be aware that notwithstanding any other provision of law, no person shall be subject to a penalty for failing to comply with a collection of information if it
does not display a currently valid OMB control number.
1. REPORT DATE 3. DATES COVERED
2002 2. REPORT TYPE 00-00-2002 to 00-00-2002
4. TITLE AND SUBTITLE 5a. CONTRACT NUMBER
Optimal replacement policies for non-uniform cache objects with optional
5b. GRANT NUMBER
eviction
5c. PROGRAM ELEMENT NUMBER
6. AUTHOR(S) 5d. PROJECT NUMBER
5e. TASK NUMBER
5f. WORK UNIT NUMBER
7. PERFORMING ORGANIZATION NAME(S) AND ADDRESS(ES) 8. PERFORMING ORGANIZATION
University of Maryland,Electrical Engineering Department,Institute for REPORT NUMBER
Systems Research,College Park,MD,20742
9. SPONSORING/MONITORING AGENCY NAME(S) AND ADDRESS(ES) 10. SPONSOR/MONITOR’S ACRONYM(S)
11. SPONSOR/MONITOR’S REPORT
NUMBER(S)
12. DISTRIBUTION/AVAILABILITY STATEMENT
Approved for public release; distribution unlimited
13. SUPPLEMENTARY NOTES
14. ABSTRACT
see report
15. SUBJECT TERMS
16. SECURITY CLASSIFICATION OF: 17. LIMITATION OF 18. NUMBER 19a. NAME OF
ABSTRACT OF PAGES RESPONSIBLE PERSON
a. REPORT b. ABSTRACT c. THIS PAGE 13
unclassified unclassified unclassified
Standard Form 298 (Rev. 8-98)
Prescribed by ANSI Std Z39-18
IEEEINFOCOM2003 1
Optimal replacement policies for non-uniform
cache objects with optional eviction
OmriBahat,ArmandM.Makowski
Abstract—Replacement policies for general caching ap- tios. A large number of techniques for file caching and
plicationsand Web caching in particularhavebeen exten- virtual memory replacement have been developed [1][4],
sivelyaddressedintheliterature. Manypoliciesthatfocus but unfortunately they do not necessarily transfer to Web
ondocumentcosts,size,probabilityofreferencesandtem-
caching as explained below. Despite the ever decreasing
porallocalityofrequesteddocuments,havebeenproposed.
prices of storage devices, the optimization or fine tun-
In many cases these policies are ad-hoc attempts to take
ing of cache replacement policies is not a moot point for
advantage of the statistical information contained in the
the benefits of even slight improvements in cache perfor-
streamofrequests,andtoaddressthefactorsabove. How-
ever,sincetheintroductionofoptimalreplacementpolicies mance can have an appreciable effect on network traffic,
for conventional caching, the problem of finding optimal especiallywhensuchgainsarecompoundedthroughahi-
replacement policies under the factors indicated has not erarchy ofcaches.
been studied in any systematic manner. In this paper, we
In the context of conventional caching the underly-
takeastep in thatdirection: Wefirst show, still under the
ing working assumption is the so-called Independent
Independent Reference Model, that a simple Markov sta-
Reference Model, whereby document requests are as-
tionaryreplacementpolicy,calledthepolicy ,minimizes
thelong-runaveragemetricinducedbynon-u(cid:0)n(cid:0)iformdocu- sumed to form an i.i.d. sequence. It has been known
mentcostswhendocumentevictionisoptional.Wethenuse for some time [1] [4] that the miss rate (equivalently,
theseresultstoproposeaframeworktooperatecachingsys- the hit rate) is minimized (equivalently, maximized) by
temswithmultipleperformancemetrics. Wedosobysolv- the so-called policy according to which a document
ingaconstrainedcachingproblemwithasingleconstraint. is evicted from the (cid:0)ca(cid:0)che if it has the smallest prob-
Theresultingconstrainedoptimalreplacementpolicyisob-
ability of occurence (equivalently, is the least popular)
tained by simple randomization between two Markov sta-
among the documents in the cache. More precisely, let
tionaryoptimalreplacementpolicies butinducedbydif-
ferentcosts. (cid:0)(cid:0) denote thesetofdocuments tobere-
q(cid:1)u(cid:2)e(cid:3)(cid:0)s(cid:1)te(cid:2)d(cid:4)(cid:5)a(cid:5)n(cid:5)d(cid:4)(cid:1)l(cid:2)e(cid:3)t(cid:0)(cid:6)(cid:2) denote the probability of reference
Index Terms—Web caching, Optimal replacement poli- of (cid:7)(cid:0)(cid:8)(cid:2) . Whenthe cache isfull and the
cies, Non-uniform cost, Independent Reference Model,
req(cid:1)u(cid:2)e(cid:3)s(cid:0)te(cid:8)d(cid:2) (cid:0)d(cid:8)oc(cid:3)um(cid:1)(cid:4)e(cid:5)n(cid:5)t(cid:5)i(cid:4)s(cid:6)no(cid:2)tinthecache, prescribes
Cachingunderaconstraint,Markovdecisionprocesses.
(cid:0)(cid:0)
I. INTRODUCTION (cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (1)
WEBcaching aims to reduce network traffic, server (cid:6)(cid:9) (cid:9) (cid:3)(cid:10)(cid:11)(cid:12)(cid:13)(cid:6)(cid:14)(cid:0)(cid:7)(cid:0)(cid:8)(cid:2) (cid:15) (cid:1)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2)(cid:6)(cid:14)(cid:7)(cid:10)(cid:7)(cid:16)(cid:17)(cid:2)(cid:5)
Inpractice,thepopularityvector is
load anduser-perceived retrieval latency byrepli-
notavailable andthusneedstobe(cid:0)e(cid:3)stim(cid:0)(cid:7)a(cid:0)t(cid:1)e(cid:2)d(cid:4)(cid:5)o(cid:5)n(cid:5)-(cid:4)li(cid:7)n(cid:0)e(cid:6)as(cid:2)(cid:2)re-
cating “popular” content on proxy caches that are strate-
questsarecomingin. Thisnaturally givesrisetotheLFU
gically placed within the network. Key to the effective-
(LeastFrequentlyUsed)policywhichmimics through
ness of such proxy caches is the implementation of doc-
the Certainty Equivalence Principle: When th(cid:0)e(cid:0)cache is
ument replacement algorithms that can yield high hit ra-
full and the requested document is not in the cache,
(cid:0)(cid:1)
TheauthorsarewiththeDepartmentofElectricalandComputerEn- LFUprescrib(cid:10)es
gineering,andtheInstituteforSystemsResearch,UniversityofMary-
land, College Park, MD 20742. E-mail: [email protected], ar-
[email protected].
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2)
ThismaterialisbaseduponworksupportedbytheSpaceandNaval (2)
WarfareSystemsCenter–SanDiegounderContractNo.N66001-00- (cid:6)(cid:9) (cid:9) (cid:3) (cid:10)(cid:11)(cid:12)(cid:13)(cid:6)(cid:14)(cid:0)(cid:7)(cid:18)(cid:2)(cid:0)(cid:8)(cid:2) (cid:15) (cid:1)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2)(cid:6)(cid:14)(cid:7)(cid:10)(cid:7)(cid:16)(cid:17)(cid:2)
C-8063. Anyopinions,findingsandconclusionsorrecommendations
where is the frequency estimate of based on
expressedinthismaterialarethoseoftheauthorsanddonotnecessar-
the trac(cid:7)(cid:18)e(cid:2)m(cid:0)(cid:8)e(cid:2)asurements up to the reque(cid:7)s(cid:0)t(cid:8).(cid:2)The focus
ilyreflecttheviewsoftheSpaceandNavalWarfareSystemsCenter– (cid:0)(cid:1)
SanDiego. on miss and hit rates as performan(cid:10)ce criteria is reflective
ofthefactthathistorically,pagesinmemorysystemswere clude an easy transfer of caching techniques developed
ofequalsize,andtransfertimesofpagesfromtheprimary earlier for computer system memory. Yet,alarge number
storage to the cache were nearly constant over time and ofstudies have focused onthe design ofefficient replace-
independent ofthedocument transferred. ment policies; see [6] [7] [8] [9] and references therein
Interestingly enough,eveninthisrestrictedcontext,the for a sample literature. Proposed policies typically ex-
popularity information asderivedfromtherelativeaccess ploit either access recency (e.g., the LRU policy) or ac-
frequencies ofobjectsrequested throughthecache,issel- cess frequency (e.g., the LFU policy) or a combination
dom maintained and is rarely used directly in the design thereof (e.g., the hybrid LRFU policy). The numerous
of cache replacement policies. This is so because of the policies which have been proposed are often ad-hoc at-
difficulty tocapture thisinformation inanon-line fashion temptstotakeadvantageofthestatisticalinformationcon-
incontrastwithotherattributes oftherequeststream,said tainedinthestreamofrequests, andtoaddress thefactors
attributesbeingthoughtindicativeofthefuturepopularity above. Theirperformance istypically evaluatedviatrace-
of the object. Typical examples include temporal locality driven simulations, and compared to that of other well-
via the recency of access and object size which lead very established policies.
naturally to the Least-Recently-Used (LRU) and Largest- Asshould beclear fromthe discussion above,theclas-
File-First(LFF)replacement policies, respectively. sical set-up used in [1] and [4] is too restrictive to cap-
At this point it is worth stressing the three pri- ture the salient features present in Web caching. Indeed,
mary differences between Web caching and conventional the Independent Reference Model fails to capture both
caching: popularity (i.e., long-term frequencies of requested doc-
uments) and temporal locality (i.e., correlations among
1) Web objects or documents are of variable size
document requests). It also does not account for docu-
whereas conventional caching handles fixed-size
ments with variable sizes. Moreover, this literature im-
documents or pages. Neither the policy nor the
LRU policy (nor many other policies pr(cid:0)o(cid:0)posed in plicitly assumes that document replacement ismandatory
upon a cache miss, i.e., a requested document not found
the literature on conventional caching) account for
incache mustbeputinthecache. Whilethisrequirement
thevariable sizeofdocuments;
isunderstandable whenmanaging computermemory,itis
2) The miss penalty or retrieval cost of missed docu-
not as crucial when considering web caches,1 especially
mentsfromthe servertotheproxy canvarysignifi-
if this approach results in simple document replacement
cantlyovertimeandpereachdocument. Infact,the
policies withgoodperformance.
cost value may not be known in advance and must
With these difficulties in mind it seems natural to seek
sometimesbeestimatedon-line beforeadecision is
to extend these provably optimal caching policies in sev-
taken. For instance, the download time of a Web
eraldirections: (i)Thedocumentshavenon-uniformcosts
page depends on the size of the document to be re-
(as we assimilate cost to size and variable retrieval la-
trieved, on the available bandwidth from the server
tency), (ii) there exist correlations in the request streams,
to the cache, and on the route used. These factors
and (iii) document placement and replacement are op-
mayvaryovertimeduetochanging networkcondi-
tional uponacache miss.
tions (e.g.,linkfailure ornetwork overload);
3) Access streams seen by the proxy cache are the Inthispaper, wetakeaninitial stepinthedirections (i)
unionofWebaccessstreamsfromtenstothousands and (iii): While still retaining the Independent Reference
ofusers,insteadofcomingfromafewprogrammed Model, we consider the problem of finding an optimal
sources as is the case in virtual memory paging, so replacement policy with non-uniform retrieval cost
under the option that a requested do(cid:3)c(cid:0)u(cid:8)(cid:2)-
the Independent Reference Model is not likely to
provide a good fit to Web traces. In fact, Web traf- m(cid:0)(cid:8)e(cid:3)nt(cid:1)n(cid:4)o(cid:5)t(cid:5)i(cid:5)n(cid:4)c(cid:6)ac(cid:2)he isnot necessarily put incache after be-
fic patterns were found to exhibit temporal locality ing retrieved from the server. Interestingly enough, this
(i.e.,temporalcorrelations)inthatrecentlyaccessed simple change in operational constraints allows us to de-
objectsaremorelikelytobeaccessedinthenearfu- termine completely the structure of the optimal replace-
ture. To complicate matters, the popularity of Web mentpolicy for the minimumaverage cost criterion (over
objectswasfoundtobehighlyvariable(i.e.,bursty) both finite and infinite horizons). Making use of stan-
overshorttimescalesbutmuchsmoother overlong dardideas fromthe theory ofMarkov Decision Processes
timescales. (MDPs), we show [Theorem 1] that the optimal policy is
These differences, namely variable size, variable cost
Inwebcachingtimescalesareslowerthaninconventionalcaching
(cid:0)
and the more complex statistics of request patterns, pre- duetovariablenetworklatencies.
2
the(pure) Markovstationary policy thatprescribes II. FINDING GOOD REPLACEMENT POLICIES
(cid:11)(cid:0)
One approach for designing good replacement policies
(3) istocouchtheproblemasoneofsequentialdecisionmak-
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (cid:6)(cid:9)
ing inthe presence ofrandomness. Theanalysis that pro-
duced the policy described earlier (and its optimality
(cid:9) (cid:3)(cid:10)(cid:11)(cid:12)(cid:13)(cid:6)(cid:14)(cid:0)(cid:7)(cid:0)(cid:8)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2) (cid:15) (cid:1)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2)(cid:6)(cid:14)(cid:7)(cid:10)(cid:7)(cid:16)(cid:17) (cid:19)(cid:11)(cid:11)(cid:17)(cid:20)(cid:21)(cid:17)(cid:22)(cid:8)(cid:2) under the Indepen(cid:0)d(cid:0)ent Reference Model) is one based on
The simplicity of this optimal replacement policy should DynamicProgramming asdeveloped intheframeworkof
be contrasted with the state of affairs in the traditional MDPs[5][11].
formulation when replacement is mandatory. Indeed, in
the latter case, except for the optimality of for uni- A. AnMDPframework
formcacheobjects,therearenoknownresults(cid:0)c(cid:0)oncerning The system is composed of a server where a copy of
the structure of the optimal policy for an arbitrary (thus each of its documents is available, and of a cache of
non-uniform) cost structure (to the best of the authors’ size with(cid:6) . Documents are first requested
knowledge). It is tempting, yet erroneous, to conclude atthe(cid:12)cache: I(cid:1)f(cid:0)the(cid:12)req(cid:13)ue(cid:6)steddocumenthasacopyalready
thatthesimplestationary Markovreplacement policythat incache(i.e.,ahit),thiscopyisdownloadedbytheuserat
prescribes somecost(e.g.,latency). Iftherequested documentisnot
incache (i.e.,amiss),acopy isrequested fromtheserver
(4) to be put in the cache. If the cache is already full, then
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (cid:6)(cid:9)
a decision needs to be taken as to whether a document
already in cache will be evicted (to make place for the
(cid:9) (cid:3)(cid:10)(cid:11)(cid:12)(cid:13)(cid:6)(cid:14)(cid:0)(cid:7)(cid:0)(cid:8)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2) (cid:15) (cid:1)(cid:2)(cid:3)(cid:0)(cid:8)(cid:2) (cid:6)(cid:14)(cid:7)(cid:10)(cid:7)(cid:16)(cid:17)(cid:2) copy of document just requested) and if so, which one.
isoptimal;thispolicyis“myopically”optimalbutusually In principle this decision is taken on the basis of earlier
not optimal assimple examples show. Curiously, the pol- decisions and past requests, and seeks to minimize a cost
icy (4) is reminiscent of, and similar to, the policy as function associated with the operation of the cache over
givenin(3). (cid:11)(cid:0) eitherafinitehorizon oraninfinitehorizon.
The ability to find provably optimal policies under an Decision epochs are defined as the instants at which
arbitrary cost structure can be putto advantage inthe fol- requests for documents are presented at the cache, and
lowing way: As in most complex engineering systems, are indexed by . At time , let
multipleperformancemetricsneedtobeconsideredwhen denote the sta(cid:14)te(cid:3)o(cid:23)f(cid:4)(cid:1)th(cid:4)e(cid:5)(cid:5)c(cid:5)ache, thus (cid:14)(cid:3)is(cid:23)a(cid:4)(cid:1)s(cid:4)u(cid:5)b(cid:5)s(cid:5)et of
operating caches, sometimes leading toconflicting objec- (cid:15)(cid:0) with size . Let (cid:15)(cid:0)denote the col-
tives. For instance, managing the cache to achieve as l(cid:1)e(cid:1)c(cid:4)t(cid:5)io(cid:5)n(cid:5)(cid:4)o(cid:6)fa(cid:2)llsubsetsof(cid:3)(cid:15)(cid:0)(cid:3)(cid:0)(cid:12) of(cid:4)si(cid:3)zelessorequalto
small a miss rate as possible does not necessarily ensure . (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)
(cid:12)Let denote the sequence of docu-
thattheaveragelatencyofretrieveddocumentsisassmall
ment r(cid:1)e(cid:16)qu(cid:0)e(cid:4)s(cid:14)ts(cid:3), w(cid:23)(cid:4)it(cid:1)h(cid:4)(cid:5)(cid:5)(cid:5)(cid:2)an -valued random
as could be since the latter performance metric typically
variable (rv). When th(cid:16)e(cid:0)requ(cid:1)e(cid:1)st(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)is(cid:6)m(cid:2)ade, the state of
depends onthesizeonretrieveddocuments whilethefor-
the cache is and let denote(cid:16)th(cid:0)e action prompted by
merdoesnot. Onepossibleapproachtocapturethemulti-
the request (cid:15)(cid:0). If the re(cid:17)q(cid:0)uest is already in cache, then
criteria aspects is to introduce constraints. In the second
weusethec(cid:16)on(cid:0)vention (cid:16)to(cid:0)denotethefactthatnore-
part of the paper we formulate the problem of finding a
placement decision nee(cid:17)d(cid:0)s(cid:3)to(cid:23)be taken. Onthe other hand,
constrainedreplacementpolicythatminimizesanaverage
iftherequest isnotinthecache,then takesvaluein
cost under a single constraint in terms of a long-run av-
and i(cid:16)de(cid:0)ntifies thedocument tobe(cid:17)(cid:0)removed: If
eragemetric. Usingthedevelopments indicated abovewe
(cid:15)is(cid:0)s(cid:24)ele(cid:16)ct(cid:0)edin ,thenanevictiontakesplacewiththedo(cid:17)c(cid:0)-
areabletoidentifythestructureoftheconstrainedoptimal
ument rem(cid:15)o(cid:0)vedfromthecacheandreplacedby . On
policyasarandomizedMarkovstationarypolicyobtained
the oth(cid:17)er(cid:0)hand if , then no document is rep(cid:16)l(cid:0)aced.
by randomizing two simple policies of the type (3). The
Thus, the resultin(cid:17)g(cid:0)c(cid:3)ach(cid:16)e(cid:0)state (just before the next
analysis relies on a simplified version of a methodology
request ismade)isgivenb(cid:15)y(cid:0)(cid:1)2(cid:2)
developedinthecontextofMDPswithaconstraintin[2].
(cid:16)(cid:0)(cid:1)(cid:2)
The paper is organized as follows: The search for op-
timal replacement policies with optional eviction is for- (cid:15)(cid:0)(cid:1)(cid:2) (cid:3) (cid:18)(cid:0)(cid:15)(cid:0)(cid:4)(cid:16)(cid:0)(cid:4)(cid:17)(cid:0)(cid:2)
Throughout, for any subset of and any elements
mulated as a Markov decision process in Section II. Its (cid:1)
and in , we write(cid:0) (cid:0)(cid:0)(cid:1)(cid:2)(cid:2)(cid:2)(cid:1)(cid:3)to(cid:1)denote the subset o(cid:4)f
solution is discussed in Section III and Section IV is de- (cid:5) (cid:0)(cid:0)(cid:1)o(cid:2)b(cid:2)ta(cid:2)i(cid:1)n(cid:3)ed(cid:1)from by(cid:0)ad(cid:1)din(cid:4)g(cid:2)t(cid:5)oitand removing from
voted totheconstrained problem. t(cid:0)h(cid:0)e(cid:1)r(cid:2)e(cid:2)s(cid:2)u(cid:1)l(cid:3)tin(cid:1)gset,inthatorde(cid:0)r. (cid:4) (cid:5)
3
if for mappings , we say that is a
(cid:15)(cid:0) if(cid:16)(cid:0) (cid:5)(cid:15)(cid:0) Markov policy(cid:23).(cid:0)I(cid:15)f(cid:8)in(cid:11)add(cid:1)i(cid:23)ti(cid:4)o(cid:1)n(cid:4),(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)for all (cid:21)
(cid:3) (cid:0) (cid:15)(cid:0) (cid:24)(cid:16)(cid:0) if(cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0)(cid:4)(cid:3)(cid:15)(cid:0)(cid:3)(cid:13)(cid:12) the policy is said to be a (Mar(cid:23)k(cid:0)o(cid:3)v)(cid:23)stationar(cid:14)y(cid:3)po(cid:23)l(cid:4)ic(cid:1)y(cid:4),(cid:5)(cid:5)in(cid:5)
(cid:1)(cid:2) (cid:15)(cid:0) (cid:24)(cid:16)(cid:0)(cid:7)(cid:17)(cid:0) (cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0)(cid:4)(cid:3)(cid:15)(cid:0)(cid:3)(cid:3)(cid:12) which case the policy is identified with the mapping
In this formulation we note that a document is not neces- itself. Similar definitions can be given for randomize(cid:23)d
sarilyevicted(cid:1)(cid:3)fromthecache iftherequested documentis
Markovstationary policies [5].
not in cache and the cache is full. Under these rules of
Under the Independent Reference Model, the se-
operation, we note that eventually the cache will become
quence of requests is a sequence of
full at some time and will remain so from that time on- -valued rv distributed ac(cid:1)c(cid:16)o(cid:0)r(cid:4)di(cid:14)n(cid:3)g t(cid:23)o(cid:4)s(cid:1)o(cid:4)m(cid:5)(cid:5)e(cid:5)(cid:2)pmf
ward, i.e., given any initial cache , there exists finite (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2) on .
suchthat forall (cid:15)(cid:0) . (cid:19) (cid:0)(cid:3)Th(cid:0)e(cid:7)d(cid:0)(cid:1)e(cid:2)fi(cid:4)n(cid:5)i(cid:5)ti(cid:5)o(cid:4)n(cid:7)(cid:0)o(cid:6)f t(cid:2)h(cid:2)e un(cid:1)d(cid:1)e(cid:4)r(cid:5)ly(cid:5)i(cid:5)n(cid:4)g(cid:6)M(cid:2)DP is completed by
The sta(cid:3)(cid:15)te(cid:4)(cid:1)v(cid:0)a(cid:3)r(cid:3)iab(cid:12)le at tim(cid:14)e(cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5) is the pair
associating with each admissible policy in , a proba-
. Thestatespace isthen(cid:14)th(cid:3)es(cid:23)e(cid:4)t(cid:1)(cid:4)(cid:5)g(cid:5)(cid:5)ivenby bility measure defined through the fo(cid:21)llowi(cid:12)ng require-
(cid:0)(cid:15)(cid:0)(cid:4)(cid:16)(cid:0)(cid:2) (cid:8)
ments: Foreach(cid:1)(cid:7) ,wehave
(cid:14)(cid:3) (cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)
(cid:8) (cid:15)(cid:3)(cid:4)(cid:3) (cid:9)(cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)(cid:5)
The information available to make a decision when the (5)
(cid:1)(cid:7)(cid:25)(cid:17)(cid:0) (cid:3)(cid:22)(cid:3)(cid:20)(cid:0)(cid:26) (cid:3)(cid:21)(cid:0)(cid:0)(cid:22)(cid:27)(cid:20)(cid:0)(cid:2)(cid:4) (cid:22) (cid:3)(cid:23)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)
document is requested is encapsulated
intherando(cid:16)m(cid:0) (cid:0)v(cid:14)a(cid:3)ria(cid:23)b(cid:4)le(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)d(cid:2)efinedrecursively by and
(cid:20)(cid:0)
(6)
(cid:0)
(cid:20)(cid:0)(cid:1)(cid:2) (cid:3)(cid:0)(cid:20)(cid:0)(cid:4)(cid:17)(cid:0)(cid:4)(cid:15)(cid:0)(cid:1)(cid:2)(cid:4)(cid:16)(cid:0)(cid:1)(cid:2)(cid:2)(cid:4) (cid:14) (cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5) (cid:1)(cid:7) (cid:15)(cid:0)(cid:1)(cid:2) (cid:3)(cid:15) (cid:4)(cid:16)(cid:0)(cid:1)(cid:2) (cid:3)(cid:24)(cid:3)(cid:20)(cid:0)(cid:4)(cid:17)(cid:0)
(cid:0)
with . Thus, the range of can be (cid:3)(cid:5) (cid:7)(cid:0)(cid:24)(cid:2)(cid:1)(cid:7) (cid:15)(cid:0)(cid:1)(cid:2) (cid:3)(cid:15) (cid:3)(cid:20)(cid:0)(cid:4)(cid:17)(cid:0)(cid:6)
define(cid:20)d(cid:0)re(cid:3)cu(cid:0)r(cid:15)si(cid:0)v(cid:4)e(cid:16)ly(cid:0)(cid:2)by (cid:10)(cid:0) (cid:20)(cid:0) (cid:0)
(cid:3) (cid:7)(cid:0)(cid:24)(cid:2)(cid:2) (cid:18)(cid:5)(cid:0)(cid:15)(cid:0)(cid:4)(cid:16)(cid:0)(cid:4)(cid:17)(cid:0)(cid:2) (cid:3)(cid:15) (cid:6)
foreverystate in . Let denotetheexpectation
(cid:0) (cid:5) (cid:6)
(cid:10)(cid:0)(cid:1)(cid:2) (cid:3)(cid:10)(cid:0)(cid:9)(cid:1)(cid:23)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)(cid:9)(cid:8) (cid:14) (cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5) operator associ(cid:0)a(cid:15)te(cid:4)d(cid:24)w(cid:2)ith(cid:8)thepro(cid:3)ba(cid:7)bility measure .
with . The decision implemented in response (cid:1)(cid:7)
toreq(cid:10)ue(cid:0)st(cid:3) (cid:8)isthen (cid:17)(cid:0)
B. Thecostfunctionals
(cid:16)(cid:0)
Withanyone-stepcostfunction ,
(cid:17)(cid:0) (cid:3)(cid:21)(cid:0)(cid:0)(cid:20)(cid:0)(cid:2) we associate several cost function(cid:3)s(cid:15):(cid:1)F(cid:1)(cid:4)ix(cid:5)(cid:5)a(cid:5)(cid:4)r(cid:6)ep(cid:2)la(cid:11)cem(cid:29)(cid:30)e(cid:1)nt
for some mapping . The collec- policy in . Foreach ,definethetotalcost
tion (cid:21)(cid:0) (cid:15) (cid:10)(cid:0) (cid:11)de(cid:1)fi(cid:23)n(cid:4)e(cid:1)s(cid:4)(cid:5)t(cid:5)h(cid:5)e(cid:4)(cid:6)re(cid:2)placement (or overth(cid:21)ehor(cid:12)izon u(cid:18)nd(cid:3)er(cid:23)th(cid:4)e(cid:1)(cid:4)p(cid:5)o(cid:5)l(cid:5)icy by
evicit(cid:21)io(cid:3)n)(cid:0)p(cid:21)o(cid:0)l(cid:4)ic(cid:14)y(cid:3).(cid:23)S(cid:4)o(cid:1)m(cid:4)(cid:5)e(cid:5)t(cid:5)i(cid:2)mesitisusefultoconsiderran- (cid:25)(cid:23)(cid:4)(cid:18)(cid:26) (cid:21)
domized policies(cid:21)which are now defined: A randomized
(cid:9)
replacement policy is a collection of
(cid:25)(cid:8)(cid:0)(cid:21)(cid:27)(cid:18)(cid:2) (cid:3)(cid:3)(cid:7) (cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5) (cid:15)(cid:0)(cid:26)(cid:3)(cid:0)(cid:16)(cid:0)(cid:2) (cid:5)
mappings (cid:21) (cid:0)(cid:21)(cid:0)(cid:4) (cid:14)(cid:3)su(cid:23)c(cid:4)h(cid:1)(cid:4)th(cid:5)(cid:5)a(cid:5)t(cid:2)for
(cid:7)(cid:0)(cid:3)(cid:0) (cid:8)
all (cid:21)(cid:0) (cid:15) (cid:1),(cid:23)w(cid:4)e(cid:1)(cid:4)h(cid:5)a(cid:5)v(cid:5)e(cid:4)(cid:6)(cid:2)(cid:9)(cid:10)(cid:0) (cid:11) (cid:25)(cid:23)(cid:4)(cid:1)(cid:26) Theaveragecost(overthe(cid:4)entirehorizon)underthepolicy
(cid:14) (cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)
isthendefined by
(cid:21)
(cid:5)
(cid:21)(cid:0)(cid:22)(cid:27)(cid:20)(cid:0)(cid:2) (cid:3)(cid:1) (7)
(cid:1)
(cid:6)(cid:3)(cid:0) (cid:25)(cid:8)(cid:0)(cid:21)(cid:2) (cid:3) (cid:31)(cid:6)(cid:13)(cid:22)(cid:21) (cid:25)(cid:8)(cid:0)(cid:21)(cid:27)(cid:18)(cid:2)
with (cid:4) (cid:9)(cid:1)(cid:2) (cid:18) (cid:24)(cid:1)
(cid:9)
(cid:1)
(cid:3) (cid:31)(cid:6)(cid:13)(cid:22)(cid:21) (cid:3)(cid:7) (cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0)(cid:26)(cid:3)(cid:0)(cid:16)(cid:0)(cid:2)
(cid:21)(cid:0)(cid:22)(cid:27)(cid:20)(cid:0)(cid:2)(cid:3)(cid:23)(cid:4) (cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0) (cid:10)(cid:14)(cid:28)(cid:22)(cid:6)(cid:5)(cid:15)(cid:0)(cid:24)(cid:16)(cid:0) (cid:9)(cid:1)(cid:2) (cid:18) (cid:24)(cid:1) (cid:7)(cid:0)(cid:3)(cid:0) (cid:8)
(cid:4)
and Weuse the limsup operation in the definition above since
under an arbitrary policy the limit in (7) may not exist;
thisisstandard practice in(cid:21)thetheory ofMDPs.
(cid:21)(cid:0)(cid:22)(cid:27)(cid:20)(cid:0)(cid:2) (cid:3)Æ(cid:0)(cid:22)(cid:27)(cid:23)(cid:2)(cid:4) (cid:16)(cid:0) (cid:5)(cid:15)(cid:0) (cid:19)(cid:11)(cid:3)(cid:15)(cid:0)(cid:3) (cid:13)(cid:12)
A number of situations can be handled by adequately
for all . The class of all (possibly ran-
domize(cid:22)d)(cid:3)rep(cid:23)la(cid:4)c(cid:1)e(cid:4)m(cid:5)(cid:5)e(cid:5)n(cid:4)t(cid:6)policies isdenoted by . specializing the cost-per-step : Indeed, if
Ifthereplacement policy hastheproperty(cid:12)that , then (cid:3)and are(cid:3)(cid:0)th(cid:24)e(cid:2) (cid:3)ex(cid:1)-
(cid:21) p(cid:0)e(cid:24)ct(cid:3)ed(cid:1)(cid:4)n(cid:5)u(cid:5)m(cid:5)(cid:4)b(cid:6)er(cid:2)of cach(cid:25)e(cid:8)(cid:0)m(cid:21)i(cid:27)s(cid:18)se(cid:2)s over(cid:25)t(cid:8)h(cid:0)e(cid:21)(cid:2)horizon
and the average miss rate under policy , respect(cid:25)i(cid:23)v(cid:4)e(cid:18)ly(cid:26).
(cid:17)(cid:0) (cid:3) (cid:23)(cid:0)(cid:0)(cid:15)(cid:0)(cid:4)(cid:16)(cid:0)(cid:2)(cid:4) (cid:14) (cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5) (cid:21)
4
On the other hand, if is taken to be the size func- A. Theoptimalreplacement policy
tion (cid:3), with denoting the size (in
For each , we define the cost-to-go asso-
bytes(cid:26))(cid:15)o(cid:1)f(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2) (cid:11)(cid:29)! (cid:26)(cid:0)(cid:24),(cid:2)then the byte hit rate ciated with (cid:18)the(cid:3)po(cid:23)l(cid:4)ic(cid:1)y(cid:4)(cid:5)(cid:5)(cid:5)in starting in the initial state
under poli(cid:1)cy(cid:2)(cid:3)(cid:0)(cid:24)c(cid:2)an(cid:0)(cid:24)be(cid:3)de(cid:1)fi(cid:4)n(cid:5)e(cid:5)d(cid:5)(cid:4)b(cid:6)y(cid:2) in tobe (cid:21) (cid:12)
(cid:21)
(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:8)
(cid:9) (cid:7)
(cid:3)(cid:7) (cid:0)(cid:3)(cid:0)(cid:2)(cid:25)(cid:16)(cid:0) (cid:5)(cid:15)(cid:0)(cid:26)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (8) (cid:25)(cid:8) (cid:0)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2)(cid:27)(cid:18)(cid:2)
(cid:27)(cid:20)(cid:16)(cid:0)(cid:21)(cid:2)(cid:3) (cid:31)(cid:6)(cid:13)(cid:6)(cid:14)(cid:9) (cid:9)
(cid:9)(cid:1)(cid:2) (cid:9)(cid:10)(cid:3)(cid:7) (cid:9)(cid:0)(cid:3)(cid:0)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (cid:11) (cid:15)(cid:3) (cid:3)(cid:7) (cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5) (cid:15)(cid:0)(cid:26)(cid:3)(cid:0)(cid:16)(cid:0)(cid:2)(cid:3)(cid:15)(cid:0) (cid:3)(cid:15)(cid:4)(cid:16)(cid:0) (cid:3)(cid:28)
wheretheliminfoperationreflec(cid:9)ts(cid:10)thefacttha(cid:11)tthisperfor- (cid:7)(cid:4)(cid:0)(cid:3)(cid:0) (cid:8)
Next,thevalue function overthehorizon isdefined
manceismaximized. TomakeuseoftheMDPframework
by (cid:25)(cid:23)(cid:4)(cid:18)(cid:26)
usedhere,wefirstnotethat
(cid:7)
(cid:9) (cid:29)(cid:9)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:15)(cid:3) (cid:6)(cid:14)(cid:9) (cid:25)(cid:8) (cid:0)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2)(cid:27)(cid:18)(cid:2)(cid:4) (cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:5)(cid:8)(cid:5)
(cid:1) (cid:7)(cid:3)(cid:4)
(cid:31)(cid:6)(cid:13) (cid:3) (cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (cid:3)(cid:3)(cid:25)(cid:26)(cid:0)(cid:16)(cid:2)(cid:26) Recallthatregardless oftheinitial condition, thecache
(cid:9)(cid:1)(cid:2)(cid:18) (cid:24)(cid:1) (cid:7)(cid:0)(cid:3)(cid:0) (cid:8)
(cid:4) will eventually become and remain full. Thus, under the
for some -valued rv with pmf . Next, we
average cost criterion used here,there isnoloss ofgener-
seethat (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2) (cid:16) (cid:0)
ality in assuming the space state to be (instead of the
(cid:11)
original )with (cid:8)
(cid:8)
(cid:27)(cid:20)(cid:16)(cid:0)(cid:21)(cid:2)
(cid:9) (cid:11)
(cid:3)(cid:7) (cid:0)(cid:3)(cid:0)(cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0)(cid:26)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (cid:8) (cid:15)(cid:3)(cid:1)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:5)(cid:8) (cid:15) (cid:3)(cid:15)(cid:3) (cid:3)(cid:12)(cid:2)(cid:5)
(cid:3) (cid:1)(cid:7)(cid:31)(cid:6)(cid:13)(cid:22)(cid:21) (cid:9) (cid:9) (cid:11) FortheMDPathand,theDPEtakestheform
(cid:9)(cid:1)(cid:2) (cid:10)(cid:3)(cid:7) (cid:0)(cid:3)(cid:0)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2)
(cid:9)(cid:1)(cid:2)(cid:2)(cid:3)(cid:7) (cid:9)(cid:10)(cid:9)(cid:0)(cid:3)(cid:0)(cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5)(cid:11)(cid:15)(cid:0)(cid:26)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (cid:29)(cid:9)(cid:1)(cid:2)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2)
(cid:3) (cid:1)(cid:7)(cid:31)(cid:6)(cid:13)(cid:22)(cid:21) (9)
(cid:9)(cid:1)(cid:2) (cid:9)(cid:9)(cid:1)(cid:2)(cid:10)(cid:2)(cid:3) (cid:9)(cid:0)(cid:3)(cid:0)(cid:26)(cid:0)(cid:16)(cid:0)(cid:2) (cid:11) (cid:3) (cid:2)(cid:25)(cid:28) (cid:5)(cid:15)(cid:26)(cid:3)(cid:25)(cid:29)(cid:9)(cid:0)(cid:15)(cid:4)(cid:16)(cid:5)(cid:2)(cid:26)
(cid:3) (cid:1)(cid:7) (cid:25)(cid:10)(cid:0)(cid:21)(cid:2) (cid:5) (cid:9)(cid:10) (cid:11) (cid:24) (cid:2)(cid:25)(cid:28) (cid:6)(cid:5)(cid:15)(cid:26) (cid:3)(cid:0)(cid:28)(cid:2)(cid:24)(cid:6)(cid:13)(cid:3)(cid:12)(cid:6)(cid:1)(cid:14)(cid:13)(cid:3)(cid:25)(cid:29)(cid:9)(cid:0)(cid:15) (cid:24)(cid:28)(cid:7)(cid:22)(cid:4)(cid:16)(cid:5)(cid:2)(cid:26)
(cid:3)(cid:25)(cid:26)(cid:0)(cid:16)(cid:2)(cid:26) (cid:12) (cid:13)
for every state in with denoting an
Hence,maximizing thebytehitrateisequivalent tomini- (cid:11) (cid:11)
-valued(cid:0)(cid:15)rv(cid:4)(cid:28)w(cid:2)ithpm(cid:8)f . Thep(cid:16)ossibility ofnon-
mizingtheaverage costassociated with .
e(cid:1)v(cid:1)i(cid:4)c(cid:5)t(cid:5)io(cid:5)n(cid:4)(cid:6)is(cid:2)reflected in the cho(cid:0)ice (obviously in
(cid:26)
Thebasicproblemweaddressisthatoffindingacache
). Moreover,aswellknown[1(cid:22)1],(cid:3)the(cid:28)optimal action
replacement policy in suchthat
(cid:11) t(cid:15)o(cid:24)be(cid:28)taken in state at time when minimizing
(cid:21) (cid:12)
the cost criterion ov(cid:0)e(cid:15)r(cid:4)(cid:28)th(cid:2)e horizon(cid:14) (cid:3) (cid:23) is simply given
(cid:11) by (cid:25)(cid:23)(cid:4)(cid:18)(cid:26)
(cid:25)(cid:8)(cid:0)(cid:21) (cid:2) (cid:0)(cid:25)(cid:8)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:5)
Werefertoanysuch policy asanoptimal replacement
(cid:11)
policy. Itisnotnecessarily u(cid:21)nique, butinthenextsection (cid:30)(cid:9)(cid:11)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2)(cid:15)(cid:3) (cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:0)(cid:3)(cid:25)(cid:29)(cid:9)(cid:0)(cid:15) (cid:24)(cid:28)(cid:7)(cid:22)(cid:4)(cid:16)(cid:5)(cid:2)(cid:26)(cid:2)(cid:4)
(cid:6)(cid:3)(cid:12)(cid:1)(cid:13)
weidentifysuchanoptimalpolicy whichalsohappens
(cid:11) say with a lexicographic tie-braker for sake of concrete-
tobeaMarkovstationary policy. (cid:21)
ness.
The main result of this section is contained in the fol-
lowing theorem that prescribes the optimal replacement
III. NON-UNIFORM COST OPTIMAL REPLACEMENT
policyforthecaching problem athand.
POLICY WITHOUT MANDATORY EVICTION
Theorem1: Foreach ,wehavetheidenti-
In this section we discuss the optimal cache replace- fication (cid:18) (cid:3)(cid:23)(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)
ment policy for non uniform costs under the Independent (10)
(cid:11)
ReferenceModelwhenevictionisnotmandated. Auseful (cid:30)(cid:9)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:3) (cid:30)(cid:11)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2)
foranystate in whenever isnotin ,with
characterization of the optimal policy for the correspond- (cid:11)
(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:8) (cid:28) (cid:15)
ing MDP (being one with finite state and action spaces) (11)
can be initiated with the help of the Dynamic Program- (cid:30)(cid:11)(cid:0)(cid:15)(cid:4)(cid:28)(cid:2) (cid:15)(cid:3)(cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:0)(cid:7)(cid:0)(cid:22)(cid:2)(cid:3)(cid:0)(cid:22)(cid:2)(cid:2)(cid:5)
(cid:6)(cid:3)(cid:12)(cid:1)(cid:13)
mingEquation (DPE)[11].
5
The proof of Theorem 1 is given in Appendix A. Note where is a contribution of the temporal locality of ref-
that doesnotdependon ,andthattheMarkovstation- erence to the replacement policy and is a weight
(cid:11)
ary p(cid:30)o(cid:9)licy associated with(cid:18) is the policy introduced factorthatmodulatesthecontributiono!fth"ep(cid:23)robabilityof
earlier. It is now plain from(cid:30)(cid:11)Theorem 1 th(cid:11)at(cid:0)the Markov reference, document size and document cost to the evic-
stationary policy isoptimalforboththefiniteandinfi- tion decision. Under the Independent Reference Model
nitehorizon cost(cid:11)pr(cid:0)oblems. used here, the temporal locality factor can be taken to
be zero, in which case the Greedy Dual policy simplifies
to
B. Evaluation oftheoptimalcost
Inorder tocalculate the average cost, byte hit rate, and
other interesting properties of the replacement policy of (cid:7)(cid:0)(cid:8)(cid:2)(cid:3)(cid:18)(cid:19)(cid:0)(cid:8)(cid:2)
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (cid:6)(cid:9) (cid:9) (cid:3)(cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:0) (cid:2)
Theorem 1, we find it useful to introduce the permuta- (cid:17)(cid:3)(cid:12)(cid:1)(cid:13) (cid:26)(cid:0)(cid:8)(cid:2)
which is a special case of the optimal replacement policy
tion of which orders the values
associated with cost function
(cid:31) (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)i(cid:5)n(cid:4)(cid:6)de(cid:2)creasing order, namely (cid:7)(cid:0)(cid:9)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2)
(cid:11)gi(cid:0)venby (cid:3) (cid:15)(cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2) (cid:11) (cid:29)(cid:30)(cid:1)
(cid:0)(cid:9) (cid:3)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)
(12)
(cid:7)(cid:0)(cid:31)(cid:0)(cid:1)(cid:2)(cid:2)(cid:3)(cid:0)(cid:31)(cid:0)(cid:1)(cid:2)(cid:2) (cid:13)(cid:7)(cid:0)(cid:31)(cid:0)"(cid:2)(cid:2)(cid:3)(cid:0)(cid:31)(cid:0)"(cid:2)(cid:2) (cid:13) (cid:5)(cid:5)(cid:5)
(cid:3)(cid:18)(cid:19)(cid:0)(cid:9)(cid:2)
Thekeyobservation isthatthelongtermusage oftheop- (cid:3)(cid:0)(cid:9)(cid:2) (cid:3) (cid:4) (cid:9) (cid:3)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:5)
(cid:26)(cid:0)(cid:9)(cid:2)
timal replacement policy results in a set of fixed
documents in the cache, (cid:11)na(cid:0)mely (cid:12) , so C. Implementing theoptimal policy
thateverydocumentintheset (cid:1)(cid:31)(cid:0)(cid:1)(cid:2)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:31)(cid:0)(cid:12)is(cid:2)n(cid:2)ever A natural implementation of the optimal replacement
evicted fromthecache oncere(cid:1)q(cid:31)ue(cid:0)(cid:1)st(cid:2)e(cid:4)d(cid:5).(cid:5)(cid:5)If(cid:4)(cid:31)w(cid:0)e(cid:12)w(cid:2)r(cid:2)ite policy is achieved by invoking the Certainty Equiva-
lenceP(cid:11)rin(cid:0)ciple. Inaddition totheonlineestimationofthe
(13) probability ofreferences (aswasthecasefor(2)),thisap-
(cid:15) (cid:15)(cid:3) (cid:1)(cid:31)(cid:0)(cid:1)(cid:2)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:31)(cid:0)(cid:12)(cid:2)(cid:2)
proach now requires the estimation of additional param-
forthissteady-state stack,thenformally
eters which enter the definition of the overall document
cost ,e.g.,inthecaseofdocument
laten(cid:0)c(cid:3)y(cid:0),(cid:8)t(cid:2)h(cid:4)e d(cid:8)oc(cid:3)um(cid:1)(cid:4)e(cid:5)n(cid:5)t(cid:5)s(cid:4)i(cid:6)ze(cid:2)might be fully known but the
(cid:31)(cid:6)(cid:13) (cid:1)(cid:14)(cid:2) (cid:25)(cid:31)(cid:0)(cid:9)(cid:2) (cid:5)(cid:15)(cid:0)(cid:26)(cid:3)(cid:23)(cid:4) (cid:9)(cid:3)(cid:12) (cid:24)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)
(cid:0)(cid:1)(cid:2)
available bandwidth to the server needs to be measured
and
online at request time. Let de-
note an estimate of the docum(cid:0)(cid:3)(cid:18)e(cid:2)nt(cid:0)(cid:8)c(cid:2)o(cid:4)s(cid:8)ts(cid:3)wh(cid:1)i(cid:4)c(cid:5)h(cid:5)(cid:5)a(cid:4)r(cid:6)e a(cid:2)vail-
(cid:5) (14)
able at the cache at the time instance of the request:
(cid:25)(cid:15)(cid:0)(cid:11)(cid:0)(cid:2)(cid:3) (cid:7)(cid:0)(cid:9)(cid:2)(cid:1)(cid:0)(cid:9)(cid:2) (cid:3) (cid:7)(cid:0)(cid:31)(cid:0)(cid:9)(cid:2)(cid:2)(cid:1)(cid:0)(cid:31)(cid:0)(cid:9)(cid:2)(cid:2) If , document placement always(cid:10)ta(cid:0)k(cid:1)es place;
(cid:16)(cid:6)(cid:3)(cid:12) (cid:16)(cid:3)(cid:3)(cid:1)(cid:2)
(cid:4) (cid:4) oth(cid:3)e(cid:15)r(cid:0)w(cid:3)is(cid:13)e t(cid:12)hereplacement action isdictated by
for any cost (and in particular the
cost (cid:1) (cid:15) (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2)w(cid:11)hic(cid:29)(cid:30)h(cid:1)induces thepolicy ).
Thus(cid:3), (cid:15)th(cid:1)e(cid:1)(cid:4)b(cid:5)y(cid:5)t(cid:5)e(cid:4)(cid:6)hit(cid:2)r(cid:11)ate(cid:29)(cid:30)a(cid:1)ssociated with the policy (cid:11)(cid:0)is (cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (cid:6)(cid:9) (cid:9) (cid:3)(cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:0)(cid:7)(cid:18)(cid:2)(cid:0)(cid:8)(cid:2)(cid:3)(cid:18)(cid:2)(cid:0)(cid:8)(cid:2)(cid:2)
simplygivenby (cid:11)(cid:0) (cid:17)(cid:3)(cid:12)(cid:1)(cid:1)(cid:20)(cid:1)
IV. OPTIMAL CACHING UNDER A CONSTRAINT
(cid:3)(cid:17)(cid:3)(cid:2)(cid:7)(cid:0)(cid:31)(cid:0)(cid:8)(cid:2)(cid:2)(cid:26)(cid:0)(cid:31)(cid:0)(cid:8)(cid:2)(cid:2) (15) One possible approach to capture the multi-criteria as-
(cid:27)(cid:20)(cid:16)(cid:0)(cid:11)(cid:0)(cid:2) (cid:3) (cid:5) pect of running caching systems is to introduce con-
(cid:3)(cid:25)(cid:26)(cid:0)(cid:16)(cid:2)(cid:26)
(cid:10) straints. Here, we revisit the caching problem studied in
Another interesting observation is the relation of the
SectionIIIunderasingleconstraint.
optimal replacement policy to the well-established
GreedyDual*andGreedyDua(cid:11)l(cid:0)-Sizereplacementpolicies
A. ProblemFormulation
described in[6]and[7]. Let be
an arbitrary cost used by the(cid:3)(cid:18)G(cid:19)re(cid:15)ed(cid:1)y(cid:1)(cid:4)D(cid:5)(cid:5)u(cid:5)a(cid:4)l(cid:6)po(cid:2)li(cid:11)cie(cid:29)s(cid:30).(cid:1)The Formulating the caching problem under a sin-
GreedyDualpoliciesunderoptional documentplacement gle constraint requires two cost functions, say
incase ofacache missprescribe . As before, and
(cid:3)re(cid:4)p(cid:1)re(cid:15)s(cid:1)e(cid:1)n(cid:4)t(cid:5)(cid:5)d(cid:5)i(cid:4)f(cid:6)fer(cid:2)en(cid:11)t (cid:29)c(cid:30)o(cid:1)sts of retrievin(cid:3)g(cid:0)(cid:16)t(cid:0)h(cid:2)e requ(cid:1)e(cid:0)(cid:16)ste(cid:0)(cid:2)d
(16) document ifnotinthecache attime . Forinstance,
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) wecould ta(cid:16)k(cid:0)e (cid:15)(cid:0) (cid:14)
(cid:0)
(cid:0)
(cid:7)(cid:0)(cid:8)(cid:2)(cid:3)(cid:18)(cid:19)(cid:0)(cid:8)(cid:2)
(cid:6)(cid:9) (cid:9)(cid:3)(cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:24) (17)
(cid:17)(cid:3)(cid:12)(cid:1)(cid:13)(cid:14) (cid:26)(cid:0)(cid:8)(cid:2) (cid:16)
(cid:12) (cid:13) (cid:3)(cid:0)(cid:24)(cid:2) (cid:3)(cid:1) (cid:10)(cid:14)(cid:28) (cid:1)(cid:0)(cid:24)(cid:2) (cid:3) (cid:26)(cid:0)(cid:24)(cid:2)(cid:4) (cid:24) (cid:3)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)
(cid:15) (cid:17)
6
to reflect interest in miss rate and document retrieval la- B. ALagrangian approach
tency,respectively.
Following the treatment in [2], we now introduce an
The problem of interest can now be formulated as fol- alternate Lagrangian formulation which circumvents this
lows: Given some , we say that the policy in technical difficulty and allows us eventually to carry out
satisfies theconstra#int"at(cid:23)level if (cid:21) (cid:12) the program outlined above: For each , we define
# theone-step costfunction $ (cid:13) (cid:23) by
(18) %(cid:21) (cid:15)(cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)(cid:2) (cid:11)(cid:29)(cid:30)(cid:1)
(cid:25)(cid:15)(cid:0)(cid:21)(cid:2) (cid:0)#(cid:5)
Let denotetheclassofallcachereplacementpoli- %(cid:21)(cid:0)(cid:24)(cid:2) (cid:15)(cid:3)(cid:3)(cid:0)(cid:24)(cid:2)(cid:24)$(cid:1)(cid:0)(cid:24)(cid:2)(cid:4) (cid:24) (cid:3) (cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)
cies(cid:12)in(cid:0)(cid:1)(cid:27)#th(cid:2)atsatisfy theconstraint (18)atlevel . and consider the corresponding long-run average func-
Thep(cid:12)roblemistofindacachereplacementpo#licy in tional (7),i.e.,foranypolicy in ,weset
such that (cid:21)(cid:11) (cid:21) (cid:12)
(21)
(cid:12)(cid:0)(cid:1)(cid:27)#(cid:2)
(cid:25)(cid:21)(cid:0)(cid:21)(cid:2) (cid:15)(cid:3) (cid:25)(cid:22)(cid:3)(cid:0)(cid:21)(cid:2)
(cid:11) (cid:9)
(cid:25)(cid:8)(cid:0)(cid:21) (cid:2) (cid:0)(cid:25)(cid:8)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:0)(cid:1)(cid:27)#(cid:2)(cid:5) (cid:1)
(cid:3) (cid:31)(cid:6)(cid:13)(cid:22)(cid:21) (cid:3)(cid:7) (cid:2)(cid:25)(cid:16)(cid:0) (cid:6)(cid:5)(cid:15)(cid:0)(cid:26)%(cid:21)(cid:0)(cid:16)(cid:0)(cid:2) (cid:5)
We refer to any such policy (cid:11) as a constrained optimal (cid:9)(cid:1)(cid:2) (cid:18) (cid:24)(cid:1) (cid:7)(cid:0)(cid:3)(cid:0) (cid:8)
policy (at level ). With the c(cid:21)hoice (17) this formulation Withthesedefinitions weget (cid:4)
wouldfocuson#minimizing themissratewithabound on
average latency of document retrieval (under the assump-
(cid:25)(cid:22)(cid:3)(cid:0)(cid:21)(cid:2) (cid:0) (cid:25)#(cid:21)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5) (cid:12)
tion that retrieval latency isproportional tothe size ofthe
bystandard properties ofthelimsup,withequality
document toberetrieved).
Onenatural approach tosolving thisproblemistocon-
siderthecorresponding Lagrangian functional definedby (cid:25)(cid:22)(cid:3)(cid:0)(cid:21)(cid:2) (cid:3)(cid:25)#(cid:21)(cid:0)(cid:21)(cid:2)
whenever isaMarkov stationary policy.
(19) For each(cid:21) , the (unconstrained) caching problem
(cid:25)#(cid:21)(cid:0)(cid:21)(cid:2) (cid:3) (cid:25)(cid:8)(cid:0)(cid:21)(cid:2)(cid:24)$(cid:25)(cid:15)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:4) $(cid:13)(cid:23)(cid:5) associated w$ith(cid:13)th(cid:23)e cost is an MDP with finite state
The basic idea is then to find for each , a cache and action spaces. Thus, t%h(cid:21)ere exists a Markov stationary
replacement policy in such that $ (cid:13) (cid:23) policy,denoted ,whichisoptimal,i.e.,
(cid:11)
(cid:21) (cid:0)$(cid:2) (cid:12) (cid:30)(cid:21)
(20)
(cid:25)#(cid:21)(cid:0)(cid:21)(cid:11)(cid:0)$(cid:2)(cid:2) (cid:0)(cid:25)#(cid:21)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:5) (cid:25)(cid:21)(cid:0)(cid:30)(cid:21)(cid:2)(cid:0)(cid:25)(cid:21)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)
andearlier remarksyield
Now, if for some , the policy happens to
(cid:11) (cid:11) (cid:11)
saturate theconstra$int(cid:13)at(cid:23)level ,i.e., (cid:21) (cid:0)$ (cid:2)
# (cid:25)#(cid:21)(cid:0)(cid:30)(cid:21)(cid:2) (cid:0)(cid:25)#(cid:21)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:5)
Inotherwords,theMarkovstationary policy alsomin-
(cid:11) (cid:11)
(cid:25)(cid:15)(cid:0)(cid:21) (cid:0)$ (cid:2)(cid:2) (cid:3)#(cid:4) imizestheLagrangian functional (19),andth(cid:30)e(cid:21)relation
then,theoptimality of implies
(cid:11) (cid:11)
(cid:21) (cid:0)$ (cid:2) (22)
(cid:25)(cid:21)(cid:0)(cid:30)(cid:21)(cid:2) (cid:3) (cid:6)(cid:14)(cid:9) (cid:25)(cid:21)(cid:0)(cid:21)(cid:2) (cid:3) (cid:6)(cid:14)(cid:9) (cid:25)#(cid:21)(cid:0)(cid:21)(cid:2)
(cid:25)#(cid:21)(cid:2)(cid:0)(cid:21)(cid:11)(cid:0)$(cid:11)(cid:2)(cid:2) (cid:0) (cid:25)#(cid:21)(cid:2)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:5) holds. Consequently,(cid:7)(cid:3)a(cid:4)s argued in(cid:7)(cid:3)S(cid:4)ection IV-A, if for
Inparticular,foranypolicy in ,thislastinequal- some , the policy saturates the constraint at
ityreadily leadsto (cid:21) (cid:12)(cid:0)(cid:1)(cid:27)#(cid:2) level $,(cid:11)th(cid:13)en(cid:23)thepolicy (cid:30)w(cid:21)(cid:2)illsolve the constrained op-
timiza#tion problem. (cid:30)(cid:21)(cid:2)
(cid:11) (cid:11) The difficulty of course is that a priori we may have
(cid:25)(cid:8)(cid:0)(cid:21) (cid:0)$ (cid:2)(cid:2) (cid:0)(cid:25)(cid:8)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5)(cid:12)(cid:0)(cid:1)(cid:27)#(cid:2)(cid:4)
forall . However,the arguments given
andthepolicy (cid:11) (cid:11) solvestheconstrained optimization a(cid:25)b(cid:21)o(cid:0)(cid:30)v(cid:21)e(cid:2)st(cid:6)(cid:3)ill#showthat$th(cid:13)es(cid:23)earchfortheconstrainedoptimal
problem. (cid:21) (cid:0)$ (cid:2)
policy can be recast as the problem of finding and
Theonlyglitchinthisapproachresidesintheuseofthe aMarkovstationary policy suchthat & (cid:13) (cid:23)
limsupoperation inthedefinition (7),sothat isnot (cid:30)(cid:11)
necessarily the long-run average cost under(cid:25)p#(cid:21)o(cid:0)li(cid:21)c(cid:2)y for (23)
(cid:11)
someappropriate one-step cost. Thus,findingtheop(cid:21)timal (cid:25)(cid:15)(cid:0)(cid:30) (cid:2) (cid:3)#
and
cache replacement policy specified by (20) cannot
(cid:11)
beachieved inastraightfor(cid:21)w(cid:0)a$rd(cid:2)manner. (cid:11) (24)
(cid:25)(cid:23)(cid:0)(cid:30) (cid:2)(cid:0) (cid:25)(cid:23)(cid:0)(cid:21)(cid:2)(cid:4) (cid:21) (cid:5) (cid:12)(cid:5)
7
C. Onthewaytosolving theconstrained MDP
Proof. For each policy in , the quantities and
The appropriate multiplier and the policy appear-
ingin(23)and(24) willbeide&ntified inSection(cid:30)(cid:11)IV-D. To are non-negative(cid:21)as th(cid:12)e one-step cost(cid:25)f(cid:8)u(cid:0)n(cid:21)c(cid:2)tions
(cid:25)(cid:15)a(cid:0)n(cid:21)d(cid:2) are assumed non-negative. Thus, the mapping
help us in this process we need some technical facts and
(cid:3) (cid:1) isnon-decreasing andaffine,andweconclude
notation whichwenowdevelop.
f$ro(cid:11)m(cid:25)(#2(cid:21)2(cid:0)(cid:21))(cid:2)that the mapping is indeed non-
Theorem2: Theoptimalcostfunction isa
non-decreasingconcavefunctionwhichi$s(cid:11)piec(cid:25)e(cid:21)w(cid:0)(cid:30)i(cid:21)se(cid:2) lin- decreasing and concave. Its$pie(cid:11)cew(cid:25)i(cid:21)s(cid:0)e(cid:30)-l(cid:21)i(cid:2)near character is
astraightforward consequence of(29).
earon .
Som(cid:29)e(cid:30)o(cid:1)bservations areinorderbeforegivingaproofof
Theorem 2: Fix . In view of Theorem 1 we can Inordertoproceed wenowmakethefollowingsimpli-
select asthepo$lic(cid:13)y (cid:23) induced by ,i.e., fyingassumption.
(cid:30)(cid:21) (cid:11)(cid:0) %(cid:21)
(A) Ifforsome ,itholdsthat
(25)
$(cid:13)(cid:23)
(cid:4)(cid:5)(cid:6)(cid:7)(cid:8)(cid:1)(cid:2)(cid:3)(cid:0)(cid:9)(cid:2) (cid:6)$ (cid:9)(cid:3)(cid:10)(cid:11)(cid:12) (cid:13)(cid:6)(cid:14) (cid:0)(cid:3)(cid:0)(cid:8)(cid:2)(cid:24)$(cid:1)(cid:0)(cid:8)(cid:2)(cid:2)(cid:5)
(cid:17)(cid:3)(cid:12)(cid:1)(cid:13)
Let denote the permutation of which or- (cid:7)(cid:0)(cid:9)(cid:2)%(cid:21)(cid:0)(cid:9)(cid:2) (cid:3)(cid:7)(cid:0)(cid:8)(cid:2)%(cid:21)(cid:0)(cid:8)(cid:2)
ders(cid:31)t(cid:21)he values ( (cid:1)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5))(cid:4)(cid:6)in(cid:2)decreasing forsomedistinct ,thentheredoesnot
order, namely (cid:7)(cid:0)(cid:9)(cid:2)%(cid:21)(cid:0)(cid:9)(cid:2) (cid:9) (cid:3) (cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6) exist any (cid:9)w(cid:4)(cid:8)it(cid:3)h (cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6) suchthat
) (cid:6)(cid:3)(cid:9)(cid:4)(cid:8) ) (cid:3)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:6)
(26)
(cid:7)(cid:0)(cid:9)(cid:2)%(cid:21)(cid:0)(cid:9)(cid:2) (cid:3)(cid:7)(cid:0)(cid:8)(cid:2)%(cid:21)(cid:0)(cid:8)(cid:2) (cid:3) (cid:7)(cid:0))(cid:2)%(cid:21)(cid:0))(cid:2)(cid:5)
(cid:7)(cid:0)(cid:31)(cid:21)(cid:0)(cid:1)(cid:2)(cid:2)%(cid:21)(cid:0)(cid:31)(cid:21)(cid:0)(cid:1)(cid:2)(cid:2) (cid:13)(cid:7)(cid:0)(cid:31)(cid:21)(cid:0)"(cid:2)(cid:2)%(cid:21)(cid:0)(cid:31)(cid:21)(cid:0)"(cid:2)(cid:2) (cid:13)(cid:5)(cid:5)(cid:5)
Assumption (A) can be removed at the cost of a more
with a lexicographic tie-breaker. Let denote the
delicateanalysiswithoutaffectingtheessenceoftheopti-
steady-state stack induced by the policy(cid:15)(cid:0)$,(cid:2)namely the
malityresult tobederivedshortly.
collection of documents in the cache tha(cid:30)(cid:21)t results from
For each , the relative position of the
long-term usage ofthepolicy . Obviously, wehave3
quantities ’ (cid:3) (cid:23)(cid:4)(cid:1)((cid:4)(cid:5)(cid:5)(cid:5)(cid:4) ) remains unchanged
(cid:30)(cid:21)
as sweep(cid:7)s(cid:0)(cid:9)t(cid:2)h%r(cid:21)o(cid:0)u(cid:9)g(cid:2)h(cid:9)th(cid:3)e in(cid:1)t(cid:4)e(cid:5)r(cid:5)v(cid:5)a(cid:4)l(cid:6) . Under (A),
(27)
(cid:15)(cid:0)$(cid:2) (cid:3) (cid:1)(cid:31)(cid:21)(cid:0)(cid:1)(cid:2)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:31)(cid:21)(cid:0)(cid:12)(cid:2)(cid:2) wh$engoing through ,as(cid:0)in$g(cid:25)(cid:4)le$(cid:25)r(cid:1)ev(cid:2)e(cid:2)rsal occurs in
therelativeposition w$it(cid:3)h $(cid:25)(cid:1)(cid:2)
sothat
(28)
(cid:25)(cid:21)(cid:0)(cid:30)(cid:21)(cid:2) (cid:3)(cid:25)(cid:22)(cid:3)(cid:0)(cid:30)(cid:21)(cid:2) (cid:3) (cid:7)(cid:0)(cid:9)(cid:2)%(cid:21)(cid:0)(cid:9)(cid:2) (cid:15)(cid:0)$(cid:25)(cid:2) (cid:3)(cid:1)(cid:31)(cid:21)(cid:4)(cid:0)(cid:1)(cid:2)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12) (cid:7)(cid:1)(cid:2)(cid:4)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12)(cid:2)(cid:2)
and
(cid:16)(cid:6)(cid:3)(cid:12)(cid:4)(cid:21)(cid:5)
(cid:4)
uponrephrasing commentsmadeearlier inSection III.
Given the affine nature (in the variable ) of the
(cid:15)(cid:0)$(cid:25)(cid:1)(cid:2)(cid:2)(cid:3)(cid:1)(cid:31)(cid:21)(cid:4)(cid:0)(cid:1)(cid:2)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12) (cid:7)(cid:1)(cid:2)(cid:4)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12) (cid:24)(cid:1)(cid:2)(cid:2)
cost, there must exist a finite and strictly incr$easing se-
Bycontinuity wemusthave
quence of non-zero scalar values in with
such that for$e(cid:2)a(cid:4)c(cid:5)h(cid:5)(cid:5)(cid:4)$(cid:24) (cid:29)(cid:30)(cid:1) , it
h(cid:23)o(cid:13)lds$(cid:2)th(cid:13)at(cid:5)(cid:5)(cid:5) (cid:13) $(cid:24) ’ (cid:3) (cid:23)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4) (cid:7)(cid:0)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12)(cid:2)(cid:2)%(cid:21)(cid:4)(cid:4)(cid:0)(cid:0)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12)(cid:2)(cid:2) (30)
(cid:3) (cid:7)(cid:0)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12) (cid:24)(cid:1)(cid:2)(cid:2)%(cid:21)(cid:4)(cid:4)(cid:0)(cid:0)(cid:31)(cid:21)(cid:4)(cid:0)(cid:12) (cid:24)(cid:1)(cid:2)(cid:2)(cid:5)
Theorem3: Under Assumption (A), the mapping
(cid:15)(cid:0)$(cid:2) (cid:3)(cid:15)(cid:0)$(cid:25)(cid:2)(cid:4) $(cid:5)((cid:25) (cid:15)(cid:3) (cid:25)$(cid:25)(cid:4)$(cid:25)(cid:1)(cid:2)(cid:2) isanon-increasingpiecewiseconstantfunc-
withtheconvention and ,butwith t$io(cid:11)no(cid:25)n(cid:15)(cid:0)(cid:30)(cid:21)(cid:2).
$(cid:0) (cid:3)(cid:23) $(cid:24)(cid:1)(cid:2) (cid:3)(cid:14) (cid:29)(cid:30)(cid:1)
Proof. Theanalog of(29)holds intheform
(cid:15)(cid:0)$(cid:25)(cid:2) (cid:6)(cid:3)(cid:15)(cid:0)$(cid:25)(cid:1)(cid:2)(cid:2)(cid:4) ’(cid:3)(cid:23)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4) (cid:7)(cid:1)(cid:5)
Inviewof(28)itisplainthat
(31)
(cid:25)(cid:15)(cid:0)(cid:30)(cid:21)(cid:2) (cid:3) (cid:7)(cid:0)(cid:9)(cid:2)(cid:1)(cid:0)(cid:9)(cid:2)
(29) (cid:16)(cid:6)(cid:3)(cid:12)(cid:4)(cid:21)(cid:4)(cid:5)
(cid:4)
(cid:25)(cid:21)(cid:0)(cid:30)(cid:21)(cid:2) (cid:3) (cid:7)(cid:0)(cid:9)(cid:2)%(cid:21)(cid:0)(cid:9)(cid:2) whenever belongs to for some . Hence,
(cid:16)(cid:6)(cid:3)(cid:4)(cid:12)(cid:4)(cid:21)(cid:4)(cid:5) themappin$g ((cid:25)ispiecewi’se(cid:3)co(cid:23)n(cid:4)s(cid:5)t(cid:5)a(cid:5)n(cid:4)t.
whenever belongs to forsome . Now pick$ (cid:11) (cid:25)(cid:15)(cid:0)(cid:30)(cid:21)(cid:2) and consider and
$ ((cid:25) ’ (cid:3)(cid:23)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4)
in the open in’te(cid:3)rva(cid:23)ls(cid:4)(cid:1)(cid:4)(cid:5)(cid:5)(cid:5)(cid:4) (cid:7)an(cid:1)d ,$respec*-
Thesteady-statestack givenby(13)correspondstothecase
w(cid:3)ith . (cid:0) (cid:6)(cid:2) tively. The desired m(cid:0)o$n(cid:25)o(cid:4)t$o(cid:25)n(cid:1)i(cid:2)c(cid:2)ty wil(cid:0)l$b(cid:25)e(cid:1)e(cid:2)s(cid:4)t$a(cid:25)b(cid:1)li(cid:6)s(cid:2)hed if we
(cid:3) (cid:7)(cid:2)(cid:7)(cid:2)
8
