Methods to evaluate accuracy-energy trade-off in operator-level approximate computing

205 Pages·2017·9.82 MB·English

by  Benjamin Barrois

Methods to evaluate accuracy-energy trade-off in
operator-level approximate computing
Benjamin Barrois
To cite this version:
Benjamin Barrois. Methods to evaluate accuracy-energy trade-off in operator-level approximate com-
puting. Computer Arithmetic. Université Rennes 1, 2017. English. ￿NNT: 2017REN1S097￿. ￿tel-
01665015v2￿
HAL Id: tel-01665015
https://theses.hal.science/tel-01665015v2
Submitted on 29 Mar 2018
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
ANNÉE 2017
THÈSE / UNIVERSITÉ DE RENNES 1
sous le sceau de l’Université Européenne de Bretagne
pour le grade de
DOCTEUR DE L’UNIVERSITÉ DE RENNES 1
Mention : Traitement du Signal et Télécommunications
École doctorale MathSTIC
présentée par
Benjamin B
ARROIS
préparée à l’unité de recherche IRISA – Equipe CAIRN – UMR 6074
Institut de Recherche en Informatique et Système Aléatoires
Université de Rennes 1 - ENSSAT Lannion
Methods to Thèse soutenue à Rennes
le 11 Décembre 2017
Evaluate devantlejurycomposéde:
To BE DEFINED
/Président
Accuracy-Energy
Marc DURANTON
ExpertInternationalauCEALIST,Saclay/Rapporteur
Alberto BOSIO
Trade-Off in
Maître de Conférences HDR à l’Université de Montpellier,
LIRMM/Rapporteur
Operator-Level Daniel MENARD
Professeuràl’INSARennes/Examinateur
Arnaud TISSERAND
Approximate DirecteurdeRechercheCNRS,Lab-STICC/Examinateur
Anca MOLNOS
ChercheurauCEALETI,Grenoble/Examinatrice
Computing Olivier SENTIEYS
Professeuràl’UniversitédeRennes1/Directeurdethèse

Remerciements
Mes premiers remerciements vont à mon directeur de thèse Olivier Sentieys, qui a cru en
moi dès le master et m’a permis d’effectuer cette thèse. C’est appuyé par son expérience que
j’aipuproduirelesdifférentstravauxprésentésdanscedocumentetm’intégrerdanslesriches
communautéspropresauxdomainesdecestravaux.
Un grand merci à tous ceux qui ont collaboré aux différentes publications de cette thèse.
Ungrandmercitoutd’abordàRengarajanRagavanpouravoiraccueillimescontributionsà
ses travaux, ainsi qu’à tous ceux ayant contribué aux miens : Olivier Sentieys tout d’abord,
KarthickParashar,DanielMenard,etCédricKillian.
Merci aux rapporteurs Marc Duranton et Alberto Bosio pour la relecture de ce docu-
ment. Merci également à tous les membres du jury, Daniel Menard et Anca Molnos, avec
lesquels j’ai eu le privilège de riches échanges scientifiques et humains au travers de l’ANR
Artefact,ArnaudTisserand,avecquijeregrettedenepasavoirpuplustravaillerpourtoutes
lesconnaissancesd’arithmétiquematériellesqu’ilauraitpum’apporter,etencoreunefoisOli-
vierSentieys.
Ungrandmerciauxfinancementsdel’UniversitédeRennes1,grâceauxquelsj’aipuvivre
décemmentpendantces1187joursdetravailintense.
Un immense merci à l’équipe CAIRN pour son accueil et ce cadre fantastique de travail,
toujours dans la bonne humeur, que ce soit à Lannion ou à Rennes. Des remerciements tous
particuliers(dansledésordre)àNicolasS.,Pierre,Mickaël,Hamza,Baptiste,Christophe,Ga-
briel, Karim, Audrey, Nicolas R. et Joel, pour les bons moments à la fois dans les murs de
CAIRNetàl’extérieur.UngrandmerciàAngéliqueetNadiapourleurgrandetolérancedans
lesdeadlines,trèsappréciablesquandonesttrès légèrement tête-en-l’air.
Untendremerciàmesparentsdem’avoirtoujourssoutenuetd’avoirtoujoursétéprésents
malgréladistance.Unementionspécialepourmamère,quim’adonnélecouragedemebattre
contremoi-mêmetoutaulongdecettethèseenvaincantcancersurcancer.
Le plus grand des remerciements va à celle qui partage ma vie et m’a soutenu depuis le
premierjourdecetteentreprise,danslesbonsetmauvaismoments,etsansl’amourdequirien
detoutcelan’auraitétépossible.TendremerciJuliana,etmercid’avancepourtaprésencedans
lesnombreusesnouvellesaventuresquisuivrontetquineseraientriensanstoi.
1
Abstract
During the past decades, significant improvements have been made in computational perfor-
mance and energy efficiency, following Moore’s law. However, the physical limits in sili-
con transistor size are forecast to be reached soon, and finding ways to improve the energy-
performance ratio has become a major stake in research and industry. One of the ways to
increaseenergyefficiencyisthemodificationofnumberrepresentationsanddatasizeusedfor
computations. Today, double precision floating-point computation is a standard. However, it
is now admitted that an important amount of applications could be computed using less ac-
curate representations with no or very small impact on the application output quality. This
paradigm, recently termed asApproximate Computing, has emerged as apromising approach
and has become a major field of research to improve both speed and energy consumption in
embedded and high-performance computing systems. Approximate computing relies on the
ability of many systems and applications to tolerate some loss of quality or optimality in the
computedresult. Byrelaxingtheneedforfullypreciseorcompletelydeterministicoperations,
approximatecomputingtechniquesallowsubstantiallyimprovedenergyefficiency.
Inthisthesis,theerror-performancetrade-offrelaxingtheaccuracyinbasicarithmeticop-
eratorsisaddressed. Afterastudyandaconstructivecriticismoftheexistingwaystoperform
approximatearithmeticoperations,methodsandtoolstoevaluatethecostintermsoferrorand
the impact in terms of performance using different arithmetic paradigms are presented. First,
afteraquickdescriptionofclassicalfloating-pointandfixed-pointarithmetic,aliteraturestudy
of approximate operators is presented. Different techniques to create approximate adders and
multipliers are highlighted by this study, as well as the problem of very variable nature and
amplitudeoftheerrorstheyinduceincomputations. Second,asystem-levelscalabletechnique
toestimatefixed-pointerrorleveragingPowerSpectralDensity(PSD)ispresented. Thistech-
niqueconsidersthespectralnatureofthequantizationnoisefilteredacrossthesystem,leading
to much higher accuracy in error estimation than PSD-agnostic methods, and lower complex-
ity than classical propagation of error mean and variance across the whole system. Then, the
problemofanalyticalestimationoftheerrorofapproximateoperatorsisaddressed. Thevariety
in their behavior and logic structure makes the existing techniques either with high complex-
ity, leading to high memory or computational cost, or with low estimation accuracy. With
theBitwise-ErrorRate(BWER)propagation,wefindagoodcompromisebetweenestimation
complexity and accuracy. Then, a pseudo-simulation technique based on approximate oper-
ators for Voltage Over-Scaling (VOS) is presented. This technique allows for VOS errors to
beestimatedusinghigh-levelsimulationinsteadofextremelylongandmemory-costlySPICE
transistor-levelsimulations.
Another contribution is a comparative study between fixed-point and approximate oper-
ators. To achieve this, an error and performance open-source estimation framework, called
ApxPerf, was developed. Embedding VHDL and C representations of several approximate
operators,ApxPerfautomaticallyestimatesspeed,areaandpoweratgate-leveloftheseop-
erators, as well as their accuracy with several error metrics. The framework can also easily
evaluate the error involved by approximate operators on complex applications, and thus pro-
vide application-related metrics. In this study, we showed that, even if approximate opera-
torscanhavemoreinterestingstand-aloneperformancethanfixed-pointoperators,fixed-point
2
arithmetic provides much higher performance and important energy savings when applied to
real-life applications, thanks to much smaller error and data width. The last contribution is a
comparativestudybetweenfixed-pointandfloating-pointparadigms. Forthis,anewversionof
ApxPerfwasdeveloped,whichaddsanextra-layerofHighLevelSynthesis(HLS)achieved
byMentorGraphicsCatapultCorXilinxVivadoHLS.ApxPerfv2usesauniqueC++source
forbothhardwareperformanceandaccuracyestimationsofapproximateoperators. Theframe-
workcomeswithtemplate-basedsynthesizableC++librariesforintegerapproximateoperators
(apx_fixed)andforcustomfloating-pointoperators(ct_float).
The second version of the framework can also evaluate complex applications, which are
now synthesizable using HLS. After a comparative evaluation of our custom floating-point
librarywithotherexistinglibraries,fixed-pointandfloating-pointparadigmsarefirstcompared
in terms of stand-alone performance and accuracy. Then, they are compared in the context of
K-Means clustering and FFT applications, where the interest of small-width floating-point is
highlighted.
The thesis concludes in the strong interest of reducing the bit-width of arithmetic oper-
ations, but also in the important issues brought by approximation. First, the many integer
approximate operators published with promising important energy savings at low error cost,
seemnottokeeptheirpromiseswhenconsideredatapplicationlevel. Indeed,weshowedthat
fixed-pointarithmeticwithsmallerbit-widthshouldbepreferredtoinexactoperators. Finally,
we emphasize the interest of small-width floating-point for approximate computing. Small
floating-point is demonstrated to be very interesting in low-energy systems, compensating its
overheadwithitshighdynamicrange,itshighflexibilityanditseaseofusefordevelopersand
systemdesigners.
Résumé en Français
Au cours de ces dernières décennies, des améliorations significatives ont été faites en termes
de performances de calcul et de réduction d’énergie, suivant la loi de Moore. Cependant, les
limites physiques liées à la réduction de la taille des transistors à base de silicium sont en
passed’êtreatteintesetlesolutionnementdeceproblèmeestaujourd’huil’undesenjeuxma-
jeursdelarechercheetdel’industrie.L’undesmoyensd’améliorerl’efficacitéénergétiqueest
l’utilisation de différentes représentations des nombres, et l’utilisation de tailles réduites pour
cesreprésentations.Lestandarddereprésentationdesnombresréelsestaujourd’huilavirgule
flottante double-précision. Cependant, il est maintenant admis qu’un important nombre d’ap-
plications pourrait être exécuté en utilisant des représentations de précision inférieure, avec
un impact minime sur la qualité de leurs sorties. Ce paradigme, récemment qualifié de calcul
approximatif ouapproximate computing enanglais,apparaîtcommeuneapprochepromet-
teuseetestdevenul’undessecteursderecherchemajeursvisantàl’améliorationdelavitesse
decalculetdelaconsommationénergétiquepourlessystèmesdecalculembarquésetdehaute
performance.Lecalculapproximatifs’appuiesurlatolérancedebeaucoupdesystèmesetap-
plicationsàlapertedequalitéoud’optimalitédanslerésultatproduit.Enrelâchantlesbesoins
d’extrêmeprécisionderésultatoudeleurdéterminisme,lestechniquesdecalculapproximatif
permettentuneefficacitéénergétiqueconsidérablementaccrue.
Danscettethèse,lecompromisperformance-erreurobtenuenrelâchantlaprécisiondescal-
culsdanslesopérateursarithmétiquesdebaseesttraité.Aprèsl’étudeetunecritiqueconstruc-
tive des moyens existants d’effectuer de manière approximée les opérations arithmétiques de
base,desméthodesetoutilspourl’évaluationducoûtentermesd’erreuretl’impactentermes
deperformancemoyennantl’utilisationdedifférentsparadigmesarithmétiquessontprésentés.
Toutd’abord,aprèsunerapidedescriptiondesarithmétiquesclassiquesquesontlavirguleflot-
tante et la virgule fixe, une étude de la littérature des opérateurs approximatifs est présentée.
Lesprincipalestechniquesdecréationd’additionneursetmultiplieursapproximatifssontsou-
lignées par cette étude, ainsi que le problème de la nature et de l’amplitude très variable des
erreurs induites lors des calculs les utilisant. Dans un second temps, une technique modulaire
d’estimation de l’erreur virgule fixe s’appuyant sur la densité spectrale de puissance est pré-
sentée. Cette technique considère la nature spectrale du bruit de quantification filtré à travers
lesystème,menantàuneprécisionaccruedel’estimationd’erreurcomparéauxméthodesmo-
dulairesneprenantpasencomptecettenaturespectrale,etd’unecomplexitéplusbassequela
propagationclassiquedesmoyenneetvarianced’erreuràtraverslesystèmecomplet.Ensuite,
leproblèmedel’estimationanalytiquedel’erreurproduiteparlesopérateursapproximatifsest
soulevé. La grande variété comportementale et structurelle des opérateurs approximatifs rend
les techniques existante beaucoup plus complexes, ce qui résulte en un fort coût en termes de
mémoireoudepuissancedecalcul,ouaucontraireenunemauvaisequalitéd’estimation.Avec
la technique proposée de propagation du taux d’erreur binaire positionnel, un bon compromis
est trouvé entre la complexité de l’estimation et sa précision. Ensuite, une technique utilisant
lapseudosimulationàbased’opérateursarithmétiquesapproximatifspourlareproductiondes
effets de la VOS est présentée. Cette technique permet d’utiliser des simulations haut niveau
pourestimerleserreursliéesàlaVOSenlieuetplacedesimulationsSPICEniveautransistor,
extrêmementlonguesetcoûteusesenmémoire.
4
Uneétudecomparativeentrevirgulefixeetoperateursapproximatifsconstitueunecontri-
butionsupplémentaire.Pourcetteétude,unoutillibred’estimationd’erreuretdeperformance
a été développé, ApxPerf. Embarquant des représentations en C et en VHDL d’un certain
nombre d’opérateurs approximatifs, ApxPerf estime de manière automatisée la vitesse, la
surfaceetlapuissance,simuléeauniveauporteslogiques,ainsiqueleurprécisionensebasant
sur plusieurs métriques complémentaires. ApxPerf permet également d’évaluer de manière
simple l’erreur induite par l’utilisation d’opérateurs approximatifs sur des applications com-
plexes, en fournissant des résultats basés sur des métriques pertinentes dans le contexte de
l’application.Cetteétudemontreque,bienquelesopérateursarithmétiquessoientcapablesde
meilleuresperformancescomparésauxopérateursvirgulefixelorsqu’ilssontcomparésdema-
nièreatomique,l’arithmétiquevirgulefixeproduitdebienmeilleursrésultatsentermed’erreur
et d’importants gains énergétiques dans un contexte applicatif, grâce notamment à une erreur
équivalenteobtenueavecdestaillesdedonnéesbieninférieures.
L’ultime contribution de cette thèse est l’étude comparative entre les paradigmes virgule
fixeetvirguleflottante.Pourcela,unenouvelleversiond’ApxPerfaétédéveloppée,ajoutant
une couche supplémentaire de synthèse haut niveau (HLS), assurée par Catapult C de Mentor
Graphics ou Vivado HLS de Xilinx. La seconde version d’ApxPerf ne prend plus en entrée
qu’une unique source C++ servant à la fois pour l’estimation des performances matérielles et
en termesd’erreur des opérateursapproximatifs. Cette nouvelleversion embarque unebiblio-
thèque synthétisable d’opérateurs approximatifs basée sur des templates C++, apx_fixed,
ainsi qu’une bibliothèque synthétisable d’opérateurs virgule flottante simplifiés, ct_float.
Des applications complexes sont également incluses, synthétisables par HLS. Après une éva-
luation comparative de ct_float et d’autres bibliothèques existantes, les arithmétiques vir-
gule fixe et virgule flottante sont tout d’abord comparées en terme de performance matérielle
brute,puisentermedeperformanceetd’erreurdanslecontextedelaclassificationK-Meanset
delatransforméedeFourierrapide(FFT),oùlesintérêtsetinconvénientsdesnombreflottants
depetitetaillesontsoulignés.
Lathèseconclutsurlefortintérêtliéàlaréductiondelatailledesopérationsarithmétiques,
mais aussi des problèmes apportés par cette approximation. En premier lieu, les nombreux
opérateursentierspubliéspromettantd’importantsgainsenénergieavecunfaiblecoûtd’erreur
nesemblentpastenirleurspromesseslorsqu’ilssontconsidérésdansuncontexteapplicatif.En
effet, il a été montré dans cette thèse que l’utilisation de l’arithmétique virgule fixe avec des
tailles de données réduites donnait de meilleurs résultats. L’arithmétique flottante a quant à
elle démontré pouvoir être intéressante même dans les systèmes à faible énergie, compensant
son surcoût par sa forte dynamique, sa grande flexibilité et sa facilité d’utilisation pour les
développeursetlesconcepteursdesystèmes.

Contents
Contents 5
Introduction 9
1 Trading Accuracy for Performance in Computing Systems 13
1.1 VariousMethodstoTradeAccuracyforPerformance . . . . . . . . . . . . . . 13
1.1.1 VoltageOverscaling . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.1.2 AlgorithmicApproximations . . . . . . . . . . . . . . . . . . . . . . . 14
1.1.3 ApproximateBasicArithmetic . . . . . . . . . . . . . . . . . . . . . . 15
1.2 RelaxingAccuracyUsingFloating-PointArithmetic. . . . . . . . . . . . . . . 15
1.2.1 Floating-PointRepresentationforRealNumbers . . . . . . . . . . . . 15
1.2.2 Floating-PointAddition/SubtractionandMultiplication . . . . . . . . . 17
1.2.3 PotentialforRelaxingAccuracyinFloating-PointArithmetic . . . . . 20
1.3 RelaxingAccuracyUsingFixed-PointArithmetic . . . . . . . . . . . . . . . . 21
1.3.1 Fixed-PointRepresentationforRealNumbers . . . . . . . . . . . . . . 21
1.3.2 QuantizationandRounding . . . . . . . . . . . . . . . . . . . . . . . 22
1.3.3 AdditionandSubtractioninFixed-PointRepresentation . . . . . . . . 27
1.3.4 MultiplicationinFixed-PointRepresentation . . . . . . . . . . . . . . 31
1.4 RelaxingAccuracyUsingApproximateOperators . . . . . . . . . . . . . . . . 36
1.4.1 ApproximateIntegerAddition . . . . . . . . . . . . . . . . . . . . . . 36
1.4.1.1 SampleAdder,AlmostCorrectAdderandVariableLatency
SpeculativeAdder . . . . . . . . . . . . . . . . . . . . . . . 38
1.4.1.2 Error-TolerantAdders . . . . . . . . . . . . . . . . . . . . . 43
1.4.1.3 Accuracy-ConfigurableApproximateAdder . . . . . . . . . 50
1.4.1.4 Gracefully-DegradingAdder . . . . . . . . . . . . . . . . . 55
1.4.1.5 AdditionUsingApproximateFull-AdderLogic . . . . . . . 61
1.4.1.6 Approximate Adders by Probabilistic Pruning of Existing
Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
1.4.2 ApproximateIntegerMultiplication . . . . . . . . . . . . . . . . . . . 67
1.4.2.1 ApproximateArrayMultipliers . . . . . . . . . . . . . . . . 68
1.4.2.2 Error-TolerantMultiplier . . . . . . . . . . . . . . . . . . . 74
1.4.2.3 ApproximateMultipliersusingModifiedBoothEncoding . . 77
1.4.2.4 DynamicRangeUnbiasedMultiplier . . . . . . . . . . . . . 87
5