Table Of Content““WWrriittee OOnnccee,,
PPaarraalllleelliizzee AAnnyywwhheerree””
TThhee FFllooww PPrrooggrraammmmiinngg LLaanngguuaaggee::
AAnn iimmpplliicciittllyy--ppaarraalllleelliizziinngg,, pprrooggrraammmmeerr--ssaaffee llaanngguuaaggee
Luke Hutchison
MMoooorree''ss LLaaww
TThhee nnuummbbeerr ooff ttrraannssiissttoorrss tthhaatt ccaann bbee ppllaacceedd
●
iinneexxppeennssiivveellyy oonn aann iinntteeggrraatteedd cciirrccuuiitt hhaass
ddoouubblleedd aapppprrooxxiimmaatteellyy eevveerryy ttwwoo yyeeaarrss..
MMoooorree''ss LLaaww
CCoommppuuttiinngg iiss wwoorrkk;; ttrraannssiissttoorrss ddoo wwoorrkk;; mmoorree ttrraannssiissttoorrss
●
wwoorrkkiinngg iinn ppaarraalllleell sshhoouulldd yyiieelldd ffaasstteerr ccoommppuutteerrss
==>> MMoooorree''ss LLaaww hhaass ((ssoo ffaarr)) aallssoo aapppplliieedd ttoo CCPPUU ssppeeeedd
●
BBUUTT nnooww wwee''rree hhiittttiinngg mmuullttiippllee wwaallllss::
●
TTrraannssiissttoorr ssiizzee
●
ttuunnnneelliinngg;; lliitthhooggrraapphhyy ffeeaattuurree ssiizzee vvss.. wwaavveelleennggtthh
–
nnoo mmoorree 22DD ddeennssiittyy iinnccrreeaasseess
–
TThheerrmmaall eennvveellooppee
●
ffuunnccttiioonn ooff ffrreeqquueennccyy aanndd ffeeaattuurree ssiizzee ==>>
–
wwee hhaavvee hhiitt aa cclloocckkssppeeeedd wwaallll
DDaattaa wwiiddtthh
●
112288--bbiitt CCPPUUss?? NNeeeedd ppaarraalllleell ccoonnttrrooll ffllooww iinnsstteeaadd
–
BBuutt iitt''ss wwoorrssee tthhaann tthhaatt
IItt''ss nnoott jjuusstt tthhee eenndd ooff MMoooorree''ss LLaaww......
......iitt''ss tthhee bbeeggiinnnniinngg ooff aann eerraa ooff bbuuggggiieerr ssooffttwwaarree..
HHuummaannss wwiillll nneevveerr bbee ggoooodd aatt
wwrriittiinngg mmuullttii--tthhrreeaaddeedd ccooddee ––
oouurr bbrraaiinnss ssiimmppllyy ddoonn''tt wwoorrkk lliikkee tthhaatt..
((AAbbssttrraaccttiioonnss lliikkee FFuuttuurreess oonnllyy hheellpp aa lliittttllee bbiitt..))
PPaarraalllleell PPrrooggrraammmmiinngg TToooollsseett
TTrraaddiittiioonnaall lloocckkss:: mmuutteexx,, sseemmaapphhoorree eettcc..
●
LLiibbrraarriieess:: jjaavvaa..llaanngg..ccoonnccuurrrreenntt
●
MMeessssaaggee ppaassssiinngg:: MMPPII;; AAccttoorr mmooddeell ((EErrllaanngg))
●
FFuuttuurreess,, cchhaannnneellss,, SSTTMM
●
MMaappRReedduuccee
●
AArrrraayy pprrooggrraammmmiinngg
●
JJaavvaa77 PPaarraalllleellAArrrraayy
●
IInntteell CCoonnccuurrrreenntt CCoolllleeccttiioonnss ((CCnnCC))
●
IInntteell AArrrraayy BBuuiillddiinnggBBlloocckkss ((AArrBBBB))
●
DDaattaa PPaarraalllleell HHaasskkeellll ((DDPPHH))
●
ZZPPLL
●
BBuutt——aallll rreeqquuiirree pprrooggrraammmmeerr sskkiillll,, eexxttrraa eeffffoorrtt aanndd sshhooeehhoorrnniinngg ooff ddeessiiggnn..
HHooww ttoo sshhoooott yyoouurrsseellff iinn tthhee ffoooott
CCllaassssiicc 11999911 –– hhttttpp::////bbiitt..llyy//hhiiwwaaGG11
FFOORRTTRRAANN :: YYoouu sshhoooott yyoouurrsseellff iinn eeaacchh ttooee,, iitteerraattiivveellyy,, uunnttiill yyoouu rruunn oouutt ooff ttooeess,, tthheenn yyoouu
rreeaadd iinn tthhee nneexxtt ffoooott aanndd rreeppeeaatt..
CCOOBBOOLL :: UUSSEEiinngg aa CCOOLLTT 4455 HHAANNDDGGUUNN,, AAIIMM gguunn aatt LLEEGG..FFOOOOTT,, TTHHEENN ppllaaccee
AARRMM..HHAANNDD..FFIINNGGEERR oonn HHAANNDDGGUUNN..TTRRIIGGGGEERR aanndd SSQQUUEEEEZZEE.. TTHHEENN rreettuurrnn HHAANNDDGGUUNN ttoo
HHOOLLSSTTEERR.. CCHHEECCKK wwhheetthheerr sshhooeellaaccee nneeeeddss ttoo bbee rreettiieedd..
LLiisspp :: YYoouu sshhoooott yyoouurrsseellff iinn tthhee aappppeennddaaggee wwhhiicchh hhoollddss tthhee gguunn wwiitthh wwhhiicchh yyoouu sshhoooott
yyoouurrsseellff iinn tthhee aappppeennddaaggee wwhhiicchh hhoollddss tthhee gguunn wwiitthh wwhhiicchh yyoouu sshhoooott yyoouurrsseellff iinn tthhee
aappppeennddaaggee wwhhiicchh hhoollddss......
BBAASSIICC :: YYoouu sshhoooott yyoouurrsseellff iinn tthhee ffoooott wwiitthh aa wwaatteerr ppiissttooll..
FFoorrtthh :: FFoooott yyoouurrsseellff iinn tthhee sshhoooott..
CC++++ :: YYoouu aacccciiddeennttllyy ccrreeaattee aa ddoozzeenn iinnssttaanncceess ooff yyoouurrsseellff aanndd sshhoooott tthheemm aallll iinn tthhee ffoooott..
PPrroovviiddiinngg eemmeerrggeennccyy mmeeddiiccaall aassssiissttaannccee iiss iimmppoossssiibbllee ssiinnccee yyoouu ccaann''tt tteellll wwhhiicchh aarree bbiittwwiissee
ccooppiieess aanndd wwhhiicchh aarree jjuusstt ppooiinnttiinngg aatt ootthheerrss aanndd ssaayyiinngg ""TThhaatt''ss mmee,, oovveerr tthheerree..""
CC :: YYoouu sshhoooott yyoouurrsseellff iinn tthhee ffoooott..
MMyy aaddddiittiioonn:: EExxpplliicciitt ppaarraalllleelliizzaattiioonn iinn aannyy llaanngguuaaggee :: YYoouu sshhoooott iinn tthhee yyoouurrsseellff <<sseeggffaauulltt>>
TThhee ssttaattee ooff MMoooorree''ss LLaaww,, 22001100
""FFiinnddiinngg:: TThheerree iiss nnoo kknnoowwnn aalltteerrnnaattiivvee
ffoorr ssuussttaaiinniinngg ggrroowwtthh iinn ccoommppuuttiinngg ppeerrffoorrmmaannccee;;
hhoowweevveerr,, nnoo ccoommppeelllliinngg pprrooggrraammmmiinngg ppaarraaddiiggmmss
ffoorr ggeenneerraall ppaarraalllleell ssyysstteemmss hhaavvee yyeett eemmeerrggeedd..""
——TThhee FFuuttuurree ooff CCoommppuuttiinngg PPeerrffoorrmmaannccee:: GGaammee OOvveerr oorr NNeexxtt LLeevveell??
FFuulllleerr && MMiilllleetttt ((EEddss..));; CCoommmmiitttteeee oonn SSuussttaaiinniinngg GGrroowwtthh iinn CCoommppuuttiinngg PPeerrffoorrmmaannccee,,
NNaattiioonnaall RReesseeaarrcchh CCoouunncciill,, TThhee NNaattiioonnaall AAccaaddeemmiieess PPrreessss,, 22001100,, pp..8811
==>> TThhee MMuullttiiccoorree DDiilleemmmmaa
TThhee rroooott ooff tthhee pprroobblleemm
PPuurreellyy ffuunnccttiioonnaall pprrooggrraammmmiinngg llaanngguuaaggeess ccaann
●
bbee ssaaffeellyy iimmpplliicciittllyy ppaarraalllleelliizzeedd
NNoo ssiiddee--eeffffeeccttss,, nnoo ssttaattee
●
==>> tthhrreeaaddss ccaannnnoott iinntteerraacctt
●
ee..gg.. sseevveerraall ppaarraalllleell vveerrssiioonnss ooff HHaasskkeellll
●
TThhee rroooott ooff tthhee pprroobblleemm
bbuutt
ppuurreellyy ffuunnccttiioonnaall pprrooggrraammmmiinngg llaanngguuaaggeess
aarree eexxttrreemmeellyy hhaarrdd ffoorr mmeerree mmoorrttaallss
ttoo uussee ttoo ssoollvvee rreeaall--wwoorrlldd pprroobblleemmss..
OOnn tthhee ootthheerr hhaanndd,,
ggeettttiinngg eexxpplliicciitt ppaarraalllleelliizzaattiioonn rriigghhtt ––
aanndd wwrriittiinngg mmuullttiitthhrreeaaddeedd ccooddee qquuiicckkllyy ––
mmaayy aaccttuuaallllyy bbee hhaarrddeerr..
MMeerree mmoorrttaallss
""RReeccoommmmeennddaattiioonn:: IInnvveesstt iinn rreesseeaarrcchh aanndd
ddeevveellooppmmeenntt ooff pprrooggrraammmmiinngg mmeetthhooddss tthhaatt
wwiillll eennaabbllee eeffffiicciieenntt uussee ooff ppaarraalllleell ssyysstteemmss
nnoott oonnllyy bbyy ppaarraalllleell ssyysstteemmss eexxppeerrttss
bbuutt aallssoo bbyy ttyyppiiccaall pprrooggrraammmmeerrss..""
——TThhee FFuuttuurree ooff CCoommppuuttiinngg PPeerrffoorrmmaannccee:: GGaammee OOvveerr oorr NNeexxtt LLeevveell??
FFuulllleerr && MMiilllleetttt ((EEddss..));; CCoommmmiitttteeee oonn SSuussttaaiinniinngg GGrroowwtthh iinn CCoommppuuttiinngg PPeerrffoorrmmaannccee,,
NNaattiioonnaall RReesseeaarrcchh CCoouunncciill,, TThhee NNaattiioonnaall AAccaaddeemmiieess PPrreessss,, 22001100,, pp..9999
Description:The root of the problem but purely functional programming languages are extremely hard for mere mortals to use to solve real-world problems. On the other hand, getting explicit parallelization right – and writing multithreaded code quickly – may actually be harder.
