Human Computation (Synthesis Lectures on Artificial Intelligence and Machine Learning)

123 Pages·2011·3.07 MB·English

by  Edith Law

SSSeeerririeieess s I ISISSSSSNNN:: : 1 11999333999---444666000888 LLL
AAA MMM
WWW
SSSYYYNNNTTTHHHEEESSSIIISSS LLLEEECCCTTTUUURRREEESSS OOONNN AAARRRTTTIIIFFFIIICCCIIIAAALLL • VO • VO • VO &&&CCC MMMooorrrgggaaannn & & & CCClllaaayyypppoooooolll PPPuuubbbllliiissshhheeerrrsss
NNN
IIINNNTTTEEELLLLLLIIIGGGEEENNNCCCEEE AAANNNDDD MMMAAACCCHHHIIINNNEEE LLLEEEAAARRRNNNIIINNNGGG A A A
HHH
NNN
SSSeeerrriiieeesss E EEdddiiitttooorrrsss:::
RRRooonnnaaalldldd J JJ.. . B BBrrraaaccchhhmmmaaannn,, , Y YYaaahhhoooooo!! ! R RReeessseeeaaarrrccchhh,, , W WWiililllliliaiaammm C CCooohhheeennn,, , C CCaaarrrnnneeegggiiieee M MMeeellllloloonnn U UUnnniiivvveeerrrsssiiitttyyy,,, HHHuuummmaaannn CCCooommmpppuuutttaaatttiiiooonnn
aaannnddd T TThhhooommmaaasss G GG.. . D DDiieieetttttteeerrriicicchhh,, , O OOrrreeegggooonnn S SStttaaattteee U UUnnniiivvveeerrrsssiiitttyyy
HHHuuummmaaannn CCCooommmpppuuutttaaatttiiiooonnn
EEEdddiititthhh L LLaaawww a aannnddd L LLuuuiisiss v vvooonnn A AAhhhnnn,, , C CCaaarrrnnneeegggiieiee M MMeeellllloloonnn U UUnnniivivveeerrrssisitittyyy
HHHuuummmaaannn c ccooommmpppuuuttataattitioioonnn i isiss a aa n nneeewww a aannnddd e eevvvooollvlvviininnggg r rreeessseeeaaarrrccchhh a aarrreeeaaa t ththhaaatt t c cceeennntteteerrrsss a aarrrooouuunnnddd h hhaaarrrnnneeessssssiininnggg h hhuuummmaaannn
iininntteteellllliligiggeeennnccceee t totoo s ssooollvlvveee c ccooommmpppuuuttataattitioioonnnaaall l p pprroroobbblleleemmmsss t ththhaaatt t a aarreree b bbeeeyyyooonnnddd t ththheee s sscccooopppeee o ooff f e eexxxiisissttitininnggg A AArrrttitififificicciiaiaall l I IInnntteteellllliligiggeeennnccceee
(((AAAIII))) a aallglggooorrriitiththhmmmsss.. . W WWiitiththh t ththheee g ggrrrooowwwtththh o ooff f t ththheee W WWeeebbb,, , h hhuuummmaaannn c ccooommmpppuuuttataattitioioonnn s ssyyyssstteteemmmsss c ccaaannn n nnooowww l leleevvveeerrraaagggeee t ththheee
aaabbbiilililitititieieesss o ooff f a aannn u uunnnppprrereeccceeedddeeennntteteeddd n nnuuummmbbbeeerrr o ooff f p ppeeeooopppllelee v vviiaiaa t ththheeeWWWeeebbb t totoo p ppeeerrrffofoorrrmmm c ccooommmppplleleexxx c ccooommmpppuuuttataattitioioonnn.. . T TThhheeerreree
HHH
UUU
aaarrreee v vvaaarrriioioouuusss g ggeeennnrrreeesss o ooff f h hhuuummmaaannn c ccooommmpppuuuttataattitioioonnn a aapppppplliliciccaaattitioioonnnsss t ththhaaatt t e eexxxiisisstt t t totoodddaaayyy.. . G GGaaammmeeesss w wwiitiththh a aa p ppuuurrrpppooossseee ( ((eee..g.gg..,.,,
MMM
tththheee E EESSSPPP G GGaaammmeee))) s sspppeeeccciififificiccaaalllllylyy t tataarrrgggeeett t o oonnnllilininneee g ggaaammmeeerrrsss w wwhhhooo g ggeeennneeerrraaattetee u uussseeeffufuull l d ddaaattataa ( ((eee..g.gg..,., , i imimmaaagggeee t tataagggsss))) w wwhhhiililelee AAA
NNN
pppllalaayyyiininnggg a aannn e eennnjjojooyyyaaabbbllelee g ggaaammmeee.. . C CCrroroowwwdddsssooouuurrcrcciininnggg m mmaaarrkrkkeeettptppllalaaccceeesss ( (e(ee..g.gg..,., , A AAmmmaaazzzooonnn M MMeeeccchhhaaannniiciccaaallTlTTuuurrkrkk)) ) a aarreree h hhuuummmaaannn C C C
OOO
cccooommmpppuuuttataattitioioonnn s ssyyyssstteteemmmsss t ththhaaatt t c ccoooooorrrdddiininnaaattetee w wwooorrrkkkeeerrrsss t totoo p ppeeerrrffofoorrrmmm t tataassskkksss i ininn e eexxxccchhhaaannngggeee f fofoorrr m mmooonnneeettataarrryyy r rreeewwwaaarrrdddsss... MMM
EEEdddiiittthhh LLLaaawww
PPP
IIInnn i ididdeeennntttiitittyyy v vveeerrriififificiccaaatttiioioonnn t ttaaassskkksss,, , u uussseeerrrsss p ppeeerrrffofoorrrmmm c ccooommmpppuuutttaaatttiioioonnn i ininn o oorrrdddeeerrr t ttooo g ggaaaiininn a aacccccceeessssss t ttooo s ssooommmeee o oonnnllilininneee UUU
TTT
cccooonnntteteennntt;t; ; a aannn e eexxxaaammmpppllelee i isiss r rreeeCCCAAAPPPTTTCCCHHHAAA,, , w wwhhhiicicchhh l leleevvveeerrraaagggeeesss m mmiilillllilioioonnnsss o ooff f u uussseeerrrsss w wwhhhooo s ssooollvlvveee C CCAAAPPPTTTCCCHHHAAAsss AAA LLLuuuiiisss vvvooonnn AAAhhhnnn
TTT
eeevvveeerrryyy d ddaaayyy t ttooo c ccooorrrrrreeecccttt w wwooorrrdddsss i ininn b bbooooookkksss t tthhhaaattt o ooppptttiiciccaaall l c cchhhaaarrraaacccttteeerrr r rreeecccooogggnnniitittiioioonnn ( ((OOOCCCRRR))) p pprrrooogggrrraaammmsss f fafaaiilil l t ttooo IOIOIO
NNN
rrreeecccooogggnnniizizzeee w wwiitiththh c cceeerrrttataaiininntttyyy...
TTThhhiisiss b bbooooookkk i isiss a aaiimimmeeeddd a aatt t a aaccchhhiieieevvviininnggg f fofoouuurrr g ggoooaaallslss:: : ( ((111))) d ddeeeffifininniininnggg h hhuuummmaaannn c ccooommmpppuuuttataattitioioonnn a aasss a aa r rreeessseeeaaarrrccchhh a aarrreeeaaa;;;
(((222))) p pprrrooovvviididdiininnggg a aa c ccooommmppprrreeehhheeennnsssiivivveee r rreeevvviieieewww o ooff f e eexxxiisissttitininnggg w wwooorrrkkk;; ; ( ((333))) d ddrrraaawwwiininnggg c ccooonnnnnneeecccttitioioonnnsss t totoo a aa w wwiididdeee v vvaaarrriieieetttyyy
oooff f d ddiisissccciipippllilininneeesss,, , i ininnccclluluudddiininnggg A AAIII,, , M MMaaaccchhhiininneee L LLeeeaaarrrnnniininnggg,, , H HHCCCIII,, , M MMeeeccchhhaaannniisissmmm///MMMaaarrrkkkeeett t D DDeeesssiigiggnnn a aannnddd P PPsssyyyccchhhooolloloogggyyy,,,
aaannnddd c ccaaapppttutuurrriininnggg t ththheeeiirirr u uunnniiqiqquuueee p ppeeerrrssspppeeecccttitivivveeesss o oonnn t ththheee c ccooorrreee r rreeessseeeaaarrrccchhh q qquuueeesssttitioioonnnsss i ininn h hhuuummmaaannn c ccooommmpppuuuttataattitioioonnn;; ; a aannnddd
(((444))) s ssuuuggggggeeesssttitininnggg p pprrrooommmiisissiininnggg r rreeessseeeaaarrrccchhh d ddiirirreeecccttitioioonnnsss f fofoorrr t ththheee f fufuuttutuurrreee...
AAAbbbooouuuttt S SSYYYNNNTTTHHHEEESSSIIIsss
TTThhhiisiss v vvooolluluummmeee i isiss a aa p pprririninntteteeddd v vveeerrsrssiioioonnn o ooff f a aa w wwooorrkrkk t ththhaaatt t a aappppppeeeaaarrsrss i ininn t ththheee S SSyyynnntththheeessisisiss
MMM
DDDiigiggiititataall l L LLiibibbrrraaarrryyy o ooff f E EEnnngggiininneeeeeerrriininnggg a aannnddd C CCooommmpppuuutteteerrr S SSccicieieennnccecee.. . S SSyyynnntththheeessisisis s L LLeeecccttutuurrereesss
OOO
ppprroroovvviididdeee c ccooonnnccciisisesee, , ,o oorririgiggiininnaaall l p pprrereesseseennnttataattitioioonnnss s o ooff f i imimmpppooorrtrtataannntt t r rereesseseeaaarrcrcchhh a aannnddd d ddeeevvveeelloloopppmmmeeennnttt RRR
GGG
ttotoopppiiciccss,s , ,p ppuuubbbllilisishshheeeddd q qquuuiicicckkkllyly,y , ,i ininn d ddiigiggiititataall l a aannnddd p pprririninntt t f fofoorrmrmmaaattsts.s . .F FFooorr r m mmooorreree i ininnffofoorrmrmmaaattitioioonnn
AAA
vvviisisisitit t w wwwwwwww..m.mmooorrrgggaaannncccllalaayyypppooooooll.l.c.ccooommm NNN
&&&
IIISSSBBBNNN::: 999777888---111---666000888444555---555111666---444 CCC SSSYYYNNNTTTHHHEEESSSIIISSS LLLEEECCCTTTUUURRREEESSS OOONNN AAARRRTTTIIIFFFIIICCCIIIAAALLL
MMMooorrrgggaaannn & & & CCClllaaayyypppoooooolll PPPuuubbbllliiissshhheeerrrsss 999000000000000 LALALA IIINNNTTTEEELLLLLLIIIGGGEEENNNCCCEEE AAANNNDDD MMMAAACCCHHHIIINNNEEE LLLEEEAAARRRNNNIIINNNGGG
YYY
PPP
wwwwwwwww...mmmooorrrgggaaannnccclllaaayyypppoooooolll...cccooommm OOO
999777888111666000888444555555111666444
OOO
LLL RRRooonnnaaalldldd J JJ.. . B BBrrraaaccchhhmmmaaannn,, , W WWiiillllliliiaaammm C CCooohhheeennn,, , a aannnddd T TThhhooommmaaasss G GG.. . D DDiiieeetttttteeerrriiiccchhh,, , S SSeeerrriiieeesss E EEdddiiitttooorrrsss

Human Computation
Synthesis Lectures on Artificial
Intelligence and Machine
Learning
Editors
RonaldJ.Brachman,YahooResearch
WilliamW.Cohen,CarnegieMellonUniversity
ThomasDietterich,OregonStateUniversity
HumanComputation
EdithLawandLuisvonAhn
2011
TradingAgents
MichaelP.Wellman
2011
VisualObjectRecognition
KristenGraumanandBastianLeibe
2011
LearningwithSupportVectorMachines
ColinCampbellandYimingYing
2011
AlgorithmsforReinforcementLearning
CsabaSzepesvári
2010
DataIntegration:TheRelationalLogicApproach
MichaelGenesereth
2010
MarkovLogic:AnInterfaceLayerforArtificialIntelligence
PedroDomingosandDanielLowd
2009
iii
IntroductiontoSemi-SupervisedLearning
XiaojinZhuandAndrewB.Goldberg
2009
ActionProgrammingLanguages
MichaelThielscher
2008
RepresentationDiscoveryusingHarmonicAnalysis
SridharMahadevan
2008
EssentialsofGameTheory:AConciseMultidisciplinaryIntroduction
KevinLeyton-BrownandYoavShoham
2008
AConciseIntroductiontoMultiagentSystemsandDistributedArtificialIntelligence
NikosVlassis
2007
IntelligentAutonomousRobotics:ARobotSoccerCaseStudy
PeterStone
2007
Copyright© 2011byMorgan&Claypool
Allrightsreserved.Nopartofthispublicationmaybereproduced,storedinaretrievalsystem,ortransmittedin
anyformorbyanymeans—electronic,mechanical,photocopy,recording,oranyotherexceptforbriefquotationsin
printedreviews,withoutthepriorpermissionofthepublisher.
HumanComputation
EdithLawandLuisvonAhn
www.morganclaypool.com
ISBN:9781608455164 paperback
ISBN:9781608455171 ebook
DOI10.2200/S00371ED1V01Y201107AIM013
APublicationintheMorgan&ClaypoolPublishersseries
SYNTHESISLECTURESONARTIFICIALINTELLIGENCEANDMACHINELEARNING
Lecture#13
SeriesEditors:RonaldJ.Brachman,YahooResearch
WilliamW.Cohen,CarnegieMellonUniversity
ThomasDietterich,OregonStateUniversity
SeriesISSN
SynthesisLecturesonArtificialIntelligenceandMachineLearning
Print1939-4608 Electronic1939-4616
Human Computation
Edith Law and Luis von Ahn
CarnegieMellonUniversity
SYNTHESISLECTURESONARTIFICIALINTELLIGENCEANDMACHINE
LEARNING#13
M
&C Morgan &cLaypool publishers
ABSTRACT
Humancomputationisanewandevolvingresearchareathatcentersaroundharnessinghumanintel-
ligencetosolvecomputationalproblemsthatarebeyondthescopeofexistingArtificialIntelligence
(AI) algorithms.With the growth of theWeb,human computation systems can now leverage the
abilitiesofanunprecedentednumberofpeopleviatheWebtoperformcomplexcomputation.There
arevariousgenresofhumancomputationapplicationsthatexisttoday.Gameswithapurpose(e.g.,
theESPGame)specificallytargetonlinegamerswhogenerateusefuldata(e.g.,imagetags)while
playinganenjoyablegame.Crowdsourcingmarketplaces(e.g.,AmazonMechanicalTurk)arehuman
computationsystemsthatcoordinateworkerstoperformtasksinexchangeformonetaryrewards.In
identityverificationtasks,usersperformcomputationinordertogainaccesstosomeonlinecontent;
anexampleisreCAPTCHA,whichleveragesmillionsofuserswhosolveCAPTCHAseveryday
tocorrectwordsinbooksthatopticalcharacterrecognition(OCR)programsfailtorecognizewith
certainty.
Thisbookisaimedatachievingfourgoals:(1)defininghumancomputationasaresearcharea;
(2) providing a comprehensive review of existing work;(3) drawing connections to a wide variety
ofdisciplines,includingAI,MachineLearning,HCI,Mechanism/MarketDesignandPsychology,
andcapturingtheiruniqueperspectivesonthecoreresearchquestionsinhumancomputation;and
(4)suggestingpromisingresearchdirectionsforthefuture.
KEYWORDS
humancomputation,human-in-the-loopalgorithms,outputaggregation,activelearn-
ing,latentclassmodels,taskrouting,labormarkets,gameswithapurpose,taskdesign,
crowdsourcing,mechanismdesign,incentives
To Eric, Jacob and my parents.
– Edith
To Laura.
– Luis