vision-based perception for localization of autonomous agricultural robots

164 Pages·2017·17.76 MB·English

DOCTORAL DISSERTATION
VISION- BASED PER CEPTION FO R
LOCALIZ ATION OF AUTO NOMOUS
AGRICUL TURAL ROB OTS
STEFAN ERICSON
S
T
E
F
A
N
E
R
I
C
S
O
N
AV
GI
S
RI
IO
CN
U-
LB
TA
US
RE
AD
L
P
RE
OR
BC
OE
TP
ST
I
O
N
F
O
R
L
O
C
A
L
I
Z
A
T
I
O
N
O
F
A
U
T
O
N
O
M
O
U
S
2
0
1
7
DOCTORALDISSERTATION
VISION-BASED PERCEPTION FOR LOCALIZATION OF
AUTONOMOUS AGRICULTURAL ROBOTS
STEFANERICSON
Informatics
StefanEricson,2017
DOCTORALDISSERTATION
Title:Vision-basedperceptionforlocalizationofautonomousagriculturalrobots
UNIVERSITYOFSKÖVDE,2017,SWEDEN
www.his.se
Printer: RunitAB,Skövde
ISBN978-91-982690-7-9
DissertationSeriesNo. 16
Tomyfamily

ABSTRACT
Industrialrobotshavebeenusedfordecadesinindustry,whichhasresultedinfully
automatedproductionlines.Theautomationleveloffieldoperationsinagriculture,
however,ismuchlower,eventhoughtherearetasksparticularlysuitedtoautoma-
tion. Oneexampleisweedcontrolinorganicvegetableproduction,whichisstillto
largeextentdonemanually. Whileautonomousrobotsusedinresearchcancarry
outagriculturaltaskslikeweedcontrol,therearestilltechnicalchallengesrelating
toreliabilityandrobustness. Robustnessinvolvestheabilitytooperateinahighly
dynamic agricultural environment, where dirt, moisture and weather have to be
takenintoaccount. Theprocessofmechanicalweeding,forexample,canbedirty,
andsoanycamerasusedforplantidentificationhavetobemountedfarawayfrom
thetool. Thisthenrequiresthepositionofthetooltobemeasuredrelativetothe
identifiedweed.
This thesis demonstrates how cameras can be used for localization of an agricul-
turalfieldrobot. Simulations,laboratoryexperiments,andrealfieldexperiments
weredonetoevaluatedifferentwaysoflocalizingamobilerobotonanagricultural
field. Thesimulationsgeneratedimagessimilartothoseexpectedinthefield,and
theseimageswereusedtoevaluatespecificparametersordesignchoicesrelating
tothealgorithmsused. Thelaboratoryexperimentstargetedevaluationofdiffer-
entgroundtexturesonasmallscale,whiletherealfieldexperimentsincludeddata
fromdrivingamobilerobotseveralkilometersinanagriculturalfield.
Onemethodofmeasuringtherelativepositionofacameraistotrackchangesbe-
tweenconsecutiveframes,aprocedureknownasvisualodometry. Visualodome-
trywasevaluatedforlocalizationondifferentcamerasetupsincludingdownward-
facingandforward-facingcameras.Thelocalizationcanalsobedonewhilebuilding
amapoftheenvironmentinwhatisknownassimultaneouslocalizationandmap-
ping(SLAM).SLAMwasalsoevaluatedintermsofglobalestimationoftherobot’s
positiononthefield. Thecamerascanalsobeusedtoidentifystructuressuchas
rowsinthefield,andtherobotcanbeprogrammedtofollowtheserows.
Theresultsshowthata2-degree-of-freedomvisualodometrysystemcanbeused
withadownward-facingcameratoestimaterelativepositionovershortdistances,
aswhenestimatingthepositionofatoolrelativetoacropidentificationcamera. A
real-timeimplementationofthisvisualodometrysystemcanalsobeusedincom-
bination with a row detection system to autonomously control a mobile robot so
thatitfollowsarowandknowitsposition. Therowdetectionsystemmeasuresthe
robot’spositionrelativetotherowsbyusingimagesfromaforward-facingcamera.
Ademonstrationrunshowedthatwhentherobotdroveautonomouslyalonga10
metertrack,thepositionerrorattheendpositionwas2%ofthetravelleddistance.
Itwasalsoshownthattherowdetectionsystemcanbeimprovedbyusinganom-
nidirectionalcameraandanalgorithmthatdetectsrowsthatarepicturedasboth
individualplantsandsolidlines. Thissystemcanalsodetectthevanishingpointof
row-structuredfields.
VisualodometryandSLAMcanbeusedforlocalizationwith6degreesoffreedom,
i.e. position(𝑥,𝑦,𝑧)andorientation(𝜃,𝜓,𝜑), inanagriculturalfield. Forward-
I
facingstereocamerasweremoreaccuratethandownward-facingcameras. There-
sultsfromthesimulationsshowthathighresolutionimagesfromstereocameras
withawidebaselineprovideincreasedaccuracy. Themainsourceoferrorisdrift,
whichoccursbecauseoftheaccumulationoferrorsineachframeanalyzed. Errors
canalsooccurwheneithertoofewortoomanyframesareusedforlocalization.The
useoftheSLAMalgorithmovercomestheproblemwithframerateselectionsince
both local and global optimization of the position are performed. This algorithm
also has the ability to close loops, but due to the traditional back-and-forth driv-
ingpatternnoloopswereclosed. Thatledtodrift,especiallyinheadingangle,so
thatthisapproachshowedsimilarperformancetovisualodometryusinganadapted
framerate.Thebestlocalizationaccuracywasobtainedona2.4kilometerrunusing
thealgorithmORB-SLAMwithforward-facingstereocameras.Themedianerrorof
runningthealgorithmfivetimesonthesamedatasetshowedatranslationerrorof
2.63%and0.0321degm−1orientationerror.Thisresultshowsthatitispossibleto
usecamerasforlocalizationonanagriculturalfield.
Thisapproachcouldbeusedtoimprovetherobustnessandreliabilityofexisting
systems, which could potentially enable commercial autonomous field robots to
performagriculturaltasksinaneconomicalandecologicallysustainableway.
II
SAMMANFATTNING
Inomindustrinharrobotaranvändsiårtiondenförautomation,vilketharresulte-
ratiheltautomatiskaproduktionssystem.Automationsnivåninomjordbruketoch
då främst av uppgifter som utförs på åkrarna är mycket lägre, trots att det finns
uppgiftersomärsärskiltlämpligaattautomatisera.Ettexempelärogräsrensning
iekologiskaväxtodlingar,enuppgiftsomidagtillstordelskötsmanuellt.Trotsatt
detfinnsautonomaforskningsrobotarsomkanutföraogräsrensningfinnsdetfort-
farandetekniskautmaningariattgöradessapålitligaochrobusta.Medrobustavses
härförmåganattkunnaarbetaidendynamiskajordbruksmiljöndärrobotenmåste
klaraavattarbetaismuts,fuktocholikaväder.Mekaniskogräsrensningtillexem-
peläroftaväldigtdammigt,såeventuellakamerorsomanvändsförattidentifiera
ogräset måste monteras långt ifrån rensningsverktyget. Detta i sin tur kräver att
verktygetspositionkanbestämmasrelativtdeidentifieradeogräsplantorna.
Denhäravhandlingenvisarhurkamerorkananvändasförpositionsmätningpåett
jordbruksfält.Simuleringar,laborationsexperimentochfältförsökharanvändsför
attutvärderaolikasättattmätapositionenavenmobilrobotpåenåker.Simulato-
rerharanvändsförattskapabilderliknandedesomförväntatsifältochdessahar
användsförattutvärderaspecifikaalgoritmparametrarochdesignval.Laborations-
experimentenharanväntsförattutvärderaolikamarkstrukturervidpositionsbe-
stämningpåkortaavstånd,ochfältförsökensomutförtspåriktigaåkrarinnehåller
datafrånflerakilometerlångakörningarochharanväntsförutvärderingavlokali-
seringsalgoritmerpååkern.
Ettsättattmätarelativkamerapositionärattföljaändringarmellantvåbilder,så
kallad visuell odometri (eng. visual odometry). Visuell odometri utvärderas i av-
handlingenförlokaliseringmedolikakamerakonfigurationersåsomnedåtriktade
ellerframåtriktadekameror.Lokaliseringkanävenutförasgenomattsamtidigtska-
paenkartaöveromgivningen,såkalladSLAM.Påsåsättkanrobotensglobalapo-
sitionpåfältetmätas.Kamerankanävenanvändasförattdetekteraolikamönsteri
fältet,tillexempelrader.Robotenkansedanprogrammerasförattföljadessarader.
Resultatfrånavhandlingenvisarattvisuellodometrikananvändaspånedåtrikta-
dekamerorförattmätadenrelativapositionenpåkortaavstånditvåfrihetsgra-
der. Detta kan användas för att estimera positionen av ett verktyg relativt till ex-
empelenogräskamera.Genomattimplementeraalgoritmenförrealtidikombina-
tionmedettsystemförraddekteringkanrobotenautonomtföljaenradsamtidigt
somdetärmöjligtattvetarobotensposition.Raddetekteringssystemetmäterro-
botenspositionrelativtradernamedhjälpavbilderfrånenframåtriktadkamera.
Endemonstrationvisarattrobotenkanföljaenradutefteren10metersbanaoch
positionsfeletmättvidslutpositionenär2%avkördsträcka.Försökvisarocksåatt
raddetekteringssystemetkanförbättrasgenomattanvändaenruntseendekamera
(medsynfältpå360∘)ochenalgoritmsomklararavattdetekterabådeindividuella
plantorochhelarader.Systemetkanävenmätapositionenpåflyktpunktenavett
fältmedrader.
Visual odometry och SLAM kan användas för lokalisering med sex frihetsgrader,
dvs. position (𝑥,𝑦,𝑧) och riktning (𝜃,𝜓,𝜑), på en åker. Framåtriktade kameror
III
gerbättrenoggrannhetipositionenjämförtmednedåtriktadekameror.Resultaten
från simuleringarna visar att en högre upplösning och ett längre avstånd mellan
stereokamerorgerenökadnoggrannhet.Denstörstafelkällanärdriftsomberorpå
attfelfrånvarjeanalyseradbildackumuleras.Bådeförhögochförlågbildfrekvens
orsakarökatfel.AnvändningavenSLAMalgoritmlöserproblemetmedatthitta
optimalbildfrekvensdåbådeenlokalochglobaloptimeringavpositionenutförs.
SLAM har även förmågan att detektera och korrigera fel då roboten återkommer
tillentidigarebesöktposition.Dettavardockingetsominträffadeundernågotav
fältförsökendärrobotenkördesframochtillbakspåenåker.Dettaleddetilldrift
avfrämstorienteringen,vilketresulteradeienfelaktighetipositionenliknandeden
somvisuellodometrigett.Bästresultatuppnåddespåett2.4kmförsökgenomatt
användaalgoritmenORB-SLAMpå deframåtriktade kamerorna.Medianfelet för
femanalysermedalgoritmenvisadepåettpositionsfelpå2.63%avkördsträcka,
samt0.0321graderpermeterirotationsfel.Dethärresultatetvisarattdetärmöjligt
attanvändakamerorförlokaliseringpåenåker.
Denhärmetodenskullekunnaanvändasförattförbättrarobusthetenochpålitlig-
hetenhosexisterandesystem,vilketocksåskullekunnamöjliggörakommersiella
autonomarobotarsomkanutförajordbruksuppgifterpåettekonomisktochekolo-
giskthållbartsätt.
IV