Appearance-based teach and replay navigation method for unmanned aerial vehicles

139 Pages·2016·40.54 MB·English

by  Matias Nitsche

UNIVERSIDAD DE BUENOS AIRES
FACULTAD DE CIENCIAS EXACTAS Y NATURALES
DEPARTAMENTO DE COMPUTACIÓN
Método de navegación basado en
aprendizaje y repetición autónoma para
vehículos aéreos no tripulados
Tesispresentadaparaoptaraltítulode
DoctordelaUniversidaddeBuenosAireseneláreadeCienciasdelaComputación
Lic. Matías Nitsche
DirectoradeTesis: Dra. MartaE.Mejail
DirectorAsistente: Dr. MiroslavKulich
ConsejeradeEstudios: Dra. MartaE.Mejail
LugardeTrabajo: LaboratoriodeRobóticaySistemasEmbebidos(LRSE),Departamento
deComputación
BuenosAires,20deFebrerode2016

Método de navegación basado en aprendizaje y repetición autónoma
para vehículos aéreos no tripulados
EnestatesissepresentaunmétodobasadoenlatécnicadeAprendizajeyRepetición(teach&repeatoTnR)
paralanavegaciónautónomadeVehículosAéreosNoTripulados(VANTs).Bajoestatécnicasedistinguen
dosfases:unadeaprendizaje(teach)yotradenavegaciónautónoma(repeat).Durantelaetapadeaprendi-
zaje, el VANT es guiado manualmente a través del entorno, definiendo así un camino a repetir. Luego, el
VANTpuedeserubicadoencualquierpuntodelcamino(generalmente,alcomienzodelmismo)einiciarla
etapadenavegaciónautónoma.EnestasegundafaseelsistemaoperaalazocerradocontrolandoelVANT
con el objetivo de repetir en forma precisa y robusta el camino previamente aprendido. Como principal
sensadoseutilizaunsistemadevisiónmonocular,enconjunciónconsensoresquepermitanestimaracorto
plazoeldesplazamientodelrobotrespectodelentorno,talescomosensoresinercialesydeflujoóptico.
El principal objetivo de este trabajo es el de proponer un método de navegación tipo T&R que pueda
serejecutadoentiemporealyabordodelmismovehículo,sindependerdeunaestaciónterrenaalacual
se delegue parte del procesamiento o de un sistema de localización externa (como por ejemplo GPS, en
ambientesexteriores)odecapturademovimiento(comoporejemploViCon,enambientesinteriores).En
otraspalabras,sebuscaunsistemacompletamenteautónomo.Paraello,seproponeelusodeunenfoque
basado en apariencias (o appearance-based, del inglés), que permite resolver el problema de la localización
delvehículorespectodelmapaenformacualitativayqueescomputacionalmenteeficiente,loquepermite
suejecuciónenhardwaredisponibleabordodelvehículo.
La solución propuesta se diferencia del típico esquema de Localización y Mapeo Simultáneo (Simulta-
neousLocalizationandMappingoSLAM)medianteelcualseestimalaposedelrobot(yladelosobjetosdel
entorno) en forma absoluta con respecto a un sistema de coordenadas global. Bajo dicho esquema, como
consecuencia,elerrorenlaestimacióndelaposeseacumulaenformanoacotada,limitandosuutilización
enelcontextodeunanavegaciónalargoplazo,amenosqueserealicencorreccionesglobalesenformape-
riódica(detecciónycierredeciclos).Estoimponeelusodetécnicascomputacionalmentecostosas,locual
dificultasuejecuciónentiemporealsobrehardwarequepuedaserllevadoabordodeunrobotaéreo.
En contraste, bajo el enfoque propuesto en esta tesis, la localización se resuelve en forma relativa a un
sistemadecoordenadaslocalcercanoalvehículo(esdecir,unareferenciasobreelcamino)queesdetermi-
nadomedianteunesquemadefiltrodepartículas(LocalizacióndeMonteCarlo).Estoselogracomparando
laaparienciadelentornoentrelaetapadeaprendizajeyladenavegación,medianteelempleodecaracterís-
ticasvisualessalientes(imagefeatures)detectadasendichasetapas.Finalmente,utilizandounaleydecontrol
simple, se logra guiar al robot sobre el camino, a partir de reducir la diferencia entre la posición aparente
delosobjetosdelentornoentreambasetapas,productodeldesplazamientoydiferenciasdeorientaciondel
robotrespectodelmismo.
Comopartedeldesarrollodeltrabajodetesis,sepresentatantolaformulaciónydescripcióndelmétodo
como el diseño y construcción de una plataforma VANT, sobre la cual se realizaron los experimentos de
navegación.Asimismo,seexhibenexperimentostantoconplataformasaéreasenentornossimuladoscomo
sobre plataformas terrestres, dado que el método es aplicable también a los mismos. Con los resultados
obtenidossedemuestralafactibilidadyprecisióndelosmétodosdelocalizaciónynavegaciónpropuestos,
ejecutandoenhardwareabordodeunrobotaéreoentiempo-real.Así,conestatesissepresentaunaporte
alestadodelarteenloquerefiereatemasdenavegaciónautónomabasadaenvisión,particularmente(pero
noexclusivamente)paraelcasoderobotsaéreos.
Palabrasclave:robótica,navegación,VANT,autonomía,visión

Appearance-based teach and repeat navigation method for unmanned
aerial vehicles
This thesis presents a method based on the Teach & Repeat (TnR) technique for the autonomous nav-
igation of Unmanned Aerial Vehicles (UAVs). With this technique, two phases can be distinguished: a
learningphase(teach)andanautonomousnavigation(repeat)phase. Duringthelearningstage, theUAV
is manually guided through the environment, thus defining a path to repeat. Then, the UAV can be posi-
tionedinanypointofthepath(usuallyatthebeginningofit)andtheautonomousnavigationphasecanbe
started. Inthissecondphasethesystemoperatesinclosed-loopcontrollingtheUAVinordertoaccurately
and robustly repeat the previously learned path. Monocular vision is used as the main sensing system in
conjunction with other sensors used to obtained short-term estimates of the movement of the robot with
respecttotheenvironment,suchasinertialandopticalflowsensors.
The main goal of this work is to propose a T&R navigation method that can be run in real-time and
on-board the same vehicle, without relying on a ground control-station to which part of the processing
is delegated or on external localization (for example GPS, in outdoor environments) or motion capture
(suchasVICON,forindoorsettings)systems. Inotherwords,acompletelyautonomoussystemissought.
To this end, an appearance-based approach is employed, which allows to solve the localization problem
withrespecttothemapqualitativelyandcomputationallyefficient,whichinturnsallowsitsexecutionon
hardwareavailableon-boardthevehicle.
TheproposedsolutionschemediffersfromthetypicalSimultaneousLocalizationandMapping(SLAM)
approachunderwhichtheposeoftherobot(andtheobjectsintheenvironment)areestimatedinabsolute
terms with respect to a global coordinate system. Under SLAM, therefore, the error in the pose estima-
tionaccumulatesinunboundedform, limitingitsuseinthecontextoflong-termnavigationunlessglobal
corrections are made periodically (loop detection and closure). This imposes the use of computationally
expensivetechniques,whichhindersitsexecutioninrealtimeonhardwarethatcanbecarriedon-boardan
aerialrobot.
Incontrast,undertheapproachproposedinthisthesis,thelocalizationissolvedrelativetoalocalcoor-
dinatesystemnearthevehicle(i.e.areferenceoverthepath)whichisdeterminedbyaparticle-filterscheme
(MonteCarloLocalizationorMCL).Thisisaccomplishedbycomparingtheappearanceoftheenvironment
betweenthelearningandnavigationstagesthroughtheuseofsalientvisualfeaturesdetectedinsaidsteps.
Finally,usingasimplecontrollaw,therobotiseffectivelyguidedoverthepath,bymeansofreducingthe
difference in the apparent position of objects in the environment between the two stages, caused by the
vehicle’sdisplacementwithrespecttothepath.
Aspartofthedevelopmentofthethesis,boththeformulationanddescriptionofthemethod,andthede-
signandconstructionofaUAVplatform,onwhichnavigationexperimentswereconducted,arepresented.
Moreover,experimentsusingaerialplatformsinsimulatedenvironmentsandusingterrestrialplatformsare
alsopresented,giventhattheproposedmethodisalsoapplicabletothelatter. Withtheobtainedresultsthe
feasibilityandprecisionoftheproposedlocalizationandnavigationmethodsaredemonstrated,whileexe-
cutingon-boardanaerialrobotandinreal-time.Thus,thisthesisrepresentsacontributiontothestateofthe
artwhenitcomestotheproblemofvision-basedautonomousnavigation,particularly(butnotexclusively)
forthecaseofaerialrobots.
Key-words: robotics,navigation,UAV,autonomy,vision

7
A Oma

9
Agradecimientos
QuieroagradeceralaProfesoraMartaMejailporhabermeofrecidoungranapoyoalolargodeestosaños,
nosoloviniendodesdeelámbitoacadémicosinotambiéndesdelopersonal.
QuieroagradecerenormementeamiscompañerosenelLRSE,yaquesinsuguía,ayudaybuenaonda,
afrontareltrabajoqueconllevóestatesisnohubierasidolomismo.
Agradezco las discusiones con Taihú Pire, quien siempre logró que tenga una mirada distinta sobre lo
quedabaporhecho.
AgradezcoaThomasFischer,portenersiemprelamejorondayganasdeayudarenloquefuera.
AgradezcoaFacundoPessacgporentusiasmarseconcualquieradelosproblemasqueleplanteara,quien
meayudoabajaratierramuchasideasqueteníaenelaireyporcompartirelgustoporlos“fierros”.
AgradezcoaPabloDeCristóforis,conquiencrecíenormemente,quienfueunaguíaconstanteyquien,
junto a Javier Caccavelli y Sol Pedre, me abrió las puertas al Laboratorio con la mejor onda, haciéndome
sentirpartedelgrupodesdeelprimerdía.
Estoyagradecidocontodoslosmiembrosdelgrupoengeneral,conquienesnosanimamosahacercrecer
ungrupodeinvestigacióncasidesdesuscimientos,trabajandoincontableshorasyhaciendolosmejoresde
nuestrosesfuerzos.
Agradezco a todos aquellos que ponen su granito de arena en desarrollar el software libre en el que
casi totalmente se basó mi trabajo de tesis y agradezco la posibilidad de hacer una devolución también
contribuyendomisdesarrollos.
AgradezcolaposibilidadquemeofreciólaEducaciónPública,yaquieneslahicieronyhacenposible,
permitiendomiformaciónydesarrollopersonalenelpaís.
Agradezcoamispadres,quieneshicieronposiblequemededicaraaalgoquemeapasionayquevamás
alládeuntrabajo.
Agradezcoamihermanaporsiempreentendermeyapoyarme.
AgradezcoaOma,aquienestatesisestádedicada,porhaberestadopresenteenmidefensadeTesisde
Licenciatura.
Porúltimoynomenor,estoyenormementeagradecidoconAle,porcompartirlapasiónporlafotografía
ylaciencia,conquiensientoquecrecíentodosentido,quienmediocorajeyfuerzatantoparaafrontarmis
miedoscomoparaalcanzarmisanhelos,conquiensoñamosjuntos,quienmebancódurantemissesiones
maratónicasdeescrituradetesis,yporinfinidadderazonesquenoentraríanenestatesis.
Atodosyalosquenonombréperodeberíahabernombrado,
Gracias.