Tracking of Animals Using Airborne Cameras

142 Pages·2016·2.55 MB·English

by  Clas Veibäck

Linköping studies in science and technology. Thesis
No. 1761
Tracking of Animals Using
Airborne Cameras
Clas Veibäck
ThisisaSwedishLicentiate’sThesis.
SwedishpostgraduateeducationleadstoaDoctor’sdegreeand/oraLicentiate’sdegree.
ADoctor’sDegreecomprises240ECTScredits(4yearsoffull-timestudies).
ALicentiate’sdegreecomprises120ECTScredits,
ofwhichatleast60ECTScreditsconstituteaLicentiate’sthesis.
Linköpingstudiesinscienceandtechnology. Thesis
No.1761
TrackingofAnimalsUsingAirborneCameras
ClasVeibäck
[email protected]
www.control.isy.liu.se
DepartmentofElectricalEngineering
LinköpingUniversity
SE-58183Linköping
Sweden
ISBN978-91-7685-671-0 ISSN0280-7971
Copyright©2016ClasVeibäck
PrintedbyLiU-Tryck,Linköping,Sweden2016
Tofamilyandfriends

Abstract
Thevariouselementsofamoderntargettrackingframeworkarecovered. Back-
groundtheoryonpre-processing,modellingandestimationispresentedaswell
assomenovelideasonthetopicbytheauthor. Inaddition,afewapplicationsare
posedastargettrackingproblemsforwhichsolutionsaregraduallyconstructed
asrelevanttheoryiscovered.
Among considered problems are how to constrain targets to a region, use state-
independent measurements to improve estimation in jump Markov models and
howtoincorporateobservationssampledatanuncertaintimeintoastate-space
model.
A framework is developed for tracking dolphins constrained to a basin using
an overhead camera that suffers from occlusions. In this scenario, conventional
motionmodelswouldsufferfrominfeasiblepredictionsoutsidethebasin. Amo-
tionmodelisdevelopedforthedolphinswherecollisionswithnearbywallsare
avoidedbyturning. Thebasinismodelledasapolygonwhereeachpointalong
theedgeinfluencestheturnrateofthedolphin. Theproposedmodelresultsin
predictionsinsidethebasin,increasingrobustnessagainstocclusions. Anexten-
siontoaGaussianmixturebackgroundmodelprovidingadegreeofconfidence
for detections is used to improve tracking in the presence of shadows. A proba-
bilisticdataassociationfilterisalsomodifiedtoestimatethedolphinextensionas
anellipse.Theproposedframeworkisabletomaintaintracksthroughocclusions
andpoorlightconditions.
Aframeworkisdevelopedforestimatingtakeofftimesanddirectionsofbirdsin
circularcagesusinganoverheadcamera. AjumpMarkovmodelisusedtomodel
thestationaryandflightbehavioursofthebirds. Aproposedextensionalsoincor-
porates state-independent measurements, such as blurriness, to improve mode
estimation. Takeoff times and directions are estimated from mode transitions
andresultsarecomparedtomanuallyannotateddata.
The cameras are inaccessible in both applications, disallowing proper calibra-
tions. As an alternative, a method is proposed to estimate stationary camera
modelsfromavailabledataandknownfeaturesinthescene. Amapofthebasin
andthefunneldimensionsareusedrespectively. Themethodestimatesahomog-
raphyanddistortionparametersinaninvertiblemappingfunction.
An extension to the linear Gaussian state-space models is proposed, incorporat-
inganadditionalobservationwithanuncertaintimestamp. Theposteriordistri-
bution of the states is derived for the model, which is shown to be a mixture of
Gaussians,aswellassomeestimatorsforthedistribution. Theeffectsofincorpo-
ratingtheobservationwithanuncertaintimestampintothemodelareanalysed
foraone-dimensionalscenario. ThemodelisalsoappliedtoimprovetheGPSpo-
sitionofanorienteeringsprinterbyusingthecontrolpositionasanobservation
withanuncertaintimestamp.
v

Populärvetenskaplig sammanfattning
Målföljning(eng.targettracking)ärettmogetforskningsområdemedanortillba-
katillåtminstone30-talet.Dåtävladeenhandfullnationerpåblodigtallvarom
attsnabbastkunnaupptäckafiendeninnandetvarförsent.Traditionelltsetthar
målföljning fortsatt att vara starkt förknippat med militära tillämpningar och
det är först på senare år som billiga och kommersiellt tillgängliga sensorer har
öppnatuppförenmängdbetydligtfredligareanvändningsområden.
Målföljningskullekunnabeskrivassomlokaliseringavfrämmandeobjektgenom
attsamlaindatafrånsensorer.Denhäravhandlingenbehandlarmålföljningav
olikasortersdjurdärdataframföralltsamlasinmedvideokameror.Detfinnstvå
bakomliggandesyftenvadgällerdennamålföljningavdjur.Detenahandlarom
attunderlättaforskningförbiologerochdetandrahandlaromattskapatekniska
lösningarförattunderlättaskyddetavsällsyntadjur.
Biologerläggeroftaenansenligmängdtidpåattsamlainochsorteradata.Detär
tid som kan spenderaspå mer givande forskningsaktiviteter. Med videokamera,
bildbehandling och moderna algoritmer för målföljning är det möjligt att i viss
mån automatisera datainsamlingen. Med automatisering kan mer information
samlasinänmedtraditionellametoderochlängreexperimentkanoftagenomfö-
ras.Ytterligareenfördelärattmankanminskapåverkanpådjuren.
Parkvakternaimånganationalparkerkämpardagligenmedintrångfråntjuvjäga-
re.Deharytterstbegränsaderesurserochutsättersinalivförstorfara.Bestånden
minskarfortfarandeförmångadjurartersomgårenmörkframtidtillmötes.För
att vända trenden behövs stora insatser på flera fronter samtidigt. Målföljning
kanbidramedattpåettkostnadseffektivtsätttillhandahållaövervakningavna-
tionalparker.Kännedomomvardjurenbefinnersigunderlättarkoordineringav
parkvakternas insatser för att skydda djuren. Målföljning kan ske med ett fler-
talolikasensorer,såsomradarer,fastuppsattaochluftburnavideokameror,mik-
rofoner som lyssnar efter djurläten och även vittnesmål från parkvakterna. All
insamlad information bidrar till att skapa en helhetsbild av situationen i natio-
nalparkenomdenanvändsrätt.
Att skapa en fullständig och användbar lösning för biologer och parkvakter är
ett väldigt ambitiöst mål. I avhandlingen presenteras bakomliggande teori för
målföljning varvat med författarens egna forskningsbidrag och lösningar för en
handfulltillämpningar.
DenförstatillämpningensompresenterasärettsamarbetemedKolmårdensdjur-
park.Biologeridjurparkenstuderardelfinersbeteendeifångenskap.Idagsläget
markerarstudenterförhandivideovardelfinernabefinnersigibassängen.Med
målföljningsamlasdjurenspositionerinautomatisktutanmänskliginblandning.
Detfrämstabidragetiforskningenärutvecklingenavenmodellförhurdelfiner-
narörsigibassängen.
Den andra tillämpningen som presenteras är ett samarbete med biologer vid
Lundsuniversitetsomstuderarbeteendethosflyttfåglar.Ienmetodfrån60-talet
vii
viii Populärvetenskapligsammanfattning
mätsfåglarsrörelserientratt.Frånreporitrattensomorsakatsvidfåglarnaslyft-
försökanalyserarmanriktningenförlyftförsöken.Medvideokameraochmålfölj-
ningsamlasdjurenspositionerinochenskildalyftförsökdetekterasautomatiskt.
Detfrämstabidragetiforskningenärenmetodförattbättreutnyttjainformation
frånvideontillattdetekteralyftförsöken.
DentredjetillämpningensompresenterasärettförstaförsökiSmartasavanner.
Projektet utförs i samarbete med en nationalpark i Kenya för att lokalisera nos-
hörningarfrånluften.SavannenpåKolmårdensdjurparkharfilmatsmedvärme-
kamera från en obemannad flygande farkost för att samla in data under förhål-
landen som är snarlika de i nationalparken. Målföljning används sedan för att
detekteraochpositionerasavanndjurenivideon.
Den sista tillämpningen som presenteras kommer från en idé om att använda
parkvakternasvittnesmålomkvarlämningarfrånnoshörningarförattförbättra
målföljningen. Å ena sidan är data från videokameror och radarer väldigt nog-
grannaitid,menrelativtosäkraideuppmättapositionerna.Åandrasidankan
positionen för en kvarlämning mätas noggrant samtidigt som det ofta är svårt
att avgöra när noshörningen var på platsen. Genom att utnyttja informationen
från båda källorna kan noshörningars förflyttningar i parken kartläggas bättre.
Denbakomliggandeteorinförobservationermedosäkertidinommålföljningär
relativtoutforskad.Detfrämstabidragetiforskningenärutvecklingenavenme-
todförattutnyttjasådanaobservationer.Ettenkeltteoretisktfallanvändsföratt
analysera metoden. Metoden utvärderas även i en tillämpning för att förbättra
GPS-positioneringen av en orienterare genom att noggrant mäta positionen på
enkontroll.
Acknowledgments
I would like to express my gratitude to my supervisor Dr. Gustaf Hendeby for
always having time for discussions, day and night, despite your high workload.
I would also like to thank my co-supervisor Prof. Fredrik Gustafsson for your
never-ending optimism and resourcefulness. The two of you together make an
awesomeradarpar ofrealismandoptimism.
I would like to thank Prof. Svante Gunnarsson for hiring me as a PhD student
and maintaining an amazing work environment, and Ninna for making things
runsmoothly. WorkingintheAutomaticControlgroupisapleasure.
I am very grateful for all the comments, input and proofreading provided by
Dr. GustafHendeby,Prof. FredrikGustafsson,Dr. MartinSkoglund,Dr. Zoran
Sjanic and Mia Wallberg. Any remaining mistakes are my own. Also, thanks
are in order for Dr. Gustaf Hendeby and Dr. Henrik Tidefelt for providing the
LATEXclassthathasbeenusedtowritethethesis.
IamgratefulforthefinancialsupportgivenbyVinnovaIndustryExcellenceCen-
terLINK-SIC.
ThetimeatAutomaticControlwouldbelessamazingifitwerenotforalltheawe-
some colleagues. Special gratitude goes to Zoran Sjanic, Hanna Nyqvist, Jonas
LinderandMarekSyldatkforalwaysbeingupforsomethingwhentheworkday
isoverandadecentdistractionisneeded. Theabsenceoflowerandupperlimits
onthelevelofdiscussionsisbothveryentertainingandrewarding. Iwouldalso
like to thank my room mate Martin Skoglund for lighting up the day, listening
torants,answeringquestionsandintroducingmetofinemusic. Iamverygrate-
ful for the remaining colleagues, many of whom I have come to call my friends,
GustafHendeby,ChristianAnderssonNaesseth,ManonKok,JohanDahlin,Isak
Nielsen,SinaKhoshfetrat-Pakazad,AndréCarvalhoBittencourt,NiclasEvestedt,
YlvaJung,PatrikAxelsson,DanielPetersson,KarlGranström,ErikHedberg,Mar-
tin Lindfors, Gustav Lindmark, Oskar Ljungqvist, Niklas Wahlström, Daniel Si-
mon,RogerLarsson,TohidArdeshiriandEmreÖzkanamongothers. Thankyou
forfuncompanyonvarioustrips,atthepubandinthefikaroom.
John, Matilda, Vincent and Charles, I am privileged to count you as my closest
friends. When life came crashing down, you were there to help me pick up the
pieces. Mylifewouldnotbewhatitiswithoutyoursupport.
Mor,far andsyster,Iamverygratefulforyoursupportovertheyearsandespe-
ciallyforthemanyamazingtripswehavetakentogether.
MiaandSam,allofasuddenyoucameintomylifeandliftedmyspirit. Iamso
happyforyourloveandsupportandthelifewearebuildingtogether.
Thankyouallforbeingtheamazingpersonsthatyouare!
Linköping,October2016
ClasVeibäck
ix