Studio di un nuovo algoritmo di stereo matching basato su reti neurali autorganizzanti

147 Pages·2009·20.75 MB·Italian

by  Marco Vanetti

Università degli Studi dell’Insubria
FacoltàdiScienzeMM.FF.NN.
CorsodiLaureaSpecialisticainInformatica
Studio e sviluppo di un nuovo algoritmo
di stereo matching basato su
reti neurali autorganizzanti
Relatore: Dott. IGNAZIOGALLO
Correlatore: Prof. ELISABETTABINAGHI
TesidiLaureaSpecialisticadi
MARCOVANETTI
Matricola: 705145
AnnoAccademico2008-2009

ALauraeame,
perlareciprocasopportazionedurantelastesuradelletesi.
Aimieigenitori,AlessandroeAntonietta,
peravermisupportatoemotivatoduranteglistudi.
AmiofratelloLuca,
perlesvariatepizzeeicinematraunesameel’altro.

Studio e sviluppo di un nuovo algoritmo di stereo matching
basato su reti neurali autorganizzanti
MarcoVanetti
[email protected]
Elaboratofinaleperilcorsodi
LaureaSpecialisticainInformatica
SessionediLaureaAutunnale
(14ottobre2009)
Sommario
Nell’ambito dell’analisi di immagini stereoscopiche, questo lavoro mira a defi-
nire una importante e innovativa estensione di un metodo di stereo matching ba-
sato su reti neurali autorganizzanti. Alla base del modello originale, proposto nel
2007 da Venkatesh, Y.V. et all in [40], vi è una Self-Organizing Map, opportunamente
modificata al fine di risolvere il problema delle corrispondenze stereo e produrre
mappedidisparitàdense. Seppuraffascinanteeinnovativodalpuntodivistame-
todologico,ilmodellooriginalenonpermettevadiraggiungererisultatidiinteresse
operativo. Leestensionielemodifichealmodellopropostoin[40],ispiratearecen-
ti ed efficienti tecniche di stereo matching, migliorano notevolmente la qualità dei
risultatipurmantenendointattalastrutturadibase,caratterizzatadaunapproccio
neurale autorganizzante. Analizzando la letteratura sullo stereo matching si sco-
precomeimetodibasatisuanalisilocalirichiedanogeneralmenteminoritempidi
elaborazioneascapitodiunaqualitàdeirisultatiminore,seconfrontataconquella
ottenuta da algoritmi che trovano le corrispondenze analizzando globalmente le
immagini. Purcollocandositraglialgoritmidicorrispondenzalocali,connotevoli
vantaggi dal punto di vista della semplicità e dell’efficienza, il modello descritto
fornisceottimirisultati,chesuperanoinqualitàmoltialgoritmidistereomatching
globalipropostinegliultimianni.
Parolechiave:
Visionestereo,stereomatching,corrispondenzastereo,
Self-OrganizingMap,mappedidisparità,gestionedelleocclusioni

Prefazione
In questo elaborato viene proposta ed analizzata una innovativa estensione di un
modello neurale basato su Self-Organizing Maps che si presta a risolvere una que-
stione fondamentale della visione stereo: il problema delle corrispondenze. Dal
puntodivistaoperativoilmodelloesteso,chechiameremoStereoSOM,rientranella
categoriadeglialgoritmidistereomatchingdenso1.
Ènotocomeilcervelloumanosfruttilavisionestereoscopicaperdarcimaggio-
ri informazioni sulla profondità degli oggetti che guardiamo. Questo, unitamente
al fatto che esistono all’interno del cervello umano alcune aree che adottano com-
portamentisimilialleretiSOM2,rendeStereoSOMaffascinantee,almenodalpunto
divistaconcettuale,biologicamenteplausibile.
Ritornandoallaclassedeimetodidistereomatchingèpossibilespecificaredue
sottoinsiemidialgoritmi,asecondadicomeilmetodooperasull’immagine.
Si dicono locali quei metodi che, ad ogni passo dell’elaborazione, per trovare
una corrispondenza operano solo su una piccola area delle due immagini. Come
il metodo operi localmente varia molto da algoritmo a algoritmo, alcuni metodi
utilizzano una funzione di similarità o dissimilarità applicata ad una piccola fine-
stra di punti, altri considerano il singolo punto, altri ancora un insieme di punti
dipendentedalcontestolocale.
Si dicono invece globali i metodi che considerano il problema della ricerca del-
le corrispondenze come un problema di minimizzazione di una funzione energia
globale,basatasull’interaimmagine. Solitamenteglialgoritmiglobaliconsiderano
1Glialgoritmidistereomatchingsonoanchedettialgoritmidicorrispondenzastereo;ladicitura
densoindicachel’algoritmodovràtrovarelecorrispondenzeperognipuntodellacoppiadiimmagini
stereoenon,comeaccadeperun’altracategoriadialgoritmidettibasatisullefeature,soloperalcuni
puntispecifici.
2In realtà fu Teuvo Kohonen, uno dei primi ad occuparsi di reti SOM, ad ispirarsi al cervello
umanonelladefinizionedelsuomodellodireteneuraleartificiale.
vii
viii
l’intera immagine come un grafo e usano strategie approssimate per minimizzare
lafunzioneenergia,poichéunaricercaesaustivadelminimosarebbetroppoonero-
sadalpuntodivistacomputazionale. Laqualitàdeirisultatiottenibiliconmetodi
globali è solitamente superiore a quella che gli algoritmi di tipo locale possono
fornire, anche se questi ultimi sono decisamente più semplici dal punto di vista
algoritmico ed efficienti in termini di tempi di esecuzione. Inoltre i metodi loca-
li, per definizione stessa, possono essere facilmente ottimizzati per l’elaborazione
parallela,diventandoancorapiùefficientisualcunearchitetturehardware.
StereoSOM è un metodo di tipo locale ma, sorprendentemente, si vedrà come
la qualità dei suoi risultati superi in accuratezza quella di molti algoritmi globali
presentati negli ultimi anni. Questo rende di fatto il metodo proposto in questo
elaboratounodeipiùaccuratialgoritmilocalidicorrispondenzastereo.
Un ulteriore merito di StereoSOM è quello di non impiegare, a differenza del-
la maggior parte degli algoritmi di stereo matching denso, nessuna fase esplicita
di segmentazione, inoltre non è prevista alcuna fase di estrazione delle feature: le
immagini in input vengono utilizzate direttamente dall’algoritmo e, alla fine del-
l’elaborazione,lemappedidisparitàdensevengonoestrattedirettamentedaipesi
neuralidellareteautorganizzante.
Il contributo finale di questa tesi di laurea è senza dubbio rappresentato dal-
la parte strutturale e algoritmica di StereoSOM e dall’analisi dei risultati ottenuti,
tuttavia è stata redatta nei primi due capitoli una parte introduttiva mirata a pre-
sentare gli aspetti più generali dei sistemi stereoscopici insieme ad alcuni passi
fondamentalinellaletteraturacorrentesullostereomatching. Nellaparteintrodut-
tivariguardanteilproblemadellacorrispondenzastereosaràdatapiùenfasiaquei
punti che con StereoSOM trovano maggior contatto, con l’intenzione di portare il
lettore alla descrizione del modello finale con una chiara e forte consapevolezza
delleproblematichechesidovrannoaffrontare.
Nei capitoli successivi sarà poi discusso l’algoritmo vero e proprio, partendo
dalladescrizioneinizialesucuièbasatol’interolavoro,passandoperladescrizione
dellesingoleestensioniearrivandoinfinealmodelloStereoSOM.
Gliultimicapitoliraccolgonounconsiderevolenumerodiprovepraticheecon-
siderazionimirateavalutare,qualitativamenteequantitativamente,lecaratteristi-
che del modello StereoSOM e i miglioramenti introdotti dalle varie estensioni del
modello originale. Sono stati effettuati inoltre particolari test di robustezza del-
ix
l’algoritmo in condizioni estreme, con stereocoppie deteriorate artificialmente o
catturateconstrumentipocosofisticati.
Per quanto riguarda i test quantitativi, le metodologie impiegate sono quelle
maggiormente usate nella letteratura sullo stereo matching e si basano su un noto
insieme di dataset forniti dal Middlebury College [41], dove è attivo un importan-
te gruppo di ricerca nell’ambito della computer vision, multi-vision e stereo mat-
ching.
MarcoVanetti