Arquitectura basada en FPGAs para la detección de objetos en movimiento, utilizando visión ...

323 Pages·2007·5.76 MB·Spanish

ESCUELA POLITÉCNICA SUPERIOR
DEPARTAMENTO DE ELECTRÓNICA

Arquitectura basada en FPGAs para la
detección de objetos en movimiento,
utilizando visión computacional y técnicas
PCA.

Autor:
Ignacio Bravo Muñoz
Directores:
Dr. D. José Luis Lázaro Galilea
Dr. D. Manuel Mazo Quintas

Tesis doctoral

2007

RESUMEN
En esta tesis se plantea una nueva propuesta para la detección de objetos en
movimiento dentro de una escena, mediante una plataforma de propósito específico
construida en base a una FPGA (Field Programmable Gate Array). Este dispositivo
además de encargarse de la captación y gestión de las imágenes en blanco y negro
procedentes de un sensor CMOS, de resolución 1.2M píxeles, realiza la detección de
nuevos objetos presentes en la escena mediante la aplicación de la técnica PCA
(Análisis de las Componentes Principales).
Los problemas más importantes que se plantean en una solución como la
descrita en esta tesis son los relacionados con la implementación de la técnica PCA
de forma íntegra en una FPGA. El elevado número de operaciones que demanda la
técnica PCA conlleva elevados tiempos de ejecución si se utilizan plataformas de
procesamiento convencionales, normalmente de tipo secuencial. Por esta razón se
ha desencadenado la adaptación de la técnica PCA para hardware reconfigurable.
Para ello, se ha paralelizado la ejecución de las diferentes fases que forman el
algoritmo PCA: cálculo de la matriz de covarianza, cálculo de autovectores,
proyección y recuperación de imágenes al y desde el espacio transformado y
detección de nuevos objetos. Con la solución propuesta e implementada en esta tesis
se ha conseguido un sistema segmentado que alcanza un alto ratio de imágenes
procesadas por segundo (aproximadamente 120 imágenes/sg).
Dentro del algoritmo PCA se deben realizar cuatro tipos diferentes de
multiplicaciones de matrices (cálculo de la matriz de covarianza, obtención de la
matriz de transformación, proyección y recuperación al/desde el espacio
transformado) por lo que ha sido necesario la implementación de una nueva
propuesta para la multiplicación de matrices en FPGAs. Concretamente el sistema
desarrollado en esta tesis está construido en base a un array semi-sistólico de
propósito específico, el cual posee una estructura modular que permite su extensión y
reutilización para los distintos productos de matrices que requiere la técnica PCA.
Aunque las dimensiones de las matrices a multiplicar son diferentes, debido a la
estructura regular del array, éste adapta su ejecución en función del producto a
realizar.
El cálculo de autovalores y autovectores es una de las operaciones que
demanda mayor carga computacional dentro de la técnica PCA, condicionando
notablemente el tiempo total consumido en la ejecución del algoritmo PCA. Para
resolver el cálculo de los autovalores y autovectores en la FPGA, se ha desarrollado
un novedoso y eficiente método basado en el algoritmo de Jacobi. La nueva
propuesta realizada consume muy pocos recursos internos de la FPGA en
comparación con otras alternativas desarrolladas anteriormente, sin apenas penalizar
su tiempo de ejecución. El tiempo de ejecución del mismo es claramente inferior al
empleado por un PC de altas prestaciones tal y como se justifica en esta tesis. Otra
i
importante aportación de esta nueva alternativa es la facilidad para la expansión y
adaptación del cálculo de autovalores y autovectores a matrices de diferentes tamaños
sin apenas incrementar el número de recursos internos. Para resolver las diferentes
operaciones trigonométricas que aparecen en el cálculo de autovalores y
autovectores, el sistema posee dos unidades CORDIC que resuelven dichas
operaciones. Con idea de dotar al nuevo sistema de la mayor eficiencia posible se ha
diseñado un módulo CORDIC de propósito específico que permite trabajar en
coordendas circulares tanto para el modo vectorización como para el de rotación.
Para la detección de los nuevos objetos presentes en la escena captada, a
partir de la información del mapa de distancias entre la imagen actual y la recuperada
del espacio transformado, se propone una nueva alternativa basada en la
construcción de un histograma de los máximos de cada una de las columnas del
mapa de distancias. Gracias a este histograma se detecta claramente la aparición de
nuevos objetos dentro de la escena mediante la umbralización de dicho mapa. El
umbral necesario para cada nueva imagen es calculado dinámicamente a partir de la
información aportada por el histograma ya que los nuevos objetos se manifiestan en
éste mediante la aparición de un nuevo lóbulo. A diferencia de otras propuestas
realizadas previamente, esta alternativa alcanza una alta eficiencia en una FPGA.
Para conseguir el diseño óptimo, tanto desde el punto de vista de exactitud
como de velocidad, ha sido necesario encontrar el tamaño óptimo de los datos
manejados por la FPGA. Para lograr esto, se ha realizado un estudio detallado de las
diferentes posibilidades concluyendo que para una implementación de 18 bits
codificados en coma fija se consigue una alta exactitud con un consumo moderado
de recursos internos de la FPGA.
Todo el diseño implementado en la FPGA ha sido codificado en VHDL, sin
emplear ningún core comercial. Esto permite la portabilidad del sistema diseñado a
cualquier FPGA.
La plataforma hardware desarrollada en esta tesis está basada en un sensor
CMOS de alta velocidad (hasta 500 imágenes/sg con la máxima resolución) cuyo
interfaz de control es configurable desde un dispositivo externo. Además la
plataforma dispone de un banco de memoria externa de tipo SDRAM, que es
gestionado desde la misma FPGA, permitiendo almacenar en él las imágenes
captadas, procesadas o datos temporales. Estos periféricos dotan al sistema de una
alta versatilidad y flexibilidad, con lo que su empleo en diferentes algoritmos de
visión para FPGAs es factible.
En nuestro caso la FPGA empleada (una XC2VP7 de Xilinx) no dispone de
un excesivo número de recursos internos ya que sólo dispone de aproximadamente
5000 slices, por lo que la optimización en el código generado ha sido otra de los
objetivos principales de esta tesis. Todos los módulos han sido optimizados al
máximo tanto desde el punto de vista de recursos consumidos como de la máxima
ii
frecuencia de reloj admisible. Esto ha permitido que toda la FPGA funcione
internamente con una frecuencia patrón de 100MHz.
Los resultados reales alcanzados en esta tesis se pueden considerar como
excelentes ya que además de conseguir un alto ratio de imágenes procesadas, el
sistema desarrollado logra una alta eficiencia a la hora de detectar nuevos objetos
dentro de una escena. Así, para el peor de los casos el número de falsos positivos
(detección de nuevo objeto cuando no lo hay) asciende a un 17% y el de falsos
negativos (omisión de detección de un nuevo objeto) a un 9%. En el mejor de los
casos el índice de falsos positivos y falsos negativos es inferior al 1%.

iii

ABSTRACT
This thesis deals with a new proposal for the detection of moving objects inside a
scene, by means of a specific-purpose platform based on a FPGA (Field
Programmable Gate Array). This device, not only takes charge of the reception and
management of binary images coming from a sensor CMOS with a resolution 1.2M
pixels, but also carries out the detection of new objects in the scene by applying PCA
techniques (Principal Component Analysis).
The most important problems about a solution, as the one described in this
thesis, are those related to the implementation of the whole PCA technique in an
FPGA. The high number of operations required by PCA techniques implies high
computing times if conventional computing platforms are used, typically of
sequential type. For this reason the adaptation of PCA technique for hardware
reconfigurable has been achieved. The execution of the different phases from PCA
algorithm has been parallelized: calculation of the covariance matrix, eigenvetor
computing, projection and recovery of images to and from the transformed space
and detection of new objects. With the solution proposed and implemented in this
thesis, a pipelined system has been designed achieving a high ratio of processed
images per second (approximately 120 frames/s).
Inside the PCA algorithm four different types of matrix multiplications should be
carried out (calculation of the covariance matrix, obtaining of the transformation
matrix, projection and recovery to and from the transformed space), so it has been
necessary the implementation of a new proposal for matrix multiplication in FPGAs.
The system developed in this thesis is based on a specific-purpose semi-systolic array,
which has a modular structure to allow extending and reusing of the different
products in matrices required by PCA technique. Although the dimensions of
matrices to be multiplied are different, the proposed array can adapt execution
according to product to be computed, thanks to its regular structure.
The eigenvalue and eigenvector calculation is one of the computing tasks that
requires higher computational load in PCA techniques, notably conditioning the total
time consumed in the execution of PCA algorithm. To solve the eigenvalue and
eigenvector calculation in the FPGA, a novel and efficient method has been
developed based on the Jacobi algorithm. The new proposal requires very few
internal resources of the FPGA in comparison with other alternatives previously
developed, without significantly increasing the execution time. Its execution time is
less than the required by a high-performance PC as is detailed in this thesis. Another
important contribution of this new alternative is the easy expansion and adaptation
to the eigenvalue and eigenvector calculation of matrices with different sizes without
significantly increasing the number of internal resources. In order to solve the
different trigonometrical operations appearing in eigenvalue and eigenvector
calculation, the system has two CORDIC units. With the purpose of providing the
v
new system with the largest possible efficiency, a specific-purpose CORDIC module
has been designed that allows working in circular coordinates, not only for the vector
mode but also for the rotation one.
For the detection of the new objects in the captured scene, starting from the
information from the distance map between the current image and the recovered one
from the transformed space, a new alternative is proposed, based on the construction
of a histogram with the maximum values from every column of the distance map.
Thanks to this histogram, the appearance of new objects inside the scene is detected,
by thresholding this map. The necessary threshold for every new image is
dynamically computed from the information given by the histogram, since the new
objects are represented in it by appearing a new lobe. Contrary to other previous
proposals, this alternative achieves a high efficiency in a FPGA.
To yield an optimal design, not only from the point of view of accuracy but
also from speed, it has been necessary to find the optimal size of data managed by
the FPGA. A detailed study of the different possibilities has been carried out,
concluding that, for a 18-bit fixed-point implementation, a high accuracy is obtained
with a moderate consumption of internal resources in the FPGA.
The overall design implemented in the FPGA has been specified in VHDL,
without using any core. This allows the portability of the designed system to any
FPGA.
The platform hardware developed in this thesis is based on a high-speed
CMOS sensor (up to 500 frames/s with the maximum resolution) whose control
interface is configurable from an external device. The platform also has an external
SDRAM memory bank managed from the same FPGA, used to store captured
images, processed ones or temporary data. These peripherals provide a high
versatility and flexibility to the system, so it can be used in different vision algorithms
for FPGAs.
In our case, the used FPGA (a Xilinx XC2VP7) does not have many internal
resources (approximately 5000 slices), so the optimization of the generated code has
been another of the main objectives of this thesis. All the modules have been
optimized about required resources, and about the maximum clock frequency. This
has allowed the overall FPGA to internally work with a master frequency of
100MHz.
The experimental results reached in this thesis can be considered as excellent,
since they show a high ratio of processed images. Furthermore, the developed system
achieves a high efficiency when detecting new objects inside a scene. In this way, for
the worst case, the number of false positives (detection of new object when it is not)
is 17% and the number of false negative (non detection of a new object) is 9%. In
the best case, the index of false positives and negatives are below 1%.

vi
“El trabajo que nunca se empieza es el que tarda más en finalizarse”
J. R. R. Tolkien (1892-1973)

“Lo que con mucho trabajo se adquiere, más se ama”
Aristóteles (384 AC-322 AC)

vii