Herramienta Matlab para el aprendizaje interactivo de métodos de reconocimiento de patrones

129 Pages·2004·1.95 MB·Spanish

Herramienta Matlab para el aprendizaje interactivo de
métodos de reconocimiento de patrones

Titulació: Enginyeria en Automàtica i Electrònica industrial

AUTOR: Miguel Monforte Artigas
DIRECTOR: Eduard Llobet Valero

FECHA: Febrero / 2004

1
Índice

1 Memoria Descriptiva..........................................................................................3
1.1 Objeto del proyecto........................................................................................3
1.2 Titular.............................................................................................................3
1.2 Antecedentes..................................................................................................3
1.4 Posibles soluciones y solución adoptada........................................................4

1.5 Descripción general........................................................................................4
1.5.1 Introducción a los métodos de reconocimiento de patrones…………..4
1.5.2 Desarrollo del proyecto………………………………………………10
1.5.2.1 Método de Validación Por Partes……………………….……10
1.5.2.2 Método de Validación Bootstrap……………………………..28
1.5.2.3 Algoritmo Genético…………………………………………..35

2 Conclusiones.....................................................................................................46

3 Pliego de Condiciones......................................................................................47
4.1. Condiciones generales.................................................................................47
4.2. Condiciones económicas.............................................................................51
4.3. Condiciones facultativas..............................................................................53
4.4. Condiciones técnicas...................................................................................53

4 Anexos................................................................................................................54
5.1. Código..........................................................................................................54
5.2 Tutorial.........................................................................................................101
5.3 Prácticas.......................................................................................................113

2
1 Memoria Descriptiva

1.1 Objeto del proyecto

Se trata de desarrollar métodos de validación para métodos neuronales, e integrarlos en
una interficie gráfica (GUI) de Matlab. Por otro lado también se ha creado e integrado un
nuevo método estadístico de reconocimiento de patrones. A su vez se ha realizado un
tutorial del software elaborado y dos prácticas que servirán para la docencia de la
asignatura de 5º curso de Ingeniería en Automática y Electrónica Industrial.
El objetivo es que el software realizado sirva de apoyo para una mejor comprensión por
parte de los alumnos de los métodos de reconocimiento de patrones.

1.2 Titular

El titular del presente proyecto es:
-Nombre: Escola Tècnica Superior d’Enginyeria (E.T.S.E.)
Universitat Rovira i Virgili
-Dirección: Av. Països Catalans, 26
Campus Sescelades
43007 Tarragona
Telf: 977559610

1.3 Antecedentes

Hasta el momento en la asignatura Sistemas de Percepción de 5º de IAEI se
encomendaban unas prácticas al final de la asignatura relacionadas con los métodos de
reconocimiento de patrones. Dichas prácticas tenían la finalidad de instruir al alumno en
ese ámbito, con el handicap de que, para instruirse en la materia, tenía que realizar
íntegramente toda la programación para poder analizar los resultados obtenidos cuando se
aplica un método estadístico o neural a la información obtenida por múltiples sensores, con
el consecuente trabajo de programación y el tiempo que todo ello conlleva. Mediante la
herramienta creada esto ya no será un problema puesto que lo único que deberá hacer el
alumno es introducir las medidas obtenidas por los diferentes sensores y seleccionar las
diferentes opciones y métodos contenidos en los diferentes formularios que forman el
proyecto.
Se ha partido de una herramienta parcialmente hecha y con algunos fallos existentes en
su interficie gráfica. Lo que se ha hecho es corregir estos pequeños fallos, añadir e integrar
nuevos métodos de validación a los métodos neuronales supervisados e implementar un
nuevo método estadístico. Además se ha realizado un tutorial de la herramienta software y
dos prácticas para que realicen los alumnos de quinto curso de Ingeniería.

3
1.4 Posibles soluciones y solución adoptada

Se podría haber realizado el proyecto con cualquier tipo de los diversos lenguajes
visuales para Windows existentes en el mercado como por ejemplo: Visual C, Visual
Basic, etc, pero finalmente se ha optado por realizar la programación en Matlab 6.1. La
razón es muy simple; con cualquiera de los lenguajes de programación antes nombrados se
hubieran tenido que desarrollar íntegramente las funciones de librería que ya nos vienen
implementadas en los Toolbox de Matlab. Además se trata de un lenguaje muy similar al
C, y en cuanto a la interficie gráfica (GUI) es muy intuitiva y resulta fácil integrar
funciones ya realizadas en pulsadores, editbox, listbox, etc.

1.5 Descripción general

1.5.1 Introducción a los métodos de reconocimiento de patrones

El campo de los métodos de reconocimiento de patrones es muy actual. Básicamente se
trata de clasificar una serie de medidas a partir de la información captada por múltiples
sensores para su posterior análisis. Dicha clasificación se realiza a partir de una serie de
técnicas matemáticas y estadísticas. Evidentemente el uso de estas técnicas resulta más
necesario e indicado cuantos más sensores tengamos. Generalmente se trata de matrices o
agrupaciones de sensores.
Las areas en las que se hace uso de dichas técnicas son muy numerosas, desde la
inteligencia artificial donde por ejemplo los robots necesitan tomar decisiones en base a
multitud de información obtenida por sus sensores, pasando por la agricultura (maduración
de la fruta), en la industria química para analizar la composición de los gases, etc.
Estos métodos recurren a una serie de bases de datos para finalmente clasificar las medidas
en uno u otro grupo. Dicha información facilitará en gran medida las decisiones a tomar
por el sistema encargado de procesar la información.

MATRIZ EXTRACC. IDENTIFIC.
CLASIFICC
DE DE PATRON
SENSORES CARACT.

Figura 1: Etapas en el proceso de identificación de patrones

Como se puede apreciar en la figura partimos de una agrupación de sensores a partir de
los cuales captamos unas señales o medidas. De dichas señales realizamos una extracción
de características con la finalidad de obtener información relevante para la identificación,
eliminar a su vez los efectos cuantitativos respecto a los efectos cualitativos y finalmente
reducir la dimensionalidad del problema.

Generalmente antes de someter a los datos o medidas a un método de reconocimiento
de patrones, se realiza un preprocesamiento de los datos. Mediante este preprocesamiento
4
se realiza una selección tanto de los sensores que vamos a tener en cuenta como de las
variables.

A continuación se describirán básicamente los fundamentos de cada uno de los métodos
de reconocimiento patrones implementados en el software realizado y se realizará un
análisis más profundo de aquellos que han sido creados o implementados con nuevos
métodos de validación.

Podemos agrupar los métodos de reconocimiento de patrones principalmente en 2
grupos:

MÉTODOS ESTADÍSTICOS

-Pca

Análisis de Componentes Principales es un método de reconocimiento de patrones
estadístico ya que no se basa en redes neuronales y además no supervisado puesto que no
se contrastan los resultados obtenidos con las clases o targets reales a las que pertenece
cada medida. La finalidad de este método es representar eficientemente los datos y reducir
la dimensionalidad. Se parte de un espacio multidimensional para representar toda una
serie de medidas, y el objetivo es establecer un nuevo sistema de coordenadas con menos
dimensiones que el real u original, pero que aporte una información similar. Los nuevos
ejes de referencia son las componentes principales, y la dirección y sentido que tendrán
será hacia donde esté la máxima varianza residual. En cuanto a la disposición relativa entre
ellas, serán ortogonales entre sí:

PC =α s +...+α s
11 1 p1 p

Como se puede apreciar en la fórmula superior las componentes principales equivalen a
los diferentes sensores multiplicados por los loadings o pesos que tiene cada uno en los
nuevos ejes de referencia. Si tenemos en cuenta muchas componentes principales entonces
estamos considerando zonas de cada vez menos variabilidad, con lo cual podemos estar
midiendo ruido.
Por otro lado si los loadings de dos sensores son muy parecidos entonces es que ambos
nos están dando información redundante con lo cual podemos prescindir de uno de ellos y
entonces conservamos datos que aportan lo mismo.
Finalmente en el caso en el que haya medidas que se encuentren fuera de los planos
considerados, entonces es que se trata de residuos que no aportan información relevante al
sistema.

-Análisis de Clusters

Es un método de análisis multivariable con tres objetivos:

1-.Generar información respecto a la similitud entre las medidas
2-.Agrupar las medidas en un árbol jerárquico según la similitud entre muestras
3-.Agrupar por clusters mediante la decisión previa de un umbral de agrupación

5
Desde el punto de vista matemático en primer lugar se seleccionan los datos a analizar,
después se crea una matriz de similitudes basándose en la distancia euclidea existente entre
todas las medidas que tenemos en cuenta, seguidamente se decide el número de clusters y
finalmente se valida o no la solución.

-Pcr

Se trata de un método estadístico supervisado, lineal y no paramétrico. Se utiliza para
clasificar y para realizar análisis cuantitativos mediante regresión de las variables de
entrada a partir de los scores generados en un PCA. Básicamente se calcula una ecuación
de regresión no usando directamente las respuestas sino usando los autovectores de PCA,
con lo cual se consigue una predicción más fiable de las variables de entrada. En este caso
los scores son ortogonales entre sí con lo cual no pueden darse problemas de colinealidad.
Una vez obtenida la matriz no lineal aplicariamos el método MLR.

-Mlr

Se trata de un método estadístico, supervisado, lineal y paramétrico. Se aplica para
realizar análisis cuantitativos. Partimos de una sistema lineal donde cada concentración
lleva asociada unas respuestas a estímulos individuales. El objetivo es obtener una matriz
que contenga la concentración de cada componente en cada medida de calibración.

-Lda

Linear Discriminant Analysis es un método supervisado basado en el PCA. Para
distinguir las diversas clases, haremos uso de varios factores discriminantes, dichos
factores serán las componentes principales que irán en el sentido de la máxima variación
de las partículas. En este método a diferencia de en el PCA, en una misma componente
principal o vector podemos encontrarnos con varios tramos del mismo que clasifiquen
varias clases, o dicho de otra manera, en varios vectores de menor tamaño que tengan la
misma dirección y el mismo sentido.

-Pls

Consiste en un método de calibración donde se puede predecir el comportamiento
multivariable. A partir de variables latentes se captura la máxima varianza posible dentro
de la matriz de respuestas originales.

-Dfa

Se trata de un método supervisado, lineal y paramétrico. Se aplica básicamente para
realizar clasificaciones y se basa en un análisis de varianza y en un análisis cualitativo. Es
similar al PCA pero en el DFA se encuentran nuevas direcciones ortogonales fruto de una
combinación lineal de las variables de entrada.

-Ga

Algoritmo Genético es un método estadístico y no supervisado basado en la selección
de variables. El problema de la previsión está codificado en cadenas binarias llamadas
cromosomas, donde el valor 1 significa que la variable o gene ha sido elegida para
6
construir un modelo PLS y el valor binario 0 significa que la variable no ha sido elegida.
La población inicial consiste en 256 cromosomas codificadas aleatoriamente (caso
particular). El tamaño de la población es mantenido constante de generación en generación.
En cada generación la estructura del modelo presentado está totalmente validado mediante
métodos de validación cruzada. Cada miembro de la población consigue una posición
dependiendo de lo bien que encaje, de la buena forma que tenga. Esto será evaluado como
el CPRESS de la validación cruzada del modelo PLS construido usando variables puestas a
1 en el cromosoma. El cromosoma de menor CPRESS será el que mejor resolverá el
problema. En cada generación la mitad de los cromosomas con menor CPRESS podrán
vivir y engendrar. Parejas de dichos cromosomas son seleccionados aleatoriamente para
engendrar usando una técnica de doble paso (crossover). También algunos de los genes de
los cromosomas son aleatoriamente cambiados después de cada generación. Los
cromosomas en mejor forma son mantenidos sin cambios en la siguiente generación
(elitismo). Una iteración no es llevada a cabo hasta que la población no converge o la el
máximo número de iteraciones es alcanzado. La población converge cuando el porcentaje
de cromosomas duplicados en la población es alto (por ejemplo del 80%).

MÉTODOS NEURONALES

-Mlp

Se trata de un método basado en redes neuronales, el cual es supervisado, no lineal y no
paramétrico. Su función es realizar clasificaciones en cuanto a cuantificaciones. Se trata de
una red unidireccional y su arquitectura típica es la siguiente:

Figura 2: Arquitectura de red MLP

Las neuronas de la capa oculta usan como regla de propagación la suma ponderada de
las entradas con los pesos sinápticos wij y sobre esa suma ponderada se aplica una función
de transferencia de tipo sigmoide, que es acotada en respuesta.
La forma funcional de una sigmoide es del tipo:

7
Figura 3: Señal Sigmoide

El aprendizaje que se suele usar en este tipo de redes recibe el nombre de
retropropagación del error (backpropagation). Como función de coste global, se usa el
error cuadrático medio.

-Som

Se trata de una red no supervisada, o sea, se entrena sólo con patrones de entrada. Las
entradas se conectan a una única capa de neuronas, donde cada nodo está conectado a sus
vecinos, y sólo puede haber una neurona activa. La conexión puede ser lineal, cuadrada,
hexagonal, irregular, etc. La red detecta grupos similares o clusters en los datos de entrada.
Su arquitectura es la siguiente:

Figura 4: Arquitectura de red SOM

El entrenamiento consiste en los siguientes pasos:

1-.Se inicializan los pesos de forma aleatoria
2-.Se presenta un vector de entrenamiento
3-.La neurona más cercana al vector es la única que se activa.
4-.Sólo se modifican los pesos de la neurona activa, y de sus vecinas

8
-Lvq

El acrónimo viene de Learning Vector Quantization y se trata de un método neural,
supervisado, no lineal y no paramétrico. Se podría decir que es un método SOM
supervisado para categorizar. Las neuronas se activan por categorias.
Se dan dos fases claramente diferenciadas:

1-.En primer lugar se entrena la red SOM no supervisada. Se entrenará por si misma y se
agrupará en diversas clases.
2-.Para cada vector de entrada tenemos que tener una codificación de salida y ello
implica que se tienen que recalcular y reajustar los pesos.

-Fuzzy art

Se trata de un método neural no supervisado, no lineal y no paramétrico cuya principal
aplicación es la de clasificación. Se trabaja con intervalos de valores comprendidos entre 0
y 1. La neurona ganadora es la que presenta un valor más alto para la función
correspondiente.

-Fuzzy artmap

Es muy similar a la red Fuzzy art pero está supervisada. Al igual que la anterior se trata
de un método no lineal, no paramétrico y cuya principal aplicación es la clasificación.

9
1.5.2 Desarrollo del proyecto

A continuación se explicará todo el desarrollo del proyecto por etapas. En primer lugar
se describirá el código creado para desarrollar 2 nuevos métodos de validación y
seguidamente cómo se ha integrado cada uno de ellos en las interficies gráficas
correspondientes. Finalmente se explicará la implementación del nuevo método estadístico
basado en un algoritmo genético.

1.5.2.1 Método de Validación Por Partes

Este método de validación es un método exclusivo para métodos neuronales
supervisados. El método Perceptrón multicapa o MLP permite representar mapas no
lineales entre un conjunto de variables de entrada y un conjunto de variables de salida. Las
redes MLP poseen capas compuestas por neuronas las cuales son las encargadas de
procesar la información obtenida. Las neuronas de cada capa, están conectadas con todas
las neuronas de la capa posterior y así sucesivamente tal y como se ha podido observar en
la Figura 2. El resultado obtenido de una neurona de la capa oculta es igual a una
combinación lineal de los datos de entrada más un factor sumatorio llamado bias. El valor
final pasa por una función de activación. Entonces, una vez concluido este proceso de
entrada y procesado de datos ya se puede iniciar el proceso de apredizaje, el cual consiste
en minimizar la función de error en función de los pesos asociados a las neuronas y el bias.
Como se ha comentado anteriormente se trata de un método supervisado con lo cual se
ha podido implementar e integrar un método de validación para este método neural. La
capa de salida está compuesta por unas neuronas cuyo número es generalmente igual al de
las posibles clases o agrupaciones en las que podemos clasificar las medidas de entrada.
Cabe destacar que si el número de neuronas de la capa de salida fuera inferior al del
número de clases en las que vamos a agrupar las medidas, entonces no habría manera de
clasificarlas todas puesto que siempre nos faltaría una posible clase en la capa de salida por
definir.
El método “Por Partes” se encarga precisamente de validar los resultados obtenidos por
parte de las neuronas de la capa de salida. Por tanto, antes de realizar la validación se tiene
que llevar a cabo todo el proceso de entrenamiento de la red y posteriormente su
simulación.
Antes de implementar el código se ha diseñado un flujograma donde se pueden
distinguir claramente y de un modo generalista las etapas del proceso:

10