Aprendizaje Automático a partir de Conjuntos de Datos No Balanceados y su Aplicación en el

112 Pages·2008·1.81 MB·Spanish

Aprendizaje Automático a
partir de Conjuntos de Datos No
Balanceados y su Aplicación en el
Diagnóstico y Pronóstico Médico

por

M.Sc. Luis Javier Mena Camaré

Tesis sometida como requisito parcial
para obtener el grado de

DOCTOR EN CIENCIAS EN EL ÁREA DE
CIENCIAS COMPUTACIONALES

en el

INSTITUTO NACIONAL DE ASTROFÍSICA,
OPTICA Y ELECTRÓNICA
Septiembre 2008
Tonantzintla, Puebla

Supervisada por:

Dr. Jesús A. González Bernal

©INAOE 2008
Derechos Reservados
El autor otorga al INAOE el permiso de
reproducir y distribuir copias de esta tesis en su
totalidad o en partes.

Resumen

Cuando trabajamos con aplicaciones del mundo real frecuentemente encontramos
conjuntos de datos no balanceados, aquellos donde existe una clase mayoritaria con
ejemplos normales y una clase minoritaria con ejemplos anormales o importantes. En
este trabajo presentamos una revisión general del problema de clases no balanceadas,
dicha revisión incluye consecuencias, posibles causas y estrategias existentes para
enfrentar los inconvenientes asociados a este problema. Como un esfuerzo por
contribuir con la solución del mismo, en este trabajo proponemos un nuevo algoritmo
de inducción de reglas llamado Rule Extraction for Medical Diagnosis (REMED), el
cual es un algoritmo simbólico basado en la técnica de aprendizaje de una sola clase.
Para evaluar el método propuesto utilizamos diferentes conjuntos de datos médicos y
tomamos en cuenta diferentes métricas cuantitativas, así como también la
comprensibilidad y fiabilidad de los resultados. El desempeño de REMED fue
comparado con el de los algoritmos simbólicos C4.5 y RIPPER, ambos combinados con
estrategias costo-sensitivas y de sobre-muestreo. El análisis empírico de REMED
mostró que éste fue cuantitativamente competitivo con C4.5 y RIPPER en términos de
área bajo la curva ROC (AUC) y la media geométrica, pero superó a éstos en términos
de comprensibilidad y fiabilidad. Los resultados de nuestros experimentos muestran que
REMED generó sistemas de reglas más comprensibles, y con patrones más cercanos a
los valores anormales conocidos que están asociados a cada uno de los datos médicos
considerados.

Palabras Clave: aprendizaje automático; conjuntos de datos no balanceado; aprendizaje
de una sola clase; algoritmos de clasificación; extracción de reglas

i
ii
Abstract

When working with real-world applications we often find imbalanced datasets, those for
which there exists a majority class with normal data and a minority class with abnormal
or important data. In this work, we make an overview of the class imbalance problem;
we review consequences, possible causes and existing strategies to cope with the
inconveniences associated to this problem. As an effort to contribute to the solution of
this problem, we propose a new rule induction algorithm named Rule Extraction for
MEdical Diagnosis (REMED), as a symbolic one-class learning approach. For the
evaluation of the proposed method, we used different medical diagnosis datasets taking
into account quantitative metrics, comprehensibility, and reliability. We performed a
comparison of REMED versus C4.5 and RIPPER combined with over-sampling and
cost-sensitive strategies. This empirical analysis of the REMED algorithm showed it to
be quantitatively competitive with C4.5 and RIPPER in terms of the area under the
Receiver Operating Characteristic curve (AUC) and the geometric mean, but
outperformed them in terms of comprehensibility and reliability. Results of our
experiments show that REMED generated rules more comprehensible with patterns
closer to well-known abnormal values associated to each considered medical dataset.

Keywords: machine learning; imbalanced datasets; one-class learning; classification
algorithm; rule extraction

iii
iv
Agradecimientos

A Dios todo poderoso.

A la Universidad de Zulia por darme toda la ayuda necesaria para culminar mis estudios
de doctorado.

Al INAOE por brindarme la oportunidad de cursar mis estudios de doctorado en tan
importante casa de estudios.

Al Dr. Jesús González Bernal por su invaluable apoyo y ayuda en la realización de este
trabajo.

A los Doctores Jesús Ariel Carrasco Ochoa, Leopoldo Altamirano Robles, José
Francisco Martínez Trinidad, Eduardo Morales Manzanares y Luis Olac Fuentes
Chávez por su critica constructiva en pro de obtener un mejor trabajo.

A los muchachos Eber y Yamilet por su apoyo extra-cátedra.

Y Finalmente a Elba por su ayuda, comprensión y tolerancia para cerrar juntos este

ciclo de mi vida.

v
vi
Dedicatoria

A Guicho† por ser fuente de inspiración en la consecución de mis logros.

A Jessie por siempre creer en mí.

A Melani y Luis Arturo para que el fruto de mis logros sirva de inspiración para que
alcancen sus metas futuras.

A Elba para que éste sea el comienzo de muchos nuevos ciclos que podamos iniciar y
culminar juntos el resto de nuestras vidas.

vii
viii