Algoritmos Evolutivos para Modelos de Mistura de Gaussianas em Problemas Com e Sem ...

164 Pages·2015·4.15 MB·Portuguese

by  Thiago Ferreira Covões

Algoritmos evolutivos para modelos de mistura de
gaussianas em problemas com e sem restrições

Thiago Ferreira Covões

SERVIÇO DE PÓS-GRADUAÇÃO DO ICMC-USP

Data de Depósito:

Assinatura:________________________

Algoritmos evolutivos para modelos de mistura de
gaussianas em problemas com e sem restrições1

Thiago Ferreira Covões

Orientador: Prof. Dr. Eduardo Raul Hruschka

Tese apresentada ao Instituto de Ciências Matemáticas
e de Computação - ICMC-USP, como parte dos
requisitos para obtenção do título de Doutor em
Ciências - Ciências de Computação e Matemática
Computacional. VERSÃO REVISADA

USP – São Carlos
Fevereiro de 2015

1 Trabalho realizado com suporte financeiro da FAPESP, Processo nº 2009/17795-0
Ficha catalográfica elaborada pela Biblioteca Prof. Achille Bassi
e Seção Técnica de Informática, ICMC/USP,
com os dados fornecidos pelo(a) autor(a)
Covões, Thiago Ferreira
C873a Algoritmos evolutivos para modelos de mistura de
gaussianas em problemas com e sem restrições /
Thiago Ferreira Covões; orientador Eduardo Raul
Hruschka. -- São Carlos, 2015.
138 p.
Tese (Doutorado - Programa de Pós-Graduação em
Ciências de Computação e Matemática Computacional) --
Instituto de Ciências Matemáticas e de Computação,
Universidade de São Paulo, 2015.
1. Agrupamento de dados semissupervisionado. 2.
Algoritmos evolutivos. 3. Aprendizado de máquina.
I. Hruschka, Eduardo Raul, orient. II. Título.
Àminhafamília

Agradecimentos
Sou muito grato ao meu orientador Professor Eduardo Raul Hruschka, pessoa por quem
tenhoenormeadmiração,quefoialémdeumexcepcionalorientador,umamigocomquempude
contar durante os longos anos da pós-graduação. Em especial, gostaria de agradecer também a
sua família, Luciana e Catharina, por todo o carinho e paciência que tiveram comigo durante o
períododomeudoutorado-sanduíche. Tenhoumadívidaeternacomvocês.
Agradeço ao Professor Joydeep Ghosh, meu supervisor durante o doutorado sanduíche que
realizei na Universidade do Texas em Austin, por ter me aceitado em seu grupo e pelos ensina-
mentosduranteodesenvolvimentodotrabalho.
À Debora, minha namorada, por ter sido paciente e compreensiva ao longo destes anos e
porestarsempreaomeulado,tantonosmomentosbonsquantonosruins.
À minha família, meus pais José e Rosana, por todo o apoio durante todos os meus anos de
vidaepormeproveremcondiçõesparaeuterconseguidochegaratéaqui.
Gostaria também de agradecer aos amigos que fiz no ICMC, em especial a André Rossi,
BrunoFeres,BrunoNogueira,DaniloHorta,JonathanAndrade,LucasVendramin,LuísPaulo,
Luiz Coletta, Marcelo Oliveira, Márcio Basgalupp, Merley Conrado, Murilo Naldi, Pablo An-
dretta, Paulo Henrique, Renato Ramos, Ricardo Cerri, Ricardo Rios, Roberto Sadao, Rodrigo
Barros, Rodrigo Calvo, Rosane Maffei, Tiago Silva e Victor Laguna, pelos momentos de dis-
cussão sobre assuntos relacionados a este trabalho, pelos momentos de companheirismo e con-
fraternizaçãoeporestaremsempredispostosaajudar.
AtodososfuncionáriosdoICMCdaUSP,pelacompetênciaededicação.
ÀFAPESPpeloapoiofinanceiroparaarealizaçãodestetrabalho(Processo2009/17795-0).
Ao CNPq pelo apoio financeiro para a realização do doutorado sanduíche na Universidade
doTexas(BolsaSWE-Processo200372/2011-4).
vii

Resumo
Nesta tese, são estudados algoritmos para agrupamento de dados, com particular ênfase
em Agrupamento de Dados com Restrições, no qual, além dos objetos a serem agrupados, são
fornecidospelousuárioalgumasinformaçõessobreoagrupamentodesejado. Comofundamen-
tação para o agrupamento, são considerados os modelos de mistura finitos, em especial, com
componentes gaussianos, usualmente chamados de modelos de mistura de gaussianas. Dentre
osprincipaisproblemasqueosalgoritmosdesenvolvidosnestatesededoutoradobuscamtratar
destacam-se: (i) estimar parâmetros de modelo de mistura de gaussianas; (ii) como incorporar,
de forma eficiente, restrições no processo de aprendizado de forma que tanto os dados quanto
as restrições possam ser adicionadas de forma online; (iii) estimar, via restrições derivadas de
conceitos pré-determinados sobre os objetos (usualmente chamados de classes), o número de
grupos destes conceitos. Como ferramenta para auxiliar no desenvolvimento de soluções para
tais problemas, foram utilizados algoritmos evolutivos que operam com mais de uma solução
simultaneamente, além de utilizarem informações de soluções anteriores para guiar o processo
debusca. Especificamente,foidesenvolvidoumalgoritmoevolutivobaseadonadivisãoeunião
de componentes para a estimação dos parâmetros de um modelo de mistura de gaussianas.
Este algoritmo foi comparado com o algoritmo do mesmo gênero considerado estado-da-arte
na literatura, apresentando resultados competitivos e necessitando de menos parâmetros e um
menor custo computacional. Nesta tese, foram desenvolvidos dois algoritmos que incorporam
as restrições no processo de agrupamento de forma online. Ambos os algoritmos são basea-
dos em algoritmos bem-conhecidos na literatura e apresentaram, em comparações empíricas,
resultados melhores que seus antecessores. Finalmente, foram propostos dois algoritmos para
se estimar o número de grupos por classe. Ambos os algoritmos foram comparados com al-
goritmos reconhecidos na literatura de agrupamento de dados com restrições, e apresentaram
resultados competitivos ou melhores que estes. A estimação bem sucedida do número de gru-
pos por classe pode auxiliar em diversas tarefas de mineração de dados, desde a sumarização
dosdadosatéadecomposiçãodeproblemasdeclassificaçãoemsub-problemaspotencialmente
maissimples.
ix