Uma Abordagem Multinível usando Algoritmos Genéticos em um Comitê de LS-SVM

119 Pages·2017·1.18 MB·Portuguese

UNIVERSIDADEFEDERALDORIOGRANDEDOSUL
INSTITUTODEINFORMÁTICA
PROGRAMADEPÓS-GRADUAÇÃOEMCOMPUTAÇÃO
CARLOSALBERTODEARAÚJOPADILHA
Uma Abordagem Multinível usando
Algoritmos Genéticos em um Comitê de
LS-SVM
Tese apresentada como requisito parcial para a
obtenção do grau de Doutor em Ciência da
Computação
Orientador:Prof.Dr. DanteAugustoCoutoBarone
Co-orientador:Prof.Dr. AdriãoDuarteDóriaNeto
PortoAlegre
2018
CIP—CATALOGAÇÃONAPUBLICAÇÃO
Padilha,CarlosAlbertodeAraújo
Uma Abordagem Multinível usando Algoritmos Genéticos
emumComitêdeLS-SVM/CarlosAlbertodeAraújoPadilha.–
PortoAlegre: PPGCdaUFRGS,2018.
108f.: il.
Tese (doutorado) – Universidade Federal do Rio Grande do
Sul. Programa de Pós-Graduação em Computação, Porto Alegre,
BR–RS, 2018. Orientador: Dante Augusto Couto Barone; Co-
orientador: AdriãoDuarteDóriaNeto.
1. Comitê de Máquinas. 2. Algoritmos Genéticos. 3. Máqui-
nas de Vetor de Suporte por Mínimos Quadrados. 4. Seleção de
Atributos. 5. Diversidade. 6. Aprendizagem Profunda. I. Dante
Augusto Couto Barone, . II. Adrião Duarte Dória Neto, . III. Tí-
tulo.
UNIVERSIDADEFEDERALDORIOGRANDEDOSUL
Reitor: Prof.RuiVicenteOppermann
Vice-Reitora: Profa.JaneFragaTutikian
Pró-ReitordePós-Graduação: Prof.CelsoGiannettiLoureiroChaves
DiretoradoInstitutodeInformática: Profa.CarlaMariaDalSassoFreitas
CoordenadordoPPGC:Prof.JoãoLuizDihlComba
Bibliotecária-chefedoInstitutodeInformática: BeatrizReginaBastosHaro
“If I have seen farther than others,
it is because I stood on the shoulders of giants.”
— SIR ISAAC NEWTON

AGRADECIMENTOS
Primeiramente, gostaria de agradecer a Deus por me ajudar e proteger todos os dias da
minhavida.
AgradecimentoespecialparaminhafamíliaeminhaqueridanamoradaPaulapeloamor
e incentivo para que eu me torne cada dia uma pessoa melhor em todos os sentidos e atingir os
meusobjetivoscomoprofissional.
Aos meus mestres, Prof. Dr. Dante Augusto Couto Barone e Prof. Dr. Adrião Duarte
DóriaNeto,pelaoportunidadedeorientaçãooferecidaepelograndeexemplocomoprofissional
ecomopessoa. Aestradafoilonga...
Aos companheiros de laboratório, pela convivência diária, pela grande amizade e pelas
conversasquesempreresultamemidéiasmirabolantes.
AoCNPqeCAPES,peloapoiofinanceiro.

RESUMO
Há muitos anos, os sistemas de comitê já tem se mostrado um método eficiente para aumentar
a acurácia e estabilidade de algoritmos de aprendizado nas décadas recentes, embora sua cons-
trução tem uma questão para ser elucidada: diversidade. O desacordo entre os modelos que
compõeocomitêpodesergeradoquandoelessãocontruídossobdiferentescircunstâncias,tais
como conjunto de dados de treinamento, configuração dos parâmetros e a seleção dos algorit-
mosdeaprendizado. Oensemblepodeservistocomoumaestruturacomtrêsníveis: espaçode
entrada,abasedecomponenteseoblocodecombinaçãodasrespostasdoscomponentes. Neste
trabalhoépropostaumaabordagemmulti-nívelusandoAlgoritmosGenéticosparaconstruirum
ensemble de Máquinas de Vetor de Suporte por Mínimos Quadrados ou LS-SVM, realizando
uma seleção de atributos no espaço de entrada, parametrização e a escolha de quais modelos
irão compor o comitê no nível de componentes e a busca por um vetor de pesos que melhor
represente a importância de cada classificador na resposta final do comitê. De forma a avaliar
a performance da abordagem proposta, foram utilizados alguns benchmarks do repositório da
UCIparacompararcomoutrosalgoritmosdeclassificação. Alémdisso,tambémforamcompa-
rados os resultados da abordagem proposta com métodos de aprendizagem profunda nas bases
dedadosMNISTeCIFAResemostrarambastantesatisfatórios.
Palavras-chave: Comitê de Máquinas. Algoritmos Genéticos. Máquinas de Vetor de Suporte
porMínimosQuadrados. SeleçãodeAtributos. Diversidade. AprendizagemProfunda.

ABSTRACT
Many years ago, the ensemble systems have been shown to be an efficient method to increase
theaccuracyandstabilityoflearningalgorithmsinrecentdecades,althoughitsconstructionhas
a question to be elucidated: diversity. The disagreement among the models that compose the
ensemble can be generated when they are built under different circumstances, such as training
dataset, parameter setting and selection of learning algorithms. The ensemble may be viewed
as a structure with three levels: input space, the base components and the combining block of
the components responses. In this work is proposed a multi-level approach using genetic algo-
rithmstobuildtheensembleofLeastSquaresSupportVectorMachines(LS-SVM),performing
afeatureselectionintheinputspace,theparameterizationandthechoiceofwhichmodelswill
composetheensembleatthecomponentlevelandfindingaweightvectorwhichbestrepresents
the importance of each classifier in the final response of the ensemble. In order to evaluate the
performanceoftheproposedapproach,somebenchmarksfromUCIRepositoryhavebeenused
tocomparewithotherclassificationalgorithms. Also,theresultsobtainedbyourapproachwere
comparedwithsomedeeplearningmethodsonthedatasetsMNISTandCIFARandprovedvery
satisfactory.
Keywords: Ensemble Systems, Genetic Algorithms, Least Squares Support Vector Machines,
FeatureSelection,Diversity,DeepLearning.