algoritmo para a extração incremental de sequências relevantes com janelamento e pós ...

119 Pages·2013·2.19 MB·Portuguese

UNIVERSIDADE FEDERAL DE SÃO CARLOS
CENTRO DE CIÊNCIAS EXATAS E DE TECNOLOGIA
PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
ALGORITMO PARA A EXTRAÇÃO
INCREMENTAL DE SEQUÊNCIAS
RELEVANTES COM JANELAMENTO E
PÓS-PROCESSAMENTO APLICADO A DADOS
HIDROGRÁFICOS
CARLOS ROBERTO SILVEIRA JUNIOR
ORIENTADORA: PROFA. DRA. MARILDE TEREZINHA PRADO SANTOS
São Carlos – SP
Abril/2013
UNIVERSIDADE FEDERAL DE SÃO CARLOS
CENTRO DE CIÊNCIAS EXATAS E DE TECNOLOGIA
PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO
ALGORITMO PARA A EXTRAÇÃO
INCREMENTAL DE SEQUÊNCIAS
RELEVANTES COM JANELAMENTO E
PÓS-PROCESSAMENTO APLICADO A DADOS
HIDROGRÁFICOS
CARLOS ROBERTO SILVEIRA JUNIOR
Dissertação apresentada ao Programa de Pós-
Graduação em Ciência da Computação da Univer-
sidade Federal de São Carlos, como parte dos requi-
sitosparaaobtençãodotítulodeMestreemCiência
da Computação, área de concentração: Engenharia
deSoftware.
Orientadora: Profa. Dra. Marilde Terezinha Prado
Santos
São Carlos – SP
Abril/2013
Ficha catalográfica elaborada pelo DePT da
Biblioteca Comunitária da UFSCar

Silveira Junior, Carlos Roberto.
S587ae Algoritmo para a extração incremental de sequências
relevantes com janelamento e pós-processamento aplicado
a dados hidrográficos / Carlos Roberto Silveira Junior. -- São
Carlos : UFSCar, 2013.
117 f.

Dissertação (Mestrado) -- Universidade Federal de São
Carlos, 2013.

1. Data mining (Mineração de dados). 2. Dados espaço-
temporais. 3. Extração de padrões sequenciais. 4.
Janelamento de dados. 5. Ontologia difusa. I. Título.

CDD: 005.741 (20a)

A meus pais.
A
GRADECIMENTOS
Ameuspais,CarlosRobertoSilveiraeMarliAparecidaGonçalvesSilveira,peloapoioque
sempre me deram. E aos meus avos; Cláudio e Clarice, Antônio e Laura; por todo carinho que
me dedicaram. E ao restante de minha família e, em especial, ao meu irmão, Lucas Gonçalves
Silveira.
À minha orientadora, Marilde T. P. Santos, por me mostrar os caminhos de uma pesquisa
científica. E aos outros professores e amigos do Grupo de Banco de Dados por ajudar em meu
amadurecimentocientífico.
Aos meus amigos e companheiros: Bruno Calegari, Diogo, Ícaro, João de Chiachio, Mike
... pela compreensão e amizade que me significa muito. Aos meus amigos e antigos professo-
res: OrlandoTómaseAnaMariaMachado.
Aosmeusamigosdegraduação: BrunoBorgo,Daniel,Diego,Filipe,GuilhermeCartacho,
GuilhermeCuppi,Juliana,Laís,Leonardo,PauloPapotti,Rafael,VictorHugo...
Aosmeusamigosdemestrado,emespecial: CarlosCirilo,Francisco,Juciara,Maísa,Mar-
cos,Mirela,Victor,Vinícius... EaosamigosdoGrupodeBancodeDados.
AoprofessorDr. FranciscoAntônioDuplaseaUniversidadeFederaldeItajubápeloacesso
abasededadosutilizadanosexperimentosrealizados. ÀCAPESpeloapoiofinanceiro.
Àbancaavaliadoradestetrabalho.
A chave de todas as ciências é inegavelmente o ponto de interrogação.
Honoré de Balzac
R
ESUMO
A mineração de padrões sequenciais em dados de sensores ambientais é uma tarefa desa-
fiadora: os dados podem apresentar ruídos e podem, também, conter padrões esparsos que
são difíceis de serem detectados. O conhecimento extraído de dados de sensores ambien-
taispodeserusadoparadeterminarmudançasclimáticas,porexemplo. Entretanto,háuma
lacuna de métodos que podem lidar com este tipo de banco de dados. Com o intuito de
diminuirestalacuna,oalgoritmoIncrementalMinerofStretchyTimeSequenceswithPost-
Processing (IncMSTS-PP) foi proposto. O IncMSTS-PP aplica a extração incremental de
padrõessequenciascompós-processamentobaseadoemontologiaparaageneralizaçãodos
padrõesobtidosqueacarretaoenriquecimentosemânticodessespadrões. Padrõesgenerali-
zadossintetizamainformaçãoeatornamaisfácildeserinterpretada. IncMSTS-PPimple-
menta o método Stretchy Time Window (STW) que permite que padrões de tempo elástico
(padrões com intervalos temporais) sejam extraídos em bases que apresentam ruídos. Em
comparaçãocomoalgoritmoGSP,oIncMSTS-PPpoderetornar2,3vezesmaissequencias
e sequencias com 5 vezes mais itemsets. O módulo de pós-processamento é responsável
pelareduçãoem22,47%donúmerodepadrõesapresentadosaousuário,porémospadrões
retornados são semanticamente mais ricos, se comparados aos padrões não generalizados.
Assimsendo,oIncMSTS-PPapresentoubonsresultadosdedesempenhoemineroupadrões
relevantesmostrando,assim,queIncMSTS-PPéeficaz,eficienteeapropriadoemdomínio
dedadosdesensoresambientais.
Palavras-chave: Algoritmo de Mineração de Dados. Dados Espaço–Temporais. Dados Reais. Extra-
ção de Padrões Sequencias. Generalização de Padrões. Janelamento de Dados. Mineração de Dados
Incremental. OntologiaDifusa
A
BSTRACT
Theminingofsequentialpatternsindatafromenvironmentalsensorsisachallengingtask:
the data may show noise and may also contain sparse patterns that are difficult to detect.
Theknowledgeextractedfromenvironmentalsensordatacanbeusedtodetermineclimate
change, for example. However, there is a lack of methods that can handle this type of
database. In order to reduce this gap, the algorithm Incremental Miner of Stretchy Time
Sequences with Post-Processing (IncMSTS-PP) was proposed. The IncMSTS-PP applies
incremental extraction of sequential patterns with post-processing based on ontology for
the generalization of the patterns. The post-processing makes the patterns semantically
richer. Generalized patterns synthesize the information and makes it easier to be interpre-
ted. IncMSTS-PP implements the Stretchy Time Window (STW) that allows stretchy time
patterns (patterns with temporal intervals) are mined from bases that have noises. In com-
parisonwith GSPalgorithm, IncMSTS-PP canreturn2.3times morepatternsand patterns
with 5 times more itemsets. The post-processing module is responsible for the reduction
in 22.47% of the number of patterns presented to the user, but the returned patterns are
semanticallyricher. Thus,theIncMSTS-PPshowedgoodperformanceandminedrelevant
patterns showing, that way, that IncMSTS-PP is effective, efficient and appropriate for do-
mainofenvironmentalsensordata.
Keywords: Data Mining Algorithm. Time-Spacial Data. Real Data. Sequential Pattern Extraction.
PatternsGeneralization. DataWindowing. IncrementalDataMining. FuzzyOntology.
L F
ISTA DE IGURAS
2.1 ProcessodeDescobertadeConhecimentoÚtil . . . . . . . . . . . . . . . . . . 29
2.2 LinhaEvolutivadosAlgoritmosSequenciais . . . . . . . . . . . . . . . . . . . 31
2.3 ExemplodoFuncionamentodoGSP . . . . . . . . . . . . . . . . . . . . . . . 33
3.1 BasedeDadosIncremental . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2 ExemplodeJanelamentoDeslizante . . . . . . . . . . . . . . . . . . . . . . . 41
4.1 ExemplodeOntologiaDifusa. . . . . . . . . . . . . . . . . . . . . . . . . . . 47
5.1 DiagramadoAlgoritmoIncMSTS-PP. . . . . . . . . . . . . . . . . . . . . . . 53
5.2 ExemplodeBuscacomoSTW. . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.3 ExemplodeFuncionamentodoIncMSTS. . . . . . . . . . . . . . . . . . . . . 61
5.4 DiagramaGQMparaAvaliaçãodoIncMSTS-PP. . . . . . . . . . . . . . . . . 65
7.1 GráficosdeComparaçãoentreMSTSeGSP. . . . . . . . . . . . . . . . . . . . 73
7.2 OcorrênciadeumPadrãocomTempoElástico. . . . . . . . . . . . . . . . . . 75
7.3 ComparaçãodeDesempenhoentreIncMSTSeMSTS. . . . . . . . . . . . . . 77
7.4 GráficosdeComparaçãoentreIncMSTSeIncMSTS-PP. . . . . . . . . . . . . 80
A.1 RevisãoSistemática: FontesparaMineraçãodeDados. . . . . . . . . . . . . . 98
A.2 RevisãoSistemática: FontesparaMineraçãoIncremental. . . . . . . . . . . . . 100
A.3 RevisãoSistemática: FontesparaMineraçãocomJanelamento. . . . . . . . . . 103
A.4 RevisãoSistemática: FontesparaOntologia. . . . . . . . . . . . . . . . . . . . 105
B.1 BasedeDadosOriginal,Parte1. . . . . . . . . . . . . . . . . . . . . . . . . . 109
B.2 BasedeDadosOriginal,Parte2. . . . . . . . . . . . . . . . . . . . . . . . . . 110