Um Sistema de Reconhecimento de Expressões Faciais para Apoiar um Ambiente Virtual de

133 Pages·2013·3.31 MB·Portuguese

UNIVERSIDADE FEDERAL RURAL DO SEMI-ÁRIDO
UNIVERSIDADE DO ESTADO DO RIO GRANDE DO NORTE
PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA
COMPUTAÇÃO

FÁBIO ABRANTES DINIZ

RedFace – Um Sistema de Reconhecimento de Expressões Faciais
para Apoiar um Ambiente Virtual de Aprendizagem.

MOSSORÓ – RN
2013
FÁBIO ABRANTES DINIZ

RedFace – Um Sistema de Reconhecimento de Expressões Faciais
para Apoiar um Ambiente Virtual de Aprendizagem.

Dissertação apresentada ao Programa de Pós-Graduação
em Ciência da Computação – associação ampla entre a
Universidade do Estado do Rio Grande do Norte e a
Universidade Federal Rural do Semi-Árido, para a
obtenção do título de Mestre em Ciência da Computação.

Orientador: Prof. Dr. Francisco Milton Mendes Neto –
UFERSA.

Co-orientador:
Prof. Dr. Francisco Chagas de Lima Junior - UERN

MOSSORÓ – RN
2013
Ficha catalográfica preparada pelo setor de classificação e
catalogação da Biblioteca “Orlando Teixeira” da UFERSA

D585r Diniz, Fábio Abrantes.

RedFace – um sistema de reconhecimento de expressões faciais

para apoiar um ambiente virtual de aprendizagem. / Fábio Abrantes

Diniz. -- Mossoró, 2013.
133 f.: il.

Dissertação (Mestrado em Ciências da Computação) –
Universidade Federal Rural do Semi-Árido.
Orientador: D.Sc. Francisco Milton Mendes Neto.
Co-orientador: D.Sc. Francisco Chagas De Lima Júnior.

1. Expressões Faciais. 2. PCA. 3. Ambiente Virtual de Aprendizagem e
Afetividade. I.Título.

CDD: 004.678

Bibliotecária: Vanessa de Oliveira Pessoa CRB15/453
FÁBIO ABRANTES DINIZ
Dedico este trabalho aos meus amados pais, José e
Juranilda, a meus fiéis irmãos, Jean, José Emerson,
Janílson e Jânio, e ao meu orientador Francisco
Milton Mendes Neto. Todos me fortaleceram para
que fosse possível concluir esta jornada em minha
vida.
AGRADECIMENTOS

Agradeço a Deus, que me deu oportunidades em minha vida para que fosse possível
chegar ao ponto que estou hoje. Agradeço aos meus pais, José Abrantes e Juranilda Diniz, que
com muito custo e esforço me tornaram a pessoa que sou hoje. Devo tudo a eles.
A meus irmãos, Janílson, Jânio, José Emerson e Jean Carlos, que foram companheiros
para todas as horas e nunca deixaram faltar nada na minha vida, desde bens materiais,
alimentação a seus amores fraternais em todos meus momentos difíceis.
À minha namorada, Maria de Perpétuo de Alencar, que esteve sempre me dando
forças, acompanhando-me neste momento e, ao mesmo tempo, é final e inicial em minha
vida. Ela me deu amizade e amor em momentos que eu mais precisava.
Ao meu primo Darcio Abrantes, por me ajudar a encontrar uma boa moradia e pela
virtude do companheirismo que foi fundamental nesta etapa da minha vida.
A todos os meus amigos, em especial Thiago Reis e Ithalo Moura que me divertem e
sabem criticar-me quando necessário, e as pessoas importante para o trabalho como Thiago
Domingues e Lucas Figueiredo que me ajudaram na implementação do protótipo desse
trabalho.
A Francisco Chagas de Lima Júnior, co-orientador deste trabalho, pelo seu apoio no
momento que eu mais precisava, pois eu estava ausente de co-orientador. Agradeço muito
pela sua atenção e por ter me indicado materiais que foram úteis para eu explorar, e além de
ter me ajudado nas correções dos meus artigos e da dissertação.
Ao meu orientador Francisco Milton Mendes Neto, pela sua paciência e confiança na
minha capacidade e habilidades de desenvolver um trabalho. Agradeço muito pela sua
atenção, leitura cuidadosa e conselhos que fizeram este trabalho melhor, e que, pela
convivência, se tornou um grande amigo.
A todos os professores do programa de pós-graduação de ciência da computação da
UERN/UFERSA que contribuíram direto ou indiretamente para realização deste trabalho de
mestrado. Espero que todos continuem assim, pois acredito que esse programa vai ser um dos
melhores do Estado do Rio Grande do Norte.
A CAPES, pelo apoio financeiro concebido no qual viabilizou a realização deste
trabalho.
Obrigado a todos,
Fabio Abrantes Diniz
RESUMO

A maioria dos Ambientes Virtuais de Aprendizagens (AVAs) não dispõe de mecanismos
eficientes que possam identificar os alunos tanto no acesso ao sistema quanto durante o
desenvolvimento de suas atividades. Em geral, este tipo de ambiente adota como prática de
segurança a utilização de mecanismo de autenticação por login e senha. O uso deste tipo
simples de autenticação aumenta a vulnerabilidade a fraudes no aspecto relativo à identidade
daquele que realiza o curso. Além disso, nos AVAs, a avaliação do processo de ensino e
aprendizagem do aluno tem que levar em consideração os fenômenos afetivos durante toda a
interação do aluno com o ambiente, visto que esses fenômenos interferem profundamente nos
processos mentais, como memorização, raciocínio, atenção e, principalmente, motivação.
Desta forma, o presente trabalho propõe melhorias no processo de aprendizagem e nas
atividades avaliativas de um AVA composto por agentes inteligentes. O sistema proposto
utiliza técnicas de Análise dos Componentes Principais (Principal Component Analysis -
PCA), para reconhecimento de identificação facial e um Sistema de Codificação de Ação
Facial (FACS), para rastreamento dos pontos característicos faciais, e um método de
classificação da emoção baseado em regras para reconhecimento de expressões faciais. Este
sistema, por meio de uma câmera, permite identificar o aluno durante toda a realização das
avaliações pedagógicas do AVA, além reconhecer a emoção (alegria, tristeza, raiva e
desgosto) do aluno pela sua expressão facial. A emoção servirá de entrada para um agente
pedagógico animado, existente no AVA, que tentará motivá-lo à aprendizagem de forma mais
eficaz.

Palavras-Chave: Expressões Faciais, PCA, Ambiente Virtual de Aprendizagem e Afetividade.
ABSTRACT

The most of Virtual Learning Environments (VLEs) has no efficient mechanisms for
identifying students both in accessing a system and during the activities development. In
general, this system uses security mechanisms for authentication by login and password.
Using this simple type of authentication increases vulnerability to fraud in an aspect
concerning the identity of who performs the course. In addition, in VLEs, the assessment of
teaching-learning process of students must take into account the affective phenomena
throughout the student's interaction with the environment, because they deeply affect the
mental processes such as memory, reasoning, attention and mainly the motivation. Thus, this
work proposes improvements in learning process and in the evaluative activities of a VLE
composed by intelligent agents. The proposed system uses techniques of Principal Component
Analysis (PCA) to face identification recognition and a Facial Action Coding System
(FACS), for tracking facial features points, and an emotion classification method based on
rules to facial expressions recognition. This system by means of a camera enables a student to
be identified during a performance of VLE pedagogical assessments and recognizes student
emotions (happiness, sadness, anger and disappointment) by facial expression. The emotion
will serve as input for an animated pedagogical agent, which composes the VLE, in order to
motivate the student to learn more effectively.

Keywords: Facial Expressions, PCA, Virtual Learning Environment and Affectivity.
LISTA DE TABELAS

Tabela 01 – Análise entre os principais métodos biométricos..................................................30
Tabela 02 – Um comparativo das técnicas de detecção de característica.................................42
Tabela 03 – Algoritmos de reconhecimento de padrão no OpenCV........................................46
Tabela 04 – Exemplo de combinações de UAs formando algumas expressões de emoções....67
Tabela 05 – Resumo de trabalhos de reconhecimento de emoções faciais...............................83
Tabela 06 – Testes Random Forest...........................................................................................98
Tabela 07 – Testes K-Star........................................................................................................ 98
Tabela 08 – Deslocamentos das deformações geométricas nas expressões faciais................107
Tabela 09 – Critérios de Reconhecimento dos UAs.............................................................. 108
Tabela 10 – Associação das seis expressões faciais com seus UAs e combinações.............. 110
Tabela 11 – Resultado da precisão das emoções................................................................... 114
Tabela 12 – Matriz de confusão............................................................................................. 115
Tabela 13 – Exemplos de UAs do sistema FACS.................................................................. 125
Tabela 14 – Vértices do CANDIDE-3 com suas descrições.................................................. 130
LISTA DE FIGURAS

Figura 01 – Exemplo de imagem digital monocromática.........................................................26
Figura 02 – Representação numérica de uma imagem digital monocromática........................27
Figura 03 – Variação de resolução espacial de uma imagem com 256 níveis de cinzas..........28
Figura 04 – Variação de profundidade de uma mesma imagem...............................................28
Figura 05 – Alguns tipos de métodos de identificação existentes............................................31
Figura 06 – Arquitetura padrão de um sistema biométrico.......................................................33
Figura 07 – Características Haar..............................................................................................38
Figura 08 – Exemplo de cálculo de uma região retangular.......................................................39
Figura 09 – Cascata de classificadores com n fases..................................................................40
Figura 10 – Modelo CANDIDE................................................................................................43
Figura 11 – Exemplo do CANDIDE-3 capturando alguns pontos característicos da face.......43
Figura 12 – O modelo CANDIDE-3 refletindo várias formas e expressões faciais.................44
Figura 13 – (A) Visão modelo comercial do Kinect. (B) Visão figurada do modelo Kinect...48
Figura 14 – Resumo da arquitetura básica................................................................................49
Figura 15 – Articulações do esqueleto do homem ...................................................................50
Figura 16 – Exemplo de face média (acima) e Eigenfaces mais importantes no treinamento..56
Figura 17 – Arquitetura padrão do MOODLE..........................................................................58
Figura 18 – Arquitetura do AVA baseado em agentes de apoio à PBL....................................60
Figura 19 – Animações referentes aos estados emocionais do AgPA......................................61
Figura 20 – Afetividade e manifestações do estado afetivo......................................................64
Figura 21 – Seis expressões faciais emocionais básicas...........................................................65
Figura 22 – UA 43 do Sistema FACS ......................................................................................67
Figura 23 – Ramos da computação afetiva...............................................................................69
Figura 24 – Mapeamentos dos aspectos afetivos......................................................................71
Figura 25 – Agente PAT...........................................................................................................73
Figura 26 – Arquitetura do agente pedagógico Dóris...............................................................74
Figura 27 – Elementos envolvidos nas expressões faciais........................................................76
Figura 28 – Metodologia básica para o reconhecimento de padrões........................................77
Figura 29 – Arquitetura do Sistema proposto por Rolim e Bezerra (2008)..............................81
Figura 30 – Passos de reconhecimento de expressões faciais...................................................85