Arabic Named Entity Recognition

206 Pages·2009·4.38 MB·English

Universidad Polit´ecnica de Valencia
Departamento de Sistemas Inform´aticos y Computaci´on
Reconocimiento de Formas e Inteligencia Artificial
Arabic Named Entity Recognition
The accepted dissertation
of
Yassine Benajiba
in partial fulfillment of the requirements
to obtain the academic degree of
Doctor en Inform´atica
under the supervision of
Dr. Paolo Rosso
Universidad Polit´ecnica de Valencia
Valencia, Spain
May 2009
to my language,
to my parents, my sisters, my brother and Fatma for their love, care and constant
support,
to Oreste (Paolo’s son), my nephew Taha and my niece Anissa for reminding me that
I should play and smile even in tough times,
with a sincere hope that this will make you proud of me.
Acknowledgments
I wish to thank Dr. Paolo Rosso, first for supervising this thesis, second for the
innumerable meetings which we have held to discuss the ideas and sketch plannings.
Third for his continuous encouragements during all the time that I have been under
his priceless supervision. Last but not least, I would also like to thank him for the
great travelling tutor and ski instructor that he has been to me.
I am really grateful to Dr. Imed Zitouni who showed me the industrial viewpoint of
the work that I am doing in my Ph.D. During the 6 months of my internship with him
at IBM T. J. Watson Research Center he gave me my first opportunity to explore
more challenging tasks and do my first steps in the world of “very large data”.
I am deeply indebted to Dr. Mona Diab whose help and guidance made a lot
of unthinkable achievements possible. During my internship with her in the Center
of Computational Learning Systems at Columbia University, she has made each and
every minute profitable and enjoyable. After the internship she still has dedicated
several hours on Skype to share her ideas and opinions on the ongoing work.
I would like to express my gratitude to Dr. Manuel Montes-y-G´omez for giv-
ing me the opportunity to have an internship under his supervision in the Language
Technologies Lab at the National Institute of Astrophysics, Optics and Electronics
(INAOE) in Puebla, Mexico. I had pleasure learning about all the ideas they are
exploring and was thrilled to investigate the compatibility of some of these ideas with
the Arabic language. I have furthermore to thank Dr. Luis Villasen˜or Pineda for
the precious time and interest that he had dedicated to my research work.
Also Dr. Vasudeva Varma from the International Institute of Information Tech-
nology at Hyderabad. I want to thank him and his Ph.D students for making my
stay in India comfortable and for having generously shared a lot of information about
their research works and their scientific feedback on ours.
I also thank my colleagues, the nearly Dr., Davide Buscaldi and, the already Dr.,
David Pinto for tutoring me at the beginning of my PhD career and for all the
discussions that we had at lunch and coffee breaks. Piedachu Peris Garc´ıa for
being an eye opener to me and for her constant support.
Finally, I would like to thank all my friends, my family and especially my beloved
Fatma.
iii
Acknowledgments iv
ThisPhD.thesishasbeensupportedbythe3-yeargrantofferedby“AgenciaEspan˜ola
de Cooperacio´n Internacional”. The research work of this PhD thesis has been devel-
oped in the context of the following projects:
• MCyTTIN2006-15265-C06-04: TEXT-MESS,“Intelligent,InteractiveandMul-
tilingual Text Mining based on Human Language Technology” (“Miner´ıa de
Textos Inteligente, Interactiva y Multilingue basada en Tecnolog´ıa del Lenguaje
Humano”, http://gplsi.dlsi.ua.es/text-mess/
• PCI-AECI A/7067/06 and PCI-AECI A/010317/07 : two bilateral (Spain-
Morocco) AECI funding projects to develop an Arabic Question Answering
system.
The committee for this Ph.D. thesis has been composed by:
Dr. Felisa Verdejo (U.N.E.D., Spain)
Dr. Horacio Rodr´ıguez (Universidad Polit´ecnica de Catalun˜a, Spain)
Dr. Mona Diab (Columbia University, USA)
Dr. Imed Zitouni (IBM T.J. Watson Research Center, USA)
Dr. Encarnacio´n Segarra (Universidad Polit´ecnica de Valencia, Spain)
Abstract
This Ph.D. thesis describes the investigations we carried out in order to deter-
mine the appropriate approach to build an efficient and robust Arabic Named Entity
Recognition system. Such a system would have the ability to identify and classify the
Named Entities within an open-domain Arabic text.
The Named Entity Recognition (NER) task helps other Natural Language Processing
approaches (e.g. Information Retrieval, Question Answering, Machine Translation,
etc.) achieve a higher performance thanks to the significant information added to the
text. In the literature, many research works report the adequate approaches which
can be used to build an NER system for a specific language or from a language-
independent perspective. Yet, very few research works which investigate the task for
the Arabic language have been published.
The Arabic language has a special orthography and a complex morphology which
bring new challenges to the NER task to be investigated. A complete investigation of
Arabic NER would report the technique which helps achieve a high performance, as
well as giving a detailed error analysis and results discussion so as to make the study
beneficial to the research community. This thesis work aims at satisfying this specific
need. In order to achieve that goal we have:
1. Studied the different aspects of the Arabic language which are related to the
NER task;
2. Studied the state-of-art of the NER task;
3. Conducted a comparative study among the most successful Machine Learning
approaches on the NER task;
4. Carried out a multi-classifier approach where each classifier deals with only one
NE class and uses the appropriate Machine Learning approach and feature-set
for the concerned class.
v
Abstract vi
We have evaluated our experiments on different nine data-sets of different genres
(newswire, broadcast news, Arabic Treebank and weblogs). Our findings point out
that the multi-classifier yields the best results.
Abstract vii
(cid:9)
(cid:145)(cid:106)(cid:202)(cid:214)(cid:207)(cid:64)
(cid:208)(cid:65)(cid:162)(cid:11)(cid:9)(cid:29)(cid:9) (cid:90)(cid:65)(cid:74)(cid:11)(cid:9)(cid:74)(cid:46)(cid:203) (cid:65)(cid:238)(cid:11)(cid:69)(cid:46) (cid:65)(cid:74)(cid:11)(cid:9)(cid:212)(cid:175)(cid:16) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:72)(cid:17) (cid:65)(cid:109)(cid:11)(cid:26)(cid:39)(cid:46)(cid:66)(cid:13)(cid:11)(cid:64) (cid:213)(cid:231)(cid:39)(cid:10)(cid:89)(cid:174)(cid:16)(cid:16)(cid:75) (cid:241)(cid:235) (cid:232)(cid:64)(cid:80)(cid:11)(cid:241)(cid:16)(cid:74)(cid:187)(cid:89)(cid:15)(cid:202)(cid:203) (cid:233)(cid:16)(cid:203)(cid:65)(cid:131)(cid:11)(cid:81)(cid:203)(cid:64) (cid:232)(cid:89)(cid:9)(cid:234)(cid:203) (cid:250)(cid:230)(cid:133)(cid:65)(cid:131)(cid:11)(cid:66)(cid:13)(cid:11)(cid:64) (cid:168)(cid:241)(cid:147)(cid:9)(cid:241)(cid:214)(cid:207)(cid:64) (cid:224)(cid:9) (cid:64)
(cid:10) (cid:10)
(cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:74)(cid:28)(cid:9)(cid:146)(cid:16)(cid:29)(cid:240) (cid:89)(cid:75)(cid:10)(cid:89)(cid:109)(cid:26)(cid:16)(cid:39) (cid:241)(cid:235) (cid:233)(cid:16)(cid:210)(cid:162)(cid:9)(cid:29)(cid:9)(cid:66)(cid:13)(cid:11)(cid:64) (cid:232)(cid:89)(cid:9)(cid:235) (cid:233)(cid:74)(cid:46)(cid:170)(cid:202)(cid:16)(cid:75) (cid:248)(cid:89)(cid:9)(cid:203)(cid:64) (cid:80)(cid:240)(cid:89)(cid:203)(cid:64) (cid:46) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:74)(cid:203) (cid:225)(cid:9) (cid:30)(cid:10)(cid:16)(cid:74)(cid:211) (cid:240) (cid:135)(cid:16)(cid:74)(cid:10)(cid:175)(cid:16)(cid:88)
(cid:10)
(cid:46)(cid:168)(cid:241)(cid:75)(cid:9) (cid:248)(cid:64) (cid:225)(cid:9) (cid:211) (cid:250)(cid:71)(cid:81)(cid:171) (cid:145)(cid:74)(cid:9)(cid:75)(cid:46) (cid:16)(cid:232)(cid:88)(cid:241)(cid:107)(cid:46)(cid:241)(cid:214)(cid:207)(cid:64) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64)
(cid:10) (cid:10)(cid:46)
(cid:11) (cid:15) (cid:11) (cid:15) (cid:13) (cid:13)
(cid:44)(cid:72)(cid:16) (cid:65)(cid:211)(cid:11)(cid:241)(cid:202)(cid:170)(cid:214)(cid:207)(cid:64) (cid:104)(cid:46) (cid:64)(cid:81)(cid:11)(cid:106)(cid:9) (cid:16)(cid:74)(cid:131)(cid:64) (cid:58)(cid:67)(cid:17)(cid:74)(cid:211)(cid:41) (cid:233)(cid:16)(cid:170)(cid:9)(cid:202)(cid:203) (cid:233)(cid:16)(cid:74)(cid:10)(cid:203)(cid:66)(cid:64) (cid:233)(cid:16)(cid:109)(cid:46)(cid:204)(cid:39)(cid:65)(cid:170)(cid:11)(cid:210)(cid:202)(cid:203) (cid:248)(cid:81)(cid:11)(cid:107)(cid:9)(cid:64) (cid:72)(cid:16) (cid:65)(cid:74)(cid:10)(cid:11)(cid:202)(cid:212)(cid:171) (cid:89)(cid:171)(cid:65)(cid:130)(cid:11)(cid:16)(cid:29) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:10)(cid:74)(cid:202)(cid:212)(cid:171)
(cid:72)(cid:16) (cid:65)(cid:211)(cid:11)(cid:241)(cid:202)(cid:170)(cid:214)(cid:207)(cid:64) (cid:201)(cid:146)(cid:9) (cid:174)(cid:9)(cid:75)(cid:46) (cid:225)(cid:9) (cid:130)(cid:107)(cid:13)(cid:64) (cid:90)(cid:64)(cid:88)(cid:11)(cid:13)(cid:64) (cid:250)(cid:206)(cid:11)(cid:171) (cid:200)(cid:241)(cid:146)(cid:109)(cid:204)(cid:39)(cid:64) (cid:250)(cid:206)(cid:11)(cid:171) (cid:40)(cid:46)(cid:116)(cid:204)(cid:39)(cid:64) (cid:44)(cid:233)(cid:16)(cid:74)(cid:10)(cid:203)(cid:66)(cid:11)(cid:64) (cid:233)(cid:16)(cid:212)(cid:103)(cid:46) (cid:81)(cid:16)(cid:30)(cid:203)(cid:64) (cid:44)(cid:233)(cid:16)(cid:202)(cid:74)(cid:13)(cid:11)(cid:131)(cid:66)(cid:11)(cid:64) (cid:233)(cid:16)(cid:75)(cid:46)(cid:65)(cid:103)(cid:11)(cid:46) (cid:64) (cid:233)(cid:16)(cid:210)(cid:162)(cid:9)(cid:29)(cid:9)(cid:13)(cid:64)
(cid:240)(cid:13)(cid:64) (cid:16)(cid:232)(cid:89)(cid:15)(cid:109)(cid:215) (cid:233)(cid:16)(cid:170)(cid:9)(cid:15)(cid:202)(cid:203) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:108)(cid:204)(cid:46)(cid:39)(cid:65)(cid:170)(cid:11)(cid:16)(cid:75) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:233)(cid:16)(cid:74)(cid:10)(cid:210)(cid:202)(cid:170)(cid:203)(cid:64) (cid:72)(cid:17) (cid:65)(cid:109)(cid:11)(cid:26)(cid:39)(cid:46)(cid:66)(cid:13)(cid:11)(cid:64) (cid:46)(cid:145)(cid:74)(cid:9)(cid:15)(cid:202)(cid:203) (cid:65)(cid:234)(cid:11)(cid:174)(cid:9)(cid:10)(cid:74)(cid:146)(cid:9) (cid:16)(cid:29) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:233)(cid:16)(cid:211)(cid:65)(cid:234)(cid:11)(cid:203)(cid:64)
(cid:10) (cid:10)
(cid:233)(cid:130)(cid:174)(cid:9)(cid:75)(cid:9) (cid:168)(cid:241)(cid:147)(cid:9)(cid:241)(cid:214)(cid:207)(cid:64) (cid:108)(cid:204)(cid:46)(cid:39)(cid:65)(cid:170)(cid:11)(cid:16)(cid:75) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:16)(cid:232)(cid:80)(cid:241)(cid:130)(cid:17)(cid:28)(cid:9)(cid:214)(cid:207)(cid:64) (cid:72)(cid:17) (cid:65)(cid:109)(cid:11)(cid:26)(cid:39)(cid:46)(cid:66)(cid:11)(cid:64) (cid:224)(cid:9) (cid:65)(cid:175)(cid:11)(cid:9) (cid:44) (cid:189)(cid:203)(cid:88)(cid:9) (cid:169)(cid:211) (cid:46)(cid:72)(cid:16) (cid:65)(cid:170)(cid:11)(cid:9)(cid:15)(cid:202)(cid:203)(cid:64) (cid:201)(cid:190)(cid:203) (cid:105)(cid:202)(cid:146)(cid:16)(cid:29) (cid:134)(cid:16)(cid:81)(cid:163) (cid:200)(cid:65)(cid:210)(cid:11)(cid:170)(cid:16)(cid:74)(cid:131)(cid:65)(cid:75)(cid:11)(cid:46)
(cid:10)
(cid:11) (cid:13)(cid:11) (cid:12)(cid:13) (cid:11) (cid:16) (cid:16) (cid:16)(cid:9)(cid:15) (cid:16)(cid:9) (cid:16)
(cid:46)(cid:169)(cid:75)(cid:46)(cid:65)(cid:147)(cid:66)(cid:64) (cid:128)(cid:240)(cid:240)(cid:80) (cid:250)(cid:206)(cid:171) (cid:89)(cid:170)(cid:75) (cid:233)(cid:74)(cid:10)(cid:75)(cid:46)(cid:81)(cid:170)(cid:203)(cid:64) (cid:233)(cid:170)(cid:202)(cid:203)(cid:64) (cid:233)(cid:175)(cid:89)(cid:238)(cid:68)(cid:130)(cid:211)
(cid:65)(cid:220)(cid:15)(cid:11)(cid:207) (cid:248)(cid:81)(cid:11)(cid:107)(cid:9)(cid:64) (cid:72)(cid:16) (cid:65)(cid:170)(cid:11)(cid:9)(cid:15)(cid:202)(cid:203) (cid:233)(cid:16)(cid:74)(cid:46)(cid:130)(cid:28)(cid:9)(cid:203)(cid:65)(cid:75)(cid:11)(cid:46) (cid:64)(cid:89)(cid:11)(cid:74)(cid:10)(cid:174)(cid:16)(cid:170)(cid:16)(cid:75) (cid:81)(cid:16)(cid:30)(cid:187)(cid:64) (cid:81)(cid:30)(cid:46)(cid:16)(cid:74)(cid:170)(cid:16)(cid:75) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:65)(cid:238)(cid:11)(cid:68)(cid:16)(cid:74)(cid:10)(cid:107)(cid:46)(cid:241)(cid:203)(cid:241)(cid:175)(cid:9)(cid:80)(cid:241)(cid:211)(cid:240) (cid:233)(cid:16)(cid:147)(cid:65)(cid:109)(cid:11)(cid:9)(cid:204)(cid:39)(cid:64) (cid:65)(cid:234)(cid:11)(cid:175)(cid:9)(cid:240)(cid:81)(cid:107) (cid:65)(cid:234)(cid:11)(cid:203) (cid:233)(cid:16)(cid:74)(cid:10)(cid:75)(cid:46)(cid:81)(cid:170)(cid:203)(cid:64) (cid:233)(cid:16)(cid:170)(cid:9)(cid:15)(cid:202)(cid:203)(cid:64)
(cid:10)
(cid:233)(cid:16)(cid:202)(cid:211)(cid:65)(cid:11)(cid:191) (cid:233)(cid:16)(cid:131)(cid:64)(cid:80)(cid:11)(cid:88) (cid:46)(cid:248)(cid:81)(cid:11)(cid:109)(cid:9)(cid:204)(cid:11)(cid:39)(cid:64) (cid:72)(cid:16) (cid:65)(cid:170)(cid:11)(cid:9)(cid:15)(cid:202)(cid:203) (cid:172)(cid:9)(cid:81)(cid:170)(cid:16)(cid:75) (cid:213)(cid:203) (cid:16)(cid:232)(cid:89)(cid:75)(cid:10)(cid:89)(cid:103)(cid:46) (cid:72)(cid:16) (cid:65)(cid:75)(cid:10)(cid:11)(cid:89)(cid:109)(cid:26)(cid:16)(cid:39) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:10)(cid:74)(cid:202)(cid:210)(cid:170)(cid:203) (cid:135)(cid:16)(cid:202)(cid:109)(cid:9)(cid:26)(cid:10)(cid:39)
(cid:200)(cid:241)(cid:146)(cid:109)(cid:204)(cid:39)(cid:64) (cid:225)(cid:9) (cid:211) (cid:225)(cid:9) (cid:186)(cid:15) (cid:214)(cid:223)(cid:16) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:233)(cid:16)(cid:74)(cid:10)(cid:74)(cid:9)(cid:174)(cid:16)(cid:16)(cid:74)(cid:203)(cid:64) (cid:89)(cid:75)(cid:10)(cid:89)(cid:109)(cid:26)(cid:16)(cid:39) (cid:73)(cid:46) (cid:107)(cid:46)(cid:241)(cid:16)(cid:74)(cid:130)(cid:16)(cid:29) (cid:233)(cid:16)(cid:74)(cid:10)(cid:75)(cid:46)(cid:81)(cid:170)(cid:203)(cid:64) (cid:144)(cid:241)(cid:146)(cid:74)(cid:9)(cid:203)(cid:65)(cid:75)(cid:11)(cid:46) (cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:10)(cid:74)(cid:202)(cid:210)(cid:170)(cid:203)
(cid:10)
(cid:233)(cid:16)(cid:131)(cid:64)(cid:80)(cid:11)(cid:89)(cid:203)(cid:64) (cid:224)(cid:9) (cid:241)(cid:186)(cid:16)(cid:75) (cid:250)(cid:230)(cid:16)(cid:11)(cid:107) (cid:208)(cid:65)(cid:162)(cid:11)(cid:9)(cid:74)(cid:9)(cid:203)(cid:64) (cid:90)(cid:65)(cid:162)(cid:11)(cid:107)(cid:9)(cid:13)(cid:64) (cid:201)(cid:74)(cid:10)(cid:202)(cid:109)(cid:26)(cid:16)(cid:39)(cid:240) (cid:65)(cid:238)(cid:11)(cid:68)(cid:10)(cid:202)(cid:171) (cid:201)(cid:146)(cid:106)(cid:214)(cid:207)(cid:64) (cid:108)(cid:26)(cid:46)(cid:39)(cid:13)(cid:11)(cid:65)(cid:16)(cid:74)(cid:11)(cid:74)(cid:9)(cid:203)(cid:64) (cid:233)(cid:16)(cid:130)(cid:17)(cid:175)(cid:16)(cid:65)(cid:74)(cid:11)(cid:9)(cid:211)(cid:240) (cid:90)(cid:64)(cid:88)(cid:11)(cid:64) (cid:225)(cid:9) (cid:130)(cid:107)(cid:13)(cid:64) (cid:250)(cid:206)(cid:11)(cid:171)
(cid:135)(cid:16)(cid:74)(cid:10)(cid:174)(cid:16)(cid:109)(cid:26)(cid:16)(cid:39) (cid:250)(cid:205)(cid:11)(cid:64) (cid:172)(cid:9)(cid:89)(cid:238)(cid:69)(cid:10) (cid:233)(cid:16)(cid:174)(cid:16)(cid:10)(cid:74)(cid:17)(cid:75)(cid:241)(cid:203)(cid:64) (cid:232)(cid:89)(cid:9)(cid:235) (cid:250)(cid:175)(cid:9) (cid:208)(cid:89)(cid:174)(cid:16)(cid:75)(cid:9) (cid:248)(cid:89)(cid:9)(cid:203)(cid:64) (cid:73)(cid:17) (cid:106)(cid:74)(cid:46)(cid:203)(cid:64) (cid:46)(cid:225)(cid:9) (cid:30)(cid:10)(cid:17)(cid:74)(cid:107)(cid:65)(cid:74)(cid:11)(cid:46)(cid:203)(cid:64) (cid:233)(cid:16)(cid:175)(cid:9)(cid:65)(cid:190)(cid:11)(cid:203) (cid:16)(cid:232)(cid:89)(cid:74)(cid:10)(cid:174)(cid:9)(cid:211)
(cid:10) (cid:10)
(cid:58)(cid:72) (cid:65)(cid:74)(cid:11)(cid:9)(cid:212)(cid:175)(cid:16) (cid:189)(cid:202)(cid:146)(cid:9) (cid:203)(cid:240) (cid:44)(cid:144)(cid:9)(cid:81)(cid:170)(cid:9)(cid:203)(cid:64) (cid:64)(cid:89)(cid:11)(cid:9)(cid:235)
(cid:46)
(cid:59)(cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:74)(cid:10)(cid:202)(cid:212)(cid:171) (cid:145)(cid:109)(cid:9)(cid:26)(cid:16)(cid:39) (cid:250)(cid:230)(cid:16)(cid:203)(cid:64) (cid:233)(cid:16)(cid:10)(cid:74)(cid:75)(cid:46)(cid:81)(cid:170)(cid:203)(cid:64) (cid:233)(cid:16)(cid:170)(cid:9)(cid:15)(cid:202)(cid:203)(cid:64) (cid:73)(cid:46) (cid:75)(cid:9)(cid:64)(cid:241)(cid:11)(cid:107)(cid:46) (cid:169)(cid:74)(cid:10)(cid:212)(cid:103)(cid:46) (cid:233)(cid:16)(cid:131)(cid:64)(cid:80)(cid:11)(cid:88) (cid:46)(cid:49)
(cid:10)
(cid:59)(cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:74)(cid:10)(cid:202)(cid:212)(cid:171) (cid:250)(cid:10)(cid:175)(cid:9) (cid:65)(cid:238)(cid:11)(cid:68)(cid:10)(cid:202)(cid:171) (cid:201)(cid:146)(cid:106)(cid:214)(cid:207)(cid:64) (cid:108)(cid:26)(cid:46)(cid:39)(cid:13)(cid:11)(cid:65)(cid:16)(cid:74)(cid:11)(cid:74)(cid:9)(cid:203)(cid:64) (cid:81)(cid:187)(cid:89)(cid:9)(cid:16)(cid:75) (cid:250)(cid:10)(cid:230)(cid:16)(cid:203)(cid:64) (cid:169)(cid:107)(cid:46)(cid:64)(cid:81)(cid:11)(cid:214)(cid:207)(cid:64) (cid:233)(cid:16)(cid:131)(cid:64)(cid:80)(cid:11)(cid:88) (cid:46)(cid:50)
(cid:59)(cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:64) (cid:173)(cid:9)(cid:10)(cid:75)(cid:81)(cid:170)(cid:16)(cid:75) (cid:233)(cid:16)(cid:74)(cid:10)(cid:202)(cid:212)(cid:171) (cid:250)(cid:10)(cid:175)(cid:9) (cid:65)(cid:103)(cid:11)(cid:65)(cid:109)(cid:11)(cid:46)(cid:26)(cid:39)(cid:9) (cid:81)(cid:17)(cid:30)(cid:187)(cid:66)(cid:13)(cid:11)(cid:64) (cid:233)(cid:16)(cid:203)(cid:66)(cid:11)(cid:64) (cid:213)(cid:230)(cid:10)(cid:202)(cid:170)(cid:16)(cid:75) (cid:72)(cid:16) (cid:65)(cid:74)(cid:10)(cid:11)(cid:74)(cid:9)(cid:174)(cid:16)(cid:16)(cid:75) (cid:225)(cid:9) (cid:30)(cid:10)(cid:75)(cid:46) (cid:233)(cid:16)(cid:75)(cid:9)(cid:80)(cid:65)(cid:174)(cid:16)(cid:11)(cid:211) (cid:46)(cid:51)
(cid:213)(cid:206)(cid:170)(cid:203)(cid:64) (cid:90)(cid:65)(cid:214)(cid:11)(cid:222)(cid:133)(cid:13)(cid:64) (cid:225)(cid:9) (cid:211) (cid:89)(cid:103)(cid:64)(cid:240)(cid:11) (cid:173)(cid:9)(cid:74)(cid:9)(cid:146)(cid:29)(cid:46) (cid:145)(cid:16)(cid:74)(cid:109)(cid:9)(cid:26)(cid:10)(cid:39) (cid:173)(cid:9)(cid:74)(cid:9)(cid:146)(cid:211) (cid:201)(cid:191) (cid:65)(cid:238)(cid:11)(cid:68)(cid:10)(cid:175)(cid:9) (cid:16)(cid:232)(cid:89)(cid:171) (cid:225)(cid:9) (cid:30)(cid:10)(cid:174)(cid:9)(cid:74)(cid:9)(cid:146)(cid:211) (cid:201)(cid:210)(cid:170)(cid:16)(cid:74)(cid:130)(cid:16)(cid:29) (cid:72)(cid:46) (cid:80)(cid:65)(cid:109)(cid:11)(cid:46)(cid:26)(cid:16)(cid:39) (cid:46)(cid:52)
(cid:46)(cid:89)(cid:103)(cid:64)(cid:240)(cid:11) (cid:104)(cid:46) (cid:81)(cid:109)(cid:9)(cid:215) (cid:160)(cid:65)(cid:74)(cid:11)(cid:46)(cid:74)(cid:9)(cid:28)(cid:16)(cid:131)(cid:66)(cid:11) (cid:225)(cid:9) (cid:30)(cid:10)(cid:174)(cid:9)(cid:74)(cid:9)(cid:146)(cid:214)(cid:207)(cid:64) (cid:90)(cid:66)(cid:11)(cid:241)(cid:12)(cid:13)(cid:235) (cid:104)(cid:46) (cid:80)(cid:65)(cid:109)(cid:11)(cid:9)(cid:215) (cid:104)(cid:46) (cid:81)(cid:9)(cid:211) (cid:213)(cid:230)(cid:16)(cid:10)(cid:75)(cid:240)
(cid:250)(cid:10)(cid:230)(cid:16)(cid:203)(cid:64) (cid:233)(cid:16)(cid:10)(cid:74)(cid:74)(cid:9)(cid:174)(cid:16)(cid:16)(cid:74)(cid:203)(cid:64) (cid:224)(cid:9) (cid:13)(cid:64) (cid:225)(cid:9) (cid:15)(cid:30)(cid:10)(cid:74)(cid:46)(cid:16)(cid:75) (cid:65)(cid:74)(cid:11)(cid:9)(cid:109)(cid:46)(cid:26)(cid:39)(cid:13)(cid:11)(cid:65)(cid:16)(cid:74)(cid:11)(cid:75)(cid:9)(cid:240) (cid:233)(cid:16)(cid:174)(cid:9)(cid:202)(cid:16)(cid:74)(cid:109)(cid:9)(cid:215) (cid:72)(cid:16) (cid:65)(cid:74)(cid:10)(cid:11)(cid:162)(cid:170)(cid:211) (cid:89)(cid:171)(cid:64)(cid:241)(cid:11)(cid:175)(cid:16) (cid:233)(cid:16)(cid:170)(cid:130)(cid:16)(cid:29) (cid:250)(cid:206)(cid:11)(cid:171) (cid:65)(cid:74)(cid:11)(cid:9)(cid:75)(cid:46)(cid:80)(cid:65)(cid:109)(cid:11)(cid:46)(cid:26)(cid:16)(cid:39) (cid:213)(cid:230)(cid:15)(cid:10)(cid:174)(cid:16)(cid:16)(cid:74)(cid:75)(cid:46) (cid:65)(cid:74)(cid:11)(cid:9)(cid:212)(cid:175)(cid:16) (cid:89)(cid:174)(cid:16)(cid:203)(cid:240)
(cid:46)(cid:108)(cid:26)(cid:46)(cid:39)(cid:13)(cid:11)(cid:65)(cid:16)(cid:74)(cid:11)(cid:74)(cid:9)(cid:203)(cid:64) (cid:225)(cid:9) (cid:130)(cid:107)(cid:13)(cid:64) (cid:73)(cid:16) (cid:162)(cid:171)(cid:13)(cid:64) (cid:250)(cid:10)(cid:230)(cid:16)(cid:203)(cid:64) (cid:249)(cid:10)(cid:235) (cid:225)(cid:9) (cid:30)(cid:10)(cid:174)(cid:9)(cid:74)(cid:9)(cid:146)(cid:211) (cid:16)(cid:232)(cid:89)(cid:171) (cid:104)(cid:46) (cid:81)(cid:9)(cid:211) (cid:89)(cid:74)(cid:9)(cid:28)(cid:16)(cid:130)(cid:16)(cid:29)
Abstract viii
Abstract ix
Resumen
En esta tesis doctoral se describen las investigaciones realizadas con el objetivo de de-
terminar las mejores t´ecnicas para construir un Reconocedor de Entidades Nombradas
´
en Arabe. Tal sistema tendr´ıa la habilidad de identificar y clasificar las entidades
nombradas que se encuentran en un texto a´rabe de dominio abierto.
La tarea de Reconocimiento de Entidades Nombradas (REN) ayuda a otras tareas de
ProcesamientodelLenguajeNatural(porejemplo, laRecuperacio´ndeInformacio´n, la
Bu´squeda de Respuestas, la Traduccio´n Automa´tica, etc.) a lograr mejores resultados
gracias al enriquecimiento que an˜ade al texto. En la literatura existen diversos traba-
jos que investigan la tarea de REN para un idioma espec´ıfico o desde una perspectiva
independiente del lenguaje. Sin embargo, hasta el momento, se han publicado muy
pocos trabajos que estudien dicha tarea para el a´rabe.
El ´arabe tiene una ortograf´ıa especial y una morfolog´ıa compleja, estos aspectos apor-
tan nuevos desaf´ıos para la investigacio´n en la tarea de REN. Una investigaci´on com-
pleta del REN para el a´rabe no solo aportar´ıa las t´ecnicas necesarias para conseguir
un alto rendimiento, sino que tambi´en proporcionar´ıa un ana´lisis de los errores y una
discusio´n sobre los resultados que benefician a la comunidad de investigadores del
REN. El objetivo principal de esta tesis es satisfacer esa necesidad. Para ello hemos:
1. Elaborado un estudio de los diferentes aspectos del a´rabe relacionados con dicha
tarea;
2. Analizado el estado del arte del REN;
3. Llevado a cabo una comparativa de los resultados obtenidos por diferentes
t´ecnicas de aprendizaje autom´atico;
4. Desarrollado un m´etodo basado en la combinacio´n de diferentes clasificadores,
donde cada clasificador trata con una sola clase de entidades nombradas y em-
plea el conjunto de caracter´ısticas y la t´ecnica de aprendizaje automa´tico ma´s
adecuados para la clase de entidades nombradas en cuestio´n.
Abstract x
Nuestros experimentos han sido evaluados sobre nueve conjuntos de test de diferentes
tipos (art´ıculos de peri´odico, noticias transcritas, documentos del Arabic Treebank y
weblogs). Nuestros resultados muestran que la t´ecnica basada en varios clasificadores
ayuda a obtener los mejores resultados en todos estos tipos de documentos.