Arquitectura Optimizada para un Motor de Búsqueda Web Eficiente

244 Pages·2013·10.42 MB·Spanish

Arquitectura Optimizada para un Motor
de Bu´squeda Web Eficiente: Crawling de
´
Contenido Util y Actualizado
V´ıctor Manuel Prieto A´lvarez
Departamento de Tecnolox´ıas da Informaci´on e as Comunicaci´ons
UNIVERSIDADE DA CORUN˜A
Directores:
Dr. Fidel Cacheda Seijo
Dr. Manuel A´lvarez D´ıaz
2013
ii
iii
A mi padre y a mi hermano,
sendero y asfalto
en el camino a mis metas.
iv Cap´ıtulo 1. Agradecimientos
Agradecimientos
vi Agradecimientos
No me lo puedo creer, parece que esto se termina... Quiero volver a comenzar, y compartir con vosotros una
de las frases que me ayudo a entender como deb´ıa ser mi trabajo diario para lograr realizar esta tesis. La frase
la dijo Thomas Alva Edison: “No fracas´e, s´olo descubr´ı 999 maneras de como no hacer una bombilla”. Esta
frase para mi representa, el valor de un trabajo diario, de la constancia y la superaci´on. Durante estos an˜os, he
descubierto 999 de no mejorar los sistemas de crawling, pero he descubierto una forma de hacerlo. El trabajo
diario, unido a vuestro apoyo, ha dado el fruto de lo que es este trabajo hoy en d´ıa. Por ello, os quiero dedicar
mis agradecimientos.
Gracias a mis codirectores, Fidel Cacheda y Manuel A´lvarez. A Fidel, por su experiencia y su visi´on
positiva, aportando la perspectiva adecuada en cada una de las investigaciones. A Manuel, por su ayuda diaria
ycontinuascorrecciones,hansidomuchaslashorasdecharlasypensamientos. Sinellas,hubierasidoimposible.
Graciasamiscompan˜erosdelaboratorio. Porapoyarmed´ıaad´ıa,yenlosmomentosdif´ıciles,porayudarme
a ver el camino m´as sencillo, y por supuesto por todos los momentos que hemos pasado juntos. Nunca los
olvidaremos ;)
Graciasamifamiliayamigos,poraguantarmecuandosequesoyinaguantable,pornohacermecasocuando
no hay que hac´ermelo y por saberme distraer y alegrar.
Gracias a ti, por estar cuando tienes que estar y ser como eres.
Entre todos, me hab´eis ayudado a aprender lo m´as importante: En la vida siempre hay que crear y tener
nuevos retos e ideas por las que luchar.
Resumen
viii Resumen
LaWebconstituyeelmayorrepositoriodeinformaci´onjam´asconstruido. Porestemotivosehaceimprescindible
la utilizaci´on de buscadores web que permitan localizar la informaci´on apropiada en cada momento.
Uno de los m´odulos de un buscador es el formado por los crawlers, programas software que aprovechan la
estructura basada en hiperv´ınculos de la Web, para recorrerla y crear un repositorio con los recursos web sobre
el que poder realizar bu´squedas. Pero el recorrido de la Web presenta numerosos desaf´ıos para los crawlers,
entre los que destacan: el tratamiento de la Web Oculta del lado cliente/servidor, la detecci´on de p´aginas
“basura” (Spam y Soft-404) o la actualizaci´on de contenidos.
Last´ecnicasexistentesparaladetecci´ondeWebSpamyp´aginasSoft-404presentanmultituddedeficiencias
tantoaniveldeeficaciacomodeeficiencia. Adem´as, nohansidodisen˜adasparasuusoensistemasdecrawling.
Respecto al recrawling de la Web, los m´etodos existentes se centran en analizar la frecuencia de cambio
de las p´aginas o el comportamiento de los buscadores para proponer pol´ıticas de recrawling. Estos estudios se
basan en datos estad´ısticos que intentan aproximar el instante de modificaci´on de las p´aginas.
Estatesispresentaeldisen˜odeunaarquitecturadebu´squedawebqueplanteasolucionesalasproblem´aticas
asociadas a recursos que no deben de ser procesados: porque no son u´tiles (Web Spam o p´aginas Soft-404) o
porque no han cambiado desde la u´ltima vez que se accedi´o a ellos. En primer lugar presenta dos estudios para
caracterizar la Web. El primero de ellos analiza la Web Oculta y su tratamiento por parte de los crawlers, y
el segundo analiza la evoluci´on en la Web de la edad y la similitud de las p´aginas, para su uso en el recrawling
de los contenidos, y de otras caracter´ısticas que ayuden en la detecci´on de Web Spam y p´aginas Soft-404.
Para la detecci´on de p´aginas “basura”, se proponen t´ecnicas basadas en contenido, que permiten detectar
Web Spam y p´aginas Soft-404 de forma m´as eficaz y eficiente que las presentes en la literatura. De este modo,
el crawler no dedicar´a recursos a descargar, indexar y mostrar este tipo de p´aginas, mejorando la calidad de
sus repositorios.
Para la actualizaci´on de contenidos, se ha propuesto un sistema que permite detectar en “tiempo real”
modificaciones en p´aginas web. Nuevamente, se mejora el rendimiento del crawler debido a que, por una parte,
no procesar´a p´aginas que no hayan cambiado, y por otra parte, las p´aginas del repositorio ser´an m´as actuales.
Abstract
x Abstract
The Web constitutes the biggest repository of information ever created. Due to this reason, it is essential to
use web search engines to locate appropriate information at all times.
Crawlers comprise one of the modules of a search engine. These are software programs that leverage
the hyperlink structure of the Web to traverse it and create a repository of web resources on which one can
perform searches. However, the traversal of the Web presents several challenges for crawlers, among which are
the treatment of the client/server side Hidden Web, “garbage” detection (Spam and Soft-404 web pages) or
content update.
Existing techniques for detecting Web Spam and Soft-404 web pages have multitude of limitations in terms
of effectiveness and efficiency. Furthermore, they were not originally designed to be used by crawling systems.
Regarding recrawling of the Web, existing methods focus on analyzing the frequency of change of the pages
or the behavior of search engines to propose recrawling policies. These studies are based on statistics that
attempt to approximate when a web page has been changed.
Thisthesispresentsthedesignofawebsearcharchitecturethatprovidessolutionstotheproblemsassociated
with resources that should not be processed either because they are useless (Web Spam and Soft-404 pages) or
becausetheyhavenotchangedsincelasttimetheywereaccessed. First,itpresentstwostudiesthatcharacterize
the Web. The first one analyzes the Hidden Web and how it is processed by crawlers. The second one analyzes
the evolution of age and similarity of the pages on the Web and its use when recrawling web content. It also
studies other features that help to detect Web Spam and Soft-404 pages.
Content-based techniques are proposed for “garbage” page detection. These techniques detect Web Spam
and Soft-404 pages more effectively and efficiently than the ones described in existing literature. In this way,
the crawler will not waste resources in downloading, indexing and showing this kind of web pages, therefore
improving the quality of their repositories.
To update the content, we propose a system that can detect “real time” changes in web pages. Again,
performance of the crawler is improved because, on the one hand, it will not process pages that have not
changed and, on the other hand, the web pages of the repository will be more up-to-date.