Plataforma Abierta de Restauración de Películas

177 Pages·2017·30.02 MB·Spanish

Universidad de la Repu´blica
Facultad de Ingenier´ıa
Plataforma Abierta
de Restauracio´n de Pel´ıculas
Memoria de proyecto presentada a la Facultad de
Ingenier´ıa de la Universidad de la Repu´blica por
Sebastia´n Bugna, Juan Andr´es Friss de Kereki
en cumplimiento parcial de los requerimientos
para la obtencio´n del t´ıtulo de
Ingeniero Electricista, Ingeniero en Computacio´n.
Tutores
Gregory Randall ................. Universidad de la Repu´blica, IIE
Eduardo Ferna´ndez............ Universidad de la Repu´blica, INCO
Mauricio Delbracio............... Universidad de la Repu´blica, IIE
Tribunal
Isabel Wschebor ......... Archivo General de la Universidad, AGU
Ignacio Ramirez.................. Universidad de la Repu´blica, IIE
Pablo Mus´e ...................... Universidad de la Repu´blica, IIE
Alvaro Mart´ın................. Universidad de la Repu´blica, INCO
Libertad Tansini............... Universidad de la Repu´blica, INCO
Montevideo
viernes 28 de abril, 2017
Plataforma Abierta de Restauraci´on de Pel´ıculas
Sebastia´n Bugna, Juan Andr´es Friss de Kereki
Esta tesis fue preparada en LATEX usando la clase iietesis (v1.1).
Contiene un total de 177 p´aginas.
Compilada el viernes 28 de abril, 2017.
http://iie.fing.edu.uy/
Resumen
La restauraci´on digital de pel´ıculas es un ´area de creciente inter´es. Muchas
pel´ıculas deterioradas son digitalizadas y remasterizadas en nuevos formatos de
mayorcalidadparasuarchivado,exhibici´onydistribuci´on.Resultadeinter´esdesa-
rrollar m´etodos que faciliten el proceso de restauraci´on mediante procesamiento
de sen˜ales.
En Uruguay, el Archivo General de la Universidad (AGU) cuenta con decenas
de pel´ıculas nacionales de car´acter hist´orico que fueron rescatadas en condiciones
diversas de degradaci´on y posteriormente digitalizadas, pero au´n conservan des-
perfectosdebidoasudeterioro.Otrasinstitucioneslocales,comoelServicioOficial
de Difusi´on, Radiotelevisi´on y Espect´aculos (SODRE) o la Facultad de Informa-
ci´on y Comunicaci´on (FIC), atraviesan situaciones similares, y en muchos casos el
volumen de los acervos no amerita la inversi´on tecnol´ogica implicada en la restau-
raci´on. En el continente la situaci´on se repite en todos los pa´ıses.
El objetivo de este proyecto consiste en desarrollar una plataforma basada en
softwarelibreparalarestauraci´ondepel´ıculasdeterioradaspreviamentedigitaliza-
das,quepuedaseru´tilenparticularenlospa´ısesdeltercermundocondificultades
de acceso a las herramientas de restauraci´on comerciales, y tambi´en para permitir
que grupos en otras universidades aporten otros m´odulos para restaurar diferentes
desperfectos, enriqueciendo de esa manera la plataforma.
LaplataformadesarrolladasedenominaPARP,PlataformaAbiertadeRestau-
raci´on de Pel´ıculas Deterioradas1, utiliza la aplicaci´on de postproducci´on Natron
y la librer´ıa de computer vision OpenCV. Se incluye la implementaci´on de algorit-
mosdepostproducci´ondevideopararestaurardegradacionesespec´ıficas:detecci´on
semi-autom´atica de cortes entre planos, correcci´on de flicker de luminancia, detec-
ci´on y restauraci´on de scratches. Los algoritmos fueron disen˜ados para tener una
interacci´on intuitiva y fluida con el usuario.
El estado actual del archivo y patrimonio audiovisual uruguayo impulsa a in-
cursionarennuevasramasdeinvestigaci´onenel´area.Archiv´ologos,bibliotecarios,
ingenieros, cineastas, postproductores, programadores y catalogadores, entre otras
especialidades, forman parte de una gran cadena de investigaci´on y trabajo que
distintas instituciones y archivos nacionales buscan profundizar a futuro.
1PARP se encuentra publicado en https://github.com/SebastianBugna/PARP
Tabla de contenidos
Resumen I
1. Introducci´on 1
2. Contexto y Marco Te´orico 4
2.1. Caracter´ısticas de la pel´ıcula de celuloide . . . . . . . . . . . . . . 4
2.2. Degradaci´on de la pel´ıcula anal´ogica . . . . . . . . . . . . . . . . . 6
2.2.1. S´ındrome del vinagre . . . . . . . . . . . . . . . . . . . . . . 7
2.3. Conservaci´on de materiales audiovisuales . . . . . . . . . . . . . . . 9
2.4. Archivo y patrimonio audiovisual en Uruguay . . . . . . . . . . . . 9
2.4.1. Contexto actual . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4.2. Archivos nacionales . . . . . . . . . . . . . . . . . . . . . . 10
2.4.3. Archivo General de la Universidad de la Repu´blica . . . . . 13
2.5. Digitalizaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5.1. Breve repaso hist´orico . . . . . . . . . . . . . . . . . . . . . 14
2.5.2. Est´andares de captura digital . . . . . . . . . . . . . . . . . 15
2.5.3. Telecine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5.4. Datacine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5.5. Scanner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.6. Experiencia con telecine del AGU . . . . . . . . . . . . . . 21
2.6. Proyectos de preservaci´on y restauraci´on digital . . . . . . . . . . . 22
2.7. Herramientas de software de restauraci´on digital de pel´ıculas . . . 24
2.7.1. Tipos de licencias de software . . . . . . . . . . . . . . . . . 24
2.7.2. Tipos de software de postproducci´on digital . . . . . . . . . 27
2.7.3. Herramientas de postproducci´on/restauraci´on libres . . . . 29
2.7.4. Herramientas de restauraci´on propietarias . . . . . . . . . . 33
2.8. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3. Estado del Arte: Restauraci´on de Videos 36
3.1. Detecci´on de Cortes . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2. Correcci´on de flicker de luminancia . . . . . . . . . . . . . . . . . . 38
3.3. Detecci´on y restauraci´on de manchas y ruido dirt & sparkles . . . 39
3.4. Detecci´on autom´atica de scratches . . . . . . . . . . . . . . . . . . 40
3.5. Eliminaci´on de borrosidad (deblurring) . . . . . . . . . . . . . . . . 42
3.6. Video inpainting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Tabla de contenidos
4. Disen˜o 46
4.1. Requerimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.1.1. Interfaz de usuario . . . . . . . . . . . . . . . . . . . . . . . 48
4.2. Representaci´on de alto nivel . . . . . . . . . . . . . . . . . . . . . . 48
4.3. Flujo de trabajo de los algoritmos de restauraci´on . . . . . . . . . 49
5. Implementaci´on 50
5.1. Decisiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.1.1. Elecci´on de plataforma . . . . . . . . . . . . . . . . . . . . . 50
5.1.2. Herramientas de restauraci´on digital disponibles en Natron 52
5.1.3. Selecci´on de los problemas a abordar . . . . . . . . . . . . . 53
5.2. Integraci´on entre plataformas . . . . . . . . . . . . . . . . . . . . . 53
5.2.1. Disen˜o general de la aplicaci´on . . . . . . . . . . . . . . . . 54
5.2.2. Integraci´on entre Natron y OFX . . . . . . . . . . . . . . . 54
5.2.3. Integraci´on entre Natron y Python . . . . . . . . . . . . . . 55
5.2.4. Integraci´on entre OpenCV y OFX . . . . . . . . . . . . . . 55
5.3. Licenciamiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.4. Repositorio de PARP . . . . . . . . . . . . . . . . . . . . . . . . . 60
5.5. Testing y validaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6. Herramienta para Separar una Secuencia en Planos 63
6.1. M´etodo mediante lista de cortes . . . . . . . . . . . . . . . . . . . . 63
6.2. M´etodo de detecci´on de cortes semi-autom´atico . . . . . . . . . . . 64
6.2.1. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.3. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
7. Herramienta de Correcci´on de Flicker 69
7.1. Descripci´on del algoritmo . . . . . . . . . . . . . . . . . . . . . . . 69
7.2. Implementaci´on realizada . . . . . . . . . . . . . . . . . . . . . . . 72
7.3. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.4. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
8. Herramienta de Detecci´on y Restauraci´on de Scratches 80
8.1. Resumen del algoritmo de detecci´on espacial adaptativa de scratches 81
8.2. Implementaci´on del algoritmo de detecci´on espacial de scratches . 86
8.3. Optimizaci´on del algoritmo de detecci´on de scratches . . . . . . . . 90
8.4. Restauraci´on de scratches con t´ecnicas de image inpainting. . . . 95
8.5. Par´ametros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
8.6. Evaluaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
9. An´alisis Experimental y Discusi´on 107
9.1. Desempen˜o en la restauraci´on de una secuencia . . . . . . . . . . . 107
9.2. Tiempos de ejecuci´on . . . . . . . . . . . . . . . . . . . . . . . . . . 111
9.3. Limitaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
iii
Tabla de contenidos
10.Conclusiones y Trabajo Futuro 114
10.1.Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
10.2.Trabajo Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
A. Glosario 134
B. Manual de Usuario 138
C. Plan de Proyecto 162
iv
Cap´ıtulo 1
Introducci´on
Aquellos nacidos en el siglo XX probablemente recuerdan los videocassettes o
VHS. Sin embargo, hoy en d´ıa no nos encontraremos con ellos normalmente, ya
que se acostumbra a filmar y almacenar videos y pel´ıculas digitalmente, en nuevos
formatos. La tendencia indica que se est´a dejando de usar el celuloide o material
f´ılmico casi por completo. Reproducirlos genera una copia de menor calidad que
la original, un problema que no afecta a los archivos digitales, donde una copia
exacta es posible.
Figura 1.1: Formato de captura de las cien pel´ıculas de mayor recaudaci´on en Estados Unidos
an˜o a an˜o. [1]
¿Pero qu´e sucede con las pel´ıculas de celuloide con el paso del tiempo? El de-
terioro inevitable del celuloide provoca la p´erdida de pel´ıculas que son parte de
una herencia cultural. Estas degradaciones incluyen suciedades que se adhieren al
f´ılmico, roturas, flicker, rayones, p´erdida de color y descomposici´on de la pel´ıcula,
entre otros procesos irreversibles.
Cap´ıtulo 1. Introducci´on
La restauraci´on digital de pel´ıculas es un ´area de creciente inter´es. Muchas
pel´ıculas deterioradas est´an siendo digitalizadas y remasterizadas en nuevos for-
matos de mayor calidad para su archivado, exhibici´on y distribuci´on (HD, 2K, 4K,
UHD, DCP, DPX, etc).
La restauraci´on manual mediante t´ecnicas de postproducci´on es tediosa y con-
sume una inmensa cantidad de tiempo. A modo de ejemplo, “Viaje a la Lu-
na”(1902) de Georges M´eli`es, cuya duraci´on es de 15 minutos, tom´o un an˜o entero
enserrestauradaconestast´ecnicas.Poresto,resultadeinter´esdesarrollarm´etodos
quefacilitenelprocesoderestauraci´ondeestosdeteriorosmedianteprocesamiento
de sen˜ales.
Figura1.2:Fotograf´ıasdelprocesoderestauraci´ondelapel´ıculaemblem´atica“Viajealaluna”
(1902),G.M´eli`es,cont´ecnicasderestauraci´onanal´ogicasydigitales.Extra´ıdodeldocumental
que registra dicho proceso“Le Voyage Extraordinaire” (S. Bromberg y E. Lange, 2011)[2].
En Uruguay, el Archivo General de la Universidad (AGU), cuenta con decenas
de pel´ıculas nacionales de car´acter hist´orico que fueron rescatadas en condiciones
diversas de degradaci´on y posteriormente digitalizadas, pero au´n conservan des-
perfectos debido a su deterioro [3].
Otras instituciones locales, como el Servicio Oficial de Difusi´on, Radiotelevi-
si´onyEspect´aculos(SODRE)olaFacultaddeInformaci´onyComunicaci´on(FIC),
atraviesan situaciones similares, y en muchos casos el volumen de los acervos no
amerita la inversi´on tecnol´ogica implicada en la restauraci´on. En el continente la
situaci´on se repite en todos los pa´ıses.
El principal objetivo de este proyecto consisti´o en desarrollar una plataforma
de restauraci´on digital de pel´ıculas basada en software libre, modular, que ayude
a los restauradores en su proceso de trabajo. En particular, puede ser de gran
ayuda en instituciones de pa´ıses del tercer mundo con dificultades de acceso a las
herramientas de restauraci´on comerciales. Otro objetivo es permitir que grupos en
otras universidades aporten otros m´odulos para restaurar diferentes desperfectos.
2
Nos proponemos realizar una bu´squeda de diferentes m´etodos computaciona-
les, as´ı como explorar distintos algoritmos de restauraci´on digital, con el objetivo
de programar una interfaz gr´afica abierta que permita visualizar, restaurar y ex-
portar una pel´ıcula.
Se parte de una versi´on digital de la pel´ıcula, y se permite al usuario aplicar
t´ecnicas de procesamiento de video para corregir las distintas degradaciones. La
interfaz gr´afica facilita la toma de decisiones as´ı como la visualizaci´on de los resul-
tados intermedios en el proceso de restauraci´on.
Las opciones de software de restauraci´on digital en el mercado tienen licencias
muy costosas. En general los costos resultan prohibitivos para la mayor´ıa de las
instituciones y archivos de la regi´on. Por ello resulta de inter´es montar y dejar en
funcionamiento una plataforma libre y abierta, con buenas condiciones de reusabi-
lidad y evolucionabilidad, con una comunidad participativa y una documentaci´on
s´olida que permitan el acercamiento de nuevos desarrolladores.
Comocriteriode´exitoenelproyecto,nospropusimosrestaurarconlaplatafor-
ma desarrollada al menos dos de los problemas t´ıpicos de degradaci´on de pel´ıculas,
y poder instalar y utilizar la plataforma sobre computadoras que utilicen sistema
operativo libre Linux.
El Archivo General de la Universidad (AGU) suministr´o pel´ıculas deterioradas
ya digitalizadas, que fueron elegidas por el equipo de trabajo. Dichas pel´ıculas
presentan otros desperfectos, adem´as de los abordados en esta tesis.
Tempranamente el alcance de este proyecto implicaba la implementaci´on de
cuatro algoritmos de restauraci´on. Este objetivo fue modificado al conocer las
complejidades espec´ıficas de la integraci´on entre tecnolog´ıas de video, as´ı tambi´en
como la escasez de implementaciones libres y disponibles de algoritmos de restau-
raci´on digital de pel´ıculas deterioradas.
3
Cap´ıtulo 2
Contexto y Marco Te´orico
En esta secci´on se hace un repaso sobre diferentes recursos e informaciones
relevantes en torno a la tem´atica de restauraci´on digital de pel´ıculas deterioradas.
En cuanto al contenido, primero se presentan algunas caracter´ısticas del ma-
terial f´ılmico, as´ı como los distintos est´andares de formatos. Luego se repasan las
principales degradaciones asociadas a estos formatos. Tambi´en se presenta el con-
texto actual del archivo audiovisual nacional y los diferentes archivos existentes, y
se sen˜alan las caracter´ısticas de las tecnolog´ıas de digitalizaci´on disponibles, con
elobjetivodeanalizarlanaturalezadelosarchivosdigitalesquesedesearestaurar.
Adem´as, se plantea el punto de vista del Archivo General de la Universidad
(AGU) con respecto a la restauraci´on de pel´ıculas conservadas en su acervo. Tam-
bi´en se presentan opciones, basadas en software libre y software propietario, dis-
ponibles para realizar diferentes tareas dentro de lo que comprende la restauraci´on
digital de pel´ıculas. Finalmente se hace una conclusi´on sobre el contexto nacional
y los recursos que existen en el mercado para realizar tareas de restauraci´on.
2.1. Caracter´ısticas de la pel´ıcula de celuloide
El celuloide es un material termo-pl´astico sintetizado, utilizado durante todo
el siglo XX, principalmente por la industria cinematogr´afica como materia prima
para crear material f´ılmico en formatos est´andar. El uso del celuloide permite fil-
mar, copiar, proyectar y distribuir las pel´ıculas.
La pel´ıcula se comercializa en un rollo o tira de acetato transparente sobre
el cual se adhiere, a trav´es de un adhesivo, una emulsi´on gelatinosa que contiene
cristales microsc´opicos de haluros de plata que son sensibles al impacto de la luz.
Las caracter´ısticas de estos cristales definen aspectos de la pel´ıcula como son la
sensibilidad, el contraste y la resoluci´on.