Techniques for improving the performance of distributed video coding

226 Pages·2016·6.06 MB·English

Techniques for improving the performance of distributed
video coding
Abdalbassir Abou-Elailah
To cite this version:
Abdalbassir Abou-Elailah. Techniques for improving the performance of distributed video coding.
Signal and Image processing. Telecom ParisTech, 2012. English. ￿NNT: ￿. ￿tel-00794685v1￿
HAL Id: tel-00794685
https://pastel.archives-ouvertes.fr/tel-00794685v1
Submitted on 27 Feb 2013 (v1), last revised 14 Jun 2013 (v2)
HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est
archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents
entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non,
lished or not. The documents may come from émanant des établissements d’enseignement et de
teaching and research institutions in France or recherche français ou étrangers, des laboratoires
abroad, or from public or private research centers. publics ou privés.
´
Ecole Doctorale
d’Informatique,
T´el´ecommunications
´
et Electronique de Paris
Thèse
présentée pour obtenir le grade de docteur
de Télécom ParisTech
Spécialité : Signal et Images
Abdalbassir ABOU-ELAILAH
Techniques d’amélioration des performances de compression
dans le cadre du codage vidéo distribué.
Techniques for improving the performance
of distributed video coding.
Soutenue le 14 Décembre 2012 devant le jury composé de :
Touradj Ebrahimi Professeur, EPFL Président
Fernando Pereira Professeur, Instituto Superior Técnico Rapporteurs
Lina Karam Professeur, Arizona State University
Eric Nassor Manager, Canon Research Centre France Examinateur
Frédéric Dufaux Directeur de recherche CNRS, Directeurs de Thèse
Télécom ParisTech
Marco Cagnazzo Maître de conférence, Télécom ParisTech
Béatrice Pesquet- Professeur, Télécom ParisTech
Popescu
Joumana Farah Professeur, Université Saint-Esprit De Kaslik
Remerciements
Je tiens `a adresser mes chaleureux remerciements `a mon directeur de th`ese Dr. Fr´ed´eric
DUFAUX, pour avoir dirig´e d’une fac¸on continue mes activit´es de recherche. J’ai pro-
fond´ement appr´eci´e les discussions constructives avec lui ainsi que la confiance qu’il m’a
accord´ee pendant ce travail de th`ese. J’ai ´egalement appr´eci´e ses relectures, remarques,
commentaires et corrections de mes travaux de recherche.
Je remercie tr`es sinc`erement mon co-directeur de th`ese Dr. Marco CAGNAZZO pour
la proposition de mon sujet de th`ese, pour l’encadrement de mes activit´es de recherche et
pour la riche compr´ehension qu’il m’a apport´ee du codage vid´eo distribu´e.
Je tiens ´egalement `a remercier Prof. B´eatrice PESQUET-POPESQU, chef du groupe
MultiMedia`aTelecomParistech,poursonaccueilchaleureuxdanssongroupederecherche,
pour l’encadrement professionnel de mes activit´es de recherche et pour ses relectures et
remarques constructives de mes travaux.
Je souhaite remercier tr`es chaleureusement Prof. Joumana FARAH, pour avoir en-
cadr´e mon travail de recherches `a distance, pour sa confiance, ses encouragements et ses
conseils techniques et pratiques. J’ai particuli`erement appr´eci´e les discussions avec elle, les
relectures et les corrections pr´ecieuses de mes articles et de mon manuscrit.
Mesremerciementss’adressentauxrapporteurs:Prof.LinaKARAMetProf.Fernando
PEREIRAetauxexaminateurs:Prof.TouradjEBRAHIMI(pr´esidentdujury)etDr.Eric
NASSOR qui avoir accept´e d’´evaluer et de rapporter mon travail de recherches, et pour
leur participation au Jury de soutenance.
JeremercieaussiProf.MichelKIEFFERetDr.JoelJUNGpouravoireffectu´el’´evaluation
de mi-parcours de mon travail de th`ese.
Je tiens a` remercier Eng. Julien LE TANOUR, pour son aide et sa collaboration dans
la compr´ehension et l’application des courbes ´elastiques.
Je voudrais ´egalement remercier le personnel technique et administratif de Telecom
Paristech, pour leur support pendant ma th`ese.
Magratitudes’adresse´egalement`amescoll`eguesdurantmath`ese`aTelecomParictech
: Thomas, Giovanni, Claudio, Rafael, Mounir, Irina, Manel, Elie, Hamlet, Giuseppe, Marc,
Paul et Alper qui m’ont aid´e `a r´epondre `a un certain nombre de questions pratiques,
techniques et scientifiques.
Enfin, un grand merci `a mes parents, mes fr`eres, mes sœurs et mes amis qui sont
ii
toujours `a mes cˆot´es, et qui m’ont continuellement soutenu pendant ces ann´ees de travail
de th`ese.
Abdalbassir ABOU-ELAILAH
R´esum´e
Le codage vid´eo distribu´e (DVC) est une technique r´ecemment propos´ee dans le cadre du
codage et de la transmission des s´equences vid´eo, et qui convient surtout `a une nouvelle
classe d’applications telles que la surveillance vid´eo sans fil, les r´eseaux de capteurs mul-
tim´edia, les cam´eras PC sans fil, les t´el´ephones mobiles et les appareils-photos num´eriques.
Ces applications n´ecessitent en effet un encodeur de faible complexit´e, avec la possibilit´e
d’un d´ecodeur de complexit´e ´elev´ee. DVC pr´esente plusieurs avantages : d’abord, la com-
plexit´e peut ˆetre distribu´ee entre l’encodeur et le d´ecodeur. Deuxi`emement, le DVC est
robuste aux erreurs, car un codeur de canal y est incorpor´e. En DVC, une information
adjacente (Side Information ou SI) est estim´ee au d´ecodeur en se basant sur les trames
d´ecod´ees disponibles, et utilis´ee pour le d´ecodage et la reconstruction des autres trames.
Dans cette th`ese, nous proposons de nouvelles techniques qui permettent d’am´eliorer
la qualit´e de l’information adjacente. Tout d’abord, le raffinement it´eratif de l’information
adjacente est r´ealis´e apr`es le d´ecodage de chaque sous-bande DCT, en utilisant la trame
Wyner-Ziv (WZ) partiellement d´ecod´ee (appel´ee PDWZF) avec les trames de r´ef´erence.
De plus, dans cet algorithme, une nouvelle approche est propos´ee qui permet d’adapter
la fenˆetre de recherche au niveau de mouvement courant entre la trame WZ et les trames
de r´ef´erence, en se basant sur la PDWZF obtenue apr`es le d´ecodage de la premi`ere sous-
bande DCT. Ensuite, une nouvelle m´ethode de g´en´eration de l’information adjacente est
propos´ee, qui utilise l’estimation des vecteurs de mouvement dans les deux sens et le
raffinement Quad-tree. En outre, en vue d’am´eliorer la qualit´e des trames WZ d´ecod´ees
pour les grandes tailles de GOP (Group Of Pictures), un algorithme bas´e sur les trames
adjacentes d´ecod´ees est propos´e, qui utilise une zone de recherche adaptative et une taille
de bloc variable.
Une autre contribution de cette th`ese concerne la fusion des estimations globale et
locale. Les param`etres globaux sont calcul´es au codeur en utilisant l’algorithme SIFT.
Ces param`etres globaux sont transmis au d´ecodeur pour y ˆetre utilis´es dans l’estimation
de l’information adjacente globale. Ensuite, de nouvelles approches sont propos´ees afin
de combiner les estimations de mouvement globale et locale. Dans la premi`ere approche,
la fusion se base sur les diff´erences entre les blocs correspondants. Dans la seconde, la
techniqueSVM(SupportVectorMachine)estutilis´eepourcombinerlesdeuxinformations
adjacentes. En plus, des algorithmes sont propos´es pour am´eliorer la fusion au cours du
iv
d´ecodage, par l’exploitation de la PDWZF et des coefficients DC d´ecod´es. En outre, les
objets segment´es des trames de r´ef´erence sont utilis´es dans la combinaison des estimations
de mouvement globale et locale, en utilisant les courbes ´elastiques et la compensation de
mouvement bas´ee-objets.
De nombreuses simulations ont ´et´e effectu´ees pour tester les performances des tech-
niquespropos´esetquimontrentdesgainsimportantsparrapportaucodeurclassiqueDIS-
COVER.Parailleurs,lesperformancesdeDVCobtenuesenappliquantlesalgorithmespro-
pos´es surpassent celles de H.264/AVC Intra et H.264/AVC No motion pour les s´equences
test´ees. En plus, l’´ecart vis-a`-vis de H.264/AVC Inter avec une configuration IB...IB est
consid´erablement r´eduit.
Abstract
DistributedVideoCoding(DVC)isarecentlyproposedparadigminvideocommunication,
whichfitswellemergingapplicationssuchaswirelessvideosurveillance,multimediasensor
networks, wireless PC cameras, and mobile cameras phones. These applications require
a low complexity encoding, while possibly affording a high complexity decoding. DVC
presents several advantages: First, the complexity can be distributed between the encoder
andthedecoder.Second,theDVCisrobusttoerrors,sinceitusesachannelcode.InDVC,
a Side Information (SI) is estimated at the decoder, using the available decoded frames,
and used for the decoding and reconstruction of other frames.
In this Ph.D thesis, we propose new techniques in order to improve the quality of
the SI. First, successive refinement of the SI is performed after each decoded DCT band,
using a Partially Decoded WZF (PDWZF), along with the reference frames. Moreover, in
this refinement approach an adaptive search area algorithm is also proposed, that allows
adaptingthesearchareatothecurrentmotionbetweentheWZFandthereferenceframes,
using the PDWZF obtained after decoding the first DCT band. Then, a new scheme for
SI generation based on backward, forward motion estimations, and Quad-tree refinement
is proposed. Furthermore, in the aim of enhancing the quality of the decoded WZFs for
larger GOP sizes, an algorithm based on adjacent decoded frames is investigated, using
an adaptive search area and a variable block size.
Another contribution of this thesis concerns a fusion of global and local SI. Global
parameters are estimated at the encoder using the Scale-Invariant Feature Transform
(SIFT) algorithm. These global parameters are sent to the decoder to estimate the global
SI. Then, new methods for combining global and local motion estimations are proposed,
to further improve the SI. In the first approach, the differences between the corresponding
blocksareusedtocombinetheglobalandlocalSIframes.Inthesecondapproach,Support
Vector Machine (SVM) is used to combine the two SI frames. In addition, algorithms are
proposedtorefinethefusionduringthedecodingprocessbyexploitingthePDWZFandthe
decoded DC coefficients. Furthermore, the foreground objects are used in the combination
of the global and local motion estimations, using elastic curves and foreground objects
motion compensation.
Extensiveexperimentshavebeenconductedshowingthatimportantgainsareobtained
by the proposed techniques compared to the classical DISCOVER codec. In addition, the
vi
performance of DVC applying the proposed algorithms outperforms now the performance
of H.264/AVC Intra and H.264/AVC No motion for tested sequences. Besides that, the
gap with H.264/AVC in an Inter IB...IB configuration is significantly reduced.
R´esum´e en fran¸cais
Introduction
La compression est une tˆache essentielle dans les syst`emes de communication; elle vise
la r´eduction du volume des donn´ees `a stocker ou a` transmettre. Elle reste une ´etape
de traitement indispensable, malgr´e le fait que le d´ebit des r´eseaux continue de croitre.
R´ecemment, dans le rapport Cisco [1], il a d´eclar´e que le d´ebit total de toutes les formes
de vid´eo sur IP atteindra bientˆot 86 % du trafic IP global. De plus, ce rapport montre
qu’en 2016, 1.2 millions de minutes de contenu vid´eo traversera chaque seconde le r´eseau.
Par cons´equent, la visualisation des donn´ees de haute qualit´e en temps r´eel et le stock-
age d’´enormes quantit´es de donn´ees dans moins d’espace deviennent des d´efis majeurs.
Concernant le codage vid´eo num´erique, les efforts de normalisation de l’ISO/IEC MPEG-
x et de l’UIT-T H.26x sont principalement bas´es sur la Transform´ee en Cosinus Discr`ete
(DCT)etlecodagepr´edictifintra-trameetinter-trame,envuedecomprimerless´equences
vid´eos.Enplus,leCodageVid´eo`aHauteEfficacit´e(HEVC)estactuellementend´eveloppe-
mentetsepr´esentecommeunsuccesseurducodeurH.264/AVC.HEVCpermetder´eduire
de moiti´e la bande passante de la vid´eo. Dans tous ces syst`emes classiques de compression
vid´eo, l’encodeur ex´ecute un grand nombre d’op´erations `a cause de l’´etape d’estimationde
mouvement dans le codage des trames pr´edictives, afin d’exploiter les corr´elations spatiale
et temporelle. Par contre, le d´ecodeur utilise simplement les vecteurs de mouvement re¸cus
pour reconstruire l’image d´ecod´ee. Ce sch´ema de conception asym´etrique est tout `a fait
adapt´e pour certaines applications, telles que la t´el´evision num´erique, le t´el´echargement
sur des mobiles `a partir de serveurs, ... etc.
Le codage vid´eo distribu´e (DVC) est une technique r´ecente qui permet de transmettre
des vid´eos avec une r´epartition flexible de la complexit´e de calcul entre l’encodeur et
le d´ecodeur. En particulier, DVC permet un encodage avec une tr`es faible complexit´e.
Cette propri´et´e est particuli`erement int´eressante pour une nouvelle classe d’applications
caract´eris´eesparuneliaisonmontante,tellesquelesr´eseauxdecapteursdefaiblepuissance,
les cam´eras de surveillance sans fil ou encore les appareils de communication mobile.
Le DVC est bas´e sur le th´eor`eme de Slepian et Wolf [2] : ´etant donn´ees deux sources
corr´el´ees X et Y, avec Y l’information adjacente, comprim´ee `a sa limite entropique H(Y),
X peut ˆetre transmise `a un d´ebit tr`es proche de l’entropie conditionnelle H(X|Y). Le
viii
codage Wyner-Ziv (WZ) [3] est une application de ce concept au cas du codage source
avec pertes.
Le codeur de DISCOVER [4, 5] est l’un des codeurs les plus efficaces propos´es pour
le DVC, et qui est bas´e sur le sch´ema de Stanford [6]. Dans ce codeur, les trames de la
s´equence vid´eo sont divis´ees en deux groupes : les trames cl´es et les trames WZ (WZFs).
Le groupe d’images (GOP) est d´efini comme la distance entre deux trames cl´es cons´ecut-
ives. Les trames cl´es sont directement encod´ees et d´ecod´ees en mode intra (H.264/AVC
intra). Pour les WZFs, une transformation DCT est pr´ealablement appliqu´ee, suivie d’une
quantification uniforme. Les valeurs quantifi´ees sont ensuite s´epar´ees en plans de bits qui
sont encod´es avec un code LDPCA (Low-Density Parity Check Accumulate code) ou avec
unTurbo-code.Aud´ecodeur,uneinformationadjacente(SI)estg´en´er´eeparuneinterpola-
tion temporelle compens´ee en mouvement (MCTI) [7] des trames pr´ec´edemment d´ecod´ees.
La SI est consid´er´ee comme une version bruit´ee de la WZF encod´ee. Finalement, la SI
est exploit´ee dans le d´ecodeur du canal, conjointement avec les bits de parit´e des WZFs
obtenus par des requˆetes successives via un canal de retour, afin de reconstruire les plans
de bits, et, par cons´equent, la s´equence vid´eo d´ecod´ee.
Malgr´e des progr`es consid´erables ces derni`eres ann´ees dans le cadre de DVC, les per-
formances d´ebit-distorsion (RD) restent en dec¸`a des attentes. En effet, les performances
du syst`eme restent tr`es d´ependantes de la qualit´e de la SI g´en´er´ee au d´ecodeur. A ce but,
nous concentrons ce travail autour de l’am´elioration de la SI, en proposant plusieurs ap-
proches permettant d’am´eliorer les performances du DVC. Les approches propos´ees sont
pr´esent´ees dans ce manuscrit comme suit:
• Chapitre 3 - Am´elioration progressive de l’information Adjacente : Dans
ce chapitre, la m´ethode propos´ee consiste `a am´eliorer it´erativement la SI apr`es le
d´ecodage de chaque sous-bande DCT. Dans ce cas, la SI initiale est estim´ee en
utilisant la technique MCTI. Plus sp´ecifiquement, `a chaque it´eration, le d´ecodeur
se sert de la trame WZ partiellement d´ecod´ee (PDWZF), conjointement avec les
trames de r´ef´erence adjacentes, afin d’am´eliorer la SI. Pour cette derni`ere op´eration,
la fiabilit´e des vecteurs de mouvement est tout d’abord v´erifi´ee. Ensuite, les vecteurs
consid´er´escommesuspectssont recalcul´espar une estimationde mouvementbidirec-
tionnelle. Dans ce cadre, nous proposons deux algorithmes diff´erents pour la phase
de r´e-estimation des vecteurs de mouvement des blocs suspects. Enfin, le mode de
compensation de mouvement optimal est s´electionn´e.
• Chapitre 4 - Techniques pour l’am´elioration de l’information adjacente :
Dans ce chapitre, nous proposons trois techniques diff´erentes en vue d’am´eliorer la
SI, et par cons´equentles performancesdu DVC. La premi`ereapproche vise `a g´en´erer
la SI en utilisant une estimation des vecteurs du mouvement dans les deux sens et
un raffinement quad-tree.