Video Compression and Communications: From Basics to H.261, H.263, H.264, MPEG4 for DVB and HSDPA-Style Adaptive Turbo-Transceivers, Second Edition

687 Pages·2010·12.08 MB·English

by  L. Hanzo

Video Compression and Communications
Video Compression and Communications: From Basics to H.261, H.263, H.264, MPEG4 for DVB and HSDPA-Style Adaptive
Turbo-Transceivers, Second Edition L. Hanzo, P. J. Cherriman and J. Streit c(cid:1) 2007 John Wiley & Sons, Ltd.
ISBN: 978-0-470-51849-6
Video Compression and
Communications
From Basics to H.261, H.263, H.264,
MPEG4 for DVB and HSDPA-Style
Adaptive Turbo-Transceivers
Second Edition
L. Hanzo, P. J. Cherriman and J. Streit
Allof
UniversityofSouthampton,UK
IEEE Communications Society, Sponsor
John Wiley & Sons, Ltd
Copyright(cid:1)c 2007 JohnWiley&SonsLtd,TheAtrium,SouthernGate,Chichester,
WestSussexPO198SQ,England
Telephone [phone]
Email(forordersandcustomerserviceenquiries):[email protected]
VisitourHomePageonwww.wiley.com
AllRightsReserved.Nopartofthispublicationmaybereproduced,storedinaretrievalsystemortransmittedin
anyformorbyanymeans,electronic,mechanical,photocopying,recording,scanningorotherwise,exceptunder
thetermsoftheCopyright,DesignsandPatentsAct1988orunderthetermsofalicenceissuedbytheCopyright
LicensingAgencyLtd,90TottenhamCourtRoad,LondonW1T4LP,UK,withoutthepermissioninwritingofthe
Publisher.RequeststothePublishershouldbeaddressedtothePermissionsDepartment,JohnWiley&SonsLtd,
TheAtrium,SouthernGate,Chichester,WestSussexPO198SQ,England,[email protected],or
faxedto([phone].
Designationsusedbycompaniestodistinguishtheirproductsareoftenclaimedastrademarks.Allbrandnamesand
productnamesusedinthisbookaretradenames,servicemarks,trademarksorregisteredtrademarksoftheir
respectiveowners.ThePublisherisnotassociatedwithanyproductorvendormentionedinthisbook.All
trademarksreferredtointhetextofthispublicationarethepropertyoftheirrespectiveowners.
Thispublicationisdesignedtoprovideaccurateandauthoritativeinformationinregardtothesubjectmatter
covered.ItissoldontheunderstandingthatthePublisherisnotengagedinrenderingprofessionalservices.If
professionaladviceorotherexpertassistanceisrequired,theservicesofacompetentprofessionalshouldbesought.
OtherWileyEditorialOffices
JohnWiley&SonsInc.,111RiverStreet,Hoboken,NJ07030,USA
Jossey-Bass,989MarketStreet,SanFrancisco,CA94103-1741,USA
Wiley-VCHVerlagGmbH,Boschstr.12,D-69469Weinheim,Germany
JohnWiley&SonsAustraliaLtd,42McDougallStreet,Milton,Queensland4064,Australia
JohnWiley&Sons(Asia)PteLtd,2ClementiLoop#02-01,JinXingDistripark,Singapore129809
JohnWiley&SonsCanadaLtd,22WorcesterRoad,Etobicoke,Ontario,CanadaM9W1L1
Wileyalsopublishes itsbooksinavariety ofelectronic formats.Somecontent thatappears inprintmaynotbe
availableinelectronicbooks.
IEEECommunicationsSociety,Sponsor
COMMS-SLiaisontoIEEEPress,MostafaHashemSherif
LibraryofCongressCataloging-in-PublicationData
Hanzo,Lajos,1952-
VideoCompressionandCommunications:frombasicstoH.261,H.263,
H.264,MPEG4forDVBandHSDPA-styleadaptiveturbo-transceivers/L.Hanzo,
P.J.CherrimanandJ.Streit–2nded.
p.cm.
Includesbibliographicalreferencesandindex.
ISBN978-0-470-51849-6(cloth)
1.Videocompression.2.Digitalvideo.3.Mobilecommunicationsystems.
I.Cherriman,PeterJ.,1972-II.Streit,Ju¨rgen,1968-III.
Title.
TK6680.5.H3652007
006.6’–dc22
2007024178
BritishLibraryCataloguinginPublicationData
AcataloguerecordforthisbookisavailablefromtheBritishLibrary
ISBN978-0-470-51849-6(HB)
TypesetbytheauthorsusingLATEXsoftware.
PrintedandboundinGreatBritainbyAntonyRoweLtd,Chippenham,England.
Thisbookisprintedonacid-freepaperresponsiblymanufactured fromsustainableforestryinwhichatleasttwo
treesareplantedforeachoneusedforpaperproduction.
Contents
AbouttheAuthors xvii
OtherWileyandIEEEPressBooksonRelatedTopics xix
Preface xxi
Acknowledgments xxiii
1 Introduction 1
1.1 ABriefIntroductiontoCompressionTheory . . . . . . . . . . . . . . . . . 1
1.2 IntroductiontoVideoFormats . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 EvolutionofVideoCompressionStandards . . . . . . . . . . . . . . . . . . 5
1.3.1 TheInternationalTelecommunicationsUnion’sH.120Standard . . . 8
1.3.2 JointPhotographicExpertsGroup . . . . . . . . . . . . . . . . . . . 8
1.3.3 TheITUH.261Standard . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.4 TheMotionPicturesExpertGroup. . . . . . . . . . . . . . . . . . . 11
1.3.5 TheMPEG-2Standard . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.6 TheITUH.263Standard . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.7 TheITUH.263+/H.263++Standards . . . . . . . . . . . . . . . . . 13
1.3.8 TheMPEG-4Standard . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.9 TheH.26L/H.264Standard. . . . . . . . . . . . . . . . . . . . . . . 14
1.4 VideoCommunications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 OrganizationoftheMonograph . . . . . . . . . . . . . . . . . . . . . . . . 17
I Video Codecs forHSDPA-styleAdaptiveVideophones 19
2 FractalImageCodecs 21
2.1 FractalPrinciples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 One-dimensionalFractalCoding. . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.1 FractalCodecDesign . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.2 FractalCodecPerformance. . . . . . . . . . . . . . . . . . . . . . . 28
vi CONTENTS
2.3 ErrorSensitivityandComplexity . . . . . . . . . . . . . . . . . . . . . . . 32
2.4 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3 LowBitrateDCTCodecsandHSDPA-styleVideophoneTransceivers 35
3.1 VideoCodecOutline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 ThePrincipleofMotionCompensation . . . . . . . . . . . . . . . . . . . . 37
3.2.1 DistanceMeasures . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 MotionSearchAlgorithms . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.2.1 FullorExhaustiveMotionSearch . . . . . . . . . . . . . . 42
3.2.2.2 Gradient-basedMotionEstimation . . . . . . . . . . . . . 43
3.2.2.3 HierarchicalorTreeSearch . . . . . . . . . . . . . . . . . 44
3.2.2.4 SubsamplingSearch . . . . . . . . . . . . . . . . . . . . . 45
3.2.2.5 Post-processingofMotionVectors . . . . . . . . . . . . . 46
3.2.2.6 Gain-cost-controlledMotionCompensation . . . . . . . . 46
3.2.3 OtherMotionEstimationTechniques . . . . . . . . . . . . . . . . . 48
3.2.3.1 Pel-recursiveDisplacementEstimation . . . . . . . . . . . 49
3.2.3.2 GridInterpolationTechniques . . . . . . . . . . . . . . . . 49
3.2.3.3 MCUsingHigherOrderTransformations. . . . . . . . . . 49
3.2.3.4 MCintheTransformDomain . . . . . . . . . . . . . . . . 50
3.2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3 TransformCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.1 One-dimensionalTransformCoding . . . . . . . . . . . . . . . . . . 51
3.3.2 Two-dimensionalTransformCoding . . . . . . . . . . . . . . . . . . 52
3.3.3 QuantizerTrainingforSingle-classDCT . . . . . . . . . . . . . . . 55
3.3.4 QuantizerTrainingforMulticlassDCT . . . . . . . . . . . . . . . . 56
3.4 TheCodecOutline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.5 InitialIntra-frameCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.6 Gain-controlledMotionCompensation . . . . . . . . . . . . . . . . . . . . 60
3.7 TheMCERActive/PassiveConcept . . . . . . . . . . . . . . . . . . . . . . 61
3.8 PartialForcedUpdateoftheReconstructedFrameBuffers . . . . . . . . . . 62
3.9 TheGain/Cost-controlledInter-frameCodec . . . . . . . . . . . . . . . . . 64
3.9.1 ComplexityConsiderationsandReductionTechniques . . . . . . . . 65
3.10 TheBit-allocationStrategy. . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.11 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.12 DCTCodecPerformanceunderErroneousConditions . . . . . . . . . . . . 70
3.12.1 BitSensitivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.12.2 BitSensitivityofCodecIandII . . . . . . . . . . . . . . . . . . . . 71
3.13 DCT-basedLow-rateVideoTransceivers . . . . . . . . . . . . . . . . . . . 72
3.13.1 ChoiceofModem . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.13.2 Source-matchedTransceiver . . . . . . . . . . . . . . . . . . . . . . 73
3.13.2.1 System1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.13.2.1.1 SystemConcept . . . . . . . . . . . . . . . . . . 73
3.13.2.1.2 Sensitivity-matchedModulation . . . . . . . . . 74
3.13.2.1.3 SourceSensitivity . . . . . . . . . . . . . . . . . 74
3.13.2.1.4 ForwardErrorCorrection . . . . . . . . . . . . . 75
3.13.2.1.5 TransmissionFormat . . . . . . . . . . . . . . . 75
CONTENTS vii
3.13.2.2 System2 . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.13.2.2.1 AutomaticRepeatRequest . . . . . . . . . . . . 78
3.13.2.3 Systems3–5 . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.14 SystemPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.14.1 PerformanceofSystem1 . . . . . . . . . . . . . . . . . . . . . . . . 80
3.14.2 PerformanceofSystem2 . . . . . . . . . . . . . . . . . . . . . . . . 83
3.14.2.1 FERPerformance . . . . . . . . . . . . . . . . . . . . . . 83
3.14.2.2 SlotOccupancyPerformance . . . . . . . . . . . . . . . . 85
3.14.2.3 PSNRPerformance . . . . . . . . . . . . . . . . . . . . . 86
3.14.3 PerformanceofSystems3–5 . . . . . . . . . . . . . . . . . . . . . . 87
3.15 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4 VeryLowBitrateVQCodecsandHSDPA-styleVideophoneTransceivers 93
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2 TheCodebookDesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.3 TheVectorQuantizerDesign . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.3.1 MeanandShapeGainVectorQuantization . . . . . . . . . . . . . . 99
4.3.2 AdaptiveVectorQuantization . . . . . . . . . . . . . . . . . . . . . 100
4.3.3 ClassifiedVectorQuantization . . . . . . . . . . . . . . . . . . . . . 102
4.3.4 AlgorithmicComplexity . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4 PerformanceunderErroneousConditions . . . . . . . . . . . . . . . . . . . 105
4.4.1 Bit-allocationStrategy . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.4.2 BitSensitivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.5 VQ-basedLow-rateVideoTransceivers . . . . . . . . . . . . . . . . . . . . 107
4.5.1 ChoiceofModulation . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.5.2 ForwardErrorCorrection . . . . . . . . . . . . . . . . . . . . . . . 109
4.5.3 ArchitectureofSystem1 . . . . . . . . . . . . . . . . . . . . . . . . 109
4.5.4 ArchitectureofSystem2 . . . . . . . . . . . . . . . . . . . . . . . . 111
4.5.5 ArchitectureofSystems3–6 . . . . . . . . . . . . . . . . . . . . . . 112
4.6 SystemPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.6.1 SimulationEnvironment . . . . . . . . . . . . . . . . . . . . . . . . 113
4.6.2 PerformanceofSystems1and3 . . . . . . . . . . . . . . . . . . . . 114
4.6.3 PerformanceofSystems4and5 . . . . . . . . . . . . . . . . . . . . 115
4.6.4 PerformanceofSystems2and6 . . . . . . . . . . . . . . . . . . . . 117
4.7 JointIterativeDecodingofTrellis-basedVector-quantizedVideoandTCM . 118
4.7.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
4.7.2 SystemOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4.7.3 Compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
4.7.4 VectorQuantizationDecomposition . . . . . . . . . . . . . . . . . . 121
4.7.5 SerialConcatenationandIterativeDecoding. . . . . . . . . . . . . . 121
4.7.6 TransmissionFrameStructure . . . . . . . . . . . . . . . . . . . . . 122
4.7.7 FrameDifferenceDecomposition . . . . . . . . . . . . . . . . . . . 123
4.7.8 VQCodebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.7.9 VQ-inducedCodeConstraints . . . . . . . . . . . . . . . . . . . . . 126
4.7.10 VQTrellisStructure . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.7.11 VQEncoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
viii CONTENTS
4.7.12 VQDecoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.7.13 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.8 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
5 LowBitrateQuad-tree-basedCodecsandHSDPA-styleVideophone
Transceivers 139
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.2 Quad-treeDecomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.3 Quad-treeIntensityMatch . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.1 Zero-orderIntensityMatch . . . . . . . . . . . . . . . . . . . . . . . 142
5.3.2 First-orderIntensityMatch . . . . . . . . . . . . . . . . . . . . . . . 144
5.3.3 DecompositionAlgorithmicIssues. . . . . . . . . . . . . . . . . . . 145
5.4 Model-basedParametricEnhancement . . . . . . . . . . . . . . . . . . . . 148
5.4.1 EyeandMouthDetection . . . . . . . . . . . . . . . . . . . . . . . 149
5.4.2 ParametricCodebookTraining . . . . . . . . . . . . . . . . . . . . . 151
5.4.3 ParametricEncoding . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.5 TheEnhancedQTCodec. . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.6 PerformanceandConsiderationsunderErroneousConditions . . . . . . . . 154
5.6.1 BitAllocation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.6.2 BitSensitivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.7 QT-codec-basedVideoTransceivers . . . . . . . . . . . . . . . . . . . . . . 158
5.7.1 ChannelCodingandModulation . . . . . . . . . . . . . . . . . . . . 158
5.7.2 QT-basedTransceiverArchitectures . . . . . . . . . . . . . . . . . . 159
5.8 QT-basedVideo-transceiverPerformance . . . . . . . . . . . . . . . . . . . 162
5.9 SummaryofQT-basedVideoTransceivers . . . . . . . . . . . . . . . . . . 165
5.10 SummaryofLow-rateVideoCodecsandTransceivers . . . . . . . . . . . . 166
II High-resolutionVideo Coding 171
6 Low-complexityTechniques 173
6.1 DifferentialPulseCodeModulation . . . . . . . . . . . . . . . . . . . . . . 173
6.1.1 BasicDifferentialPulseCodeModulation . . . . . . . . . . . . . . . 173
6.1.2 Intra/Inter-frameDifferentialPulseCodeModulation . . . . . . . . . 175
6.1.3 AdaptiveDifferentialPulseCodeModulation . . . . . . . . . . . . . 177
6.2 BlockTruncationCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.2.1 TheBlockTruncationAlgorithm. . . . . . . . . . . . . . . . . . . . 177
6.2.2 BlockTruncationCodecImplementations . . . . . . . . . . . . . . . 180
6.2.3 Intra-frameBlockTruncationCoding . . . . . . . . . . . . . . . . . 180
6.2.4 Inter-frameBlockTruncationCoding . . . . . . . . . . . . . . . . . 182
6.3 SubbandCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.3.1 PerfectReconstructionQuadratureMirrorFiltering . . . . . . . . . . 185
6.3.1.1 AnalysisFiltering . . . . . . . . . . . . . . . . . . . . . . 185
6.3.1.2 SynthesisFiltering . . . . . . . . . . . . . . . . . . . . . . 188
6.3.1.3 PracticalQMFDesignConstraints . . . . . . . . . . . . . 189
6.3.2 PracticalQuadratureMirrorFilters. . . . . . . . . . . . . . . . . . . 191
CONTENTS ix
6.3.3 Run-length-basedIntra-frameSubbandCoding . . . . . . . . . . . . 195
6.3.4 Max-Lloyd-basedSubbandCoding . . . . . . . . . . . . . . . . . . 198
6.4 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7 High-resolutionDCTCoding 205
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
7.2 Intra-frameQuantizerTraining . . . . . . . . . . . . . . . . . . . . . . . . 205
7.3 MotionCompensationforHigh-qualityImages . . . . . . . . . . . . . . . . 209
7.4 Inter-frameDCTCoding . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
7.4.1 PropertiesoftheDCTTransformedMCER . . . . . . . . . . . . . . 215
7.4.2 JointMotionCompensationandResidualEncoding. . . . . . . . . . 222
7.5 TheProposedCodec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.5.1 MotionCompensation . . . . . . . . . . . . . . . . . . . . . . . . . 225
7.5.2 TheInter/Intra-DCTCodec. . . . . . . . . . . . . . . . . . . . . . . 226
7.5.3 FrameAlignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.5.4 Bit-allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.5.5 TheCodecPerformance . . . . . . . . . . . . . . . . . . . . . . . . 230
7.5.6 ErrorSensitivityandComplexity . . . . . . . . . . . . . . . . . . . 233
7.6 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
III H.261,H.263,H.264,MPEG2 andMPEG4 for
HSDPA-styleWireless Video Telephony and DVB 237
8 H.261forHSDPA-styleWirelessVideoTelephony 239
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
8.2 TheH.261VideoCodingStandard . . . . . . . . . . . . . . . . . . . . . . 239
8.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
8.2.2 SourceEncoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
8.2.3 CodingControl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.2.4 VideoMultiplexCoder . . . . . . . . . . . . . . . . . . . . . . . . . 243
8.2.4.1 PictureLayer . . . . . . . . . . . . . . . . . . . . . . . . 244
8.2.4.2 GroupofBlocksLayer . . . . . . . . . . . . . . . . . . . 245
8.2.4.3 MacroblockLayer . . . . . . . . . . . . . . . . . . . . . . 247
8.2.4.4 BlockLayer . . . . . . . . . . . . . . . . . . . . . . . . . 247
8.2.5 SimulatedCodingStatistics . . . . . . . . . . . . . . . . . . . . . . 250
8.2.5.1 Fixed-quantizerCoding . . . . . . . . . . . . . . . . . . . 251
8.2.5.2 VariableQuantizerCoding . . . . . . . . . . . . . . . . . 252
8.3 EffectofTransmissionErrorsontheH.261Codec . . . . . . . . . . . . . . 253
8.3.1 ErrorMechanisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
8.3.2 ErrorControlMechanisms . . . . . . . . . . . . . . . . . . . . . . . 255
8.3.2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . 255
8.3.2.2 Intra-frameCoding . . . . . . . . . . . . . . . . . . . . . 256
8.3.2.3 AutomaticRepeatRequest . . . . . . . . . . . . . . . . . 257
8.3.2.4 ReconfigurableModulationsSchemes . . . . . . . . . . . 257
8.3.2.5 CombinedSource/ChannelCoding . . . . . . . . . . . . . 257
x CONTENTS
8.3.3 ErrorRecovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
8.3.4 EffectsofErrors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.3.4.1 QualitativeEffectofErrorsonH.261Parameters . . . . . . 259
8.3.4.2 QuantitativeEffectofErrorsonaH.261DataStream . . . 262
8.3.4.2.1 ErrorsinanIntra-codedFrame . . . . . . . . . . 263
8.3.4.2.2 ErrorsinanInter-codedFrame . . . . . . . . . . 265
8.3.4.2.3 ErrorsinQuantizerIndices . . . . . . . . . . . . 267
8.3.4.2.4 ErrorsinanInter-codedFramewith
MotionVectors . . . . . . . . . . . . . . . . . . 268
8.3.4.2.5 ErrorsinanInter-codedFrameatLowRate . . . 271
8.4 AReconfigurableWirelessVideophoneSystem . . . . . . . . . . . . . . . . 272
8.4.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
8.4.2 Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
8.4.3 BitrateReductionoftheH.261Codec . . . . . . . . . . . . . . . . . 273
8.4.4 InvestigationofMacroblockSize . . . . . . . . . . . . . . . . . . . 274
8.4.5 ErrorCorrectionCoding . . . . . . . . . . . . . . . . . . . . . . . . 275
8.4.6 PacketizationAlgorithm . . . . . . . . . . . . . . . . . . . . . . . . 278
8.4.6.1 EncodingHistoryList . . . . . . . . . . . . . . . . . . . . 278
8.4.6.2 MacroblockCompounding . . . . . . . . . . . . . . . . . 279
8.4.6.3 EndofFrameEffect . . . . . . . . . . . . . . . . . . . . . 281
8.4.6.4 PacketTransmissionFeedback . . . . . . . . . . . . . . . 282
8.4.6.5 PacketTruncationandCompoundingAlgorithms . . . . . 282
8.5 H.261-basedWirelessVideophoneSystemPerformance . . . . . . . . . . . 283
8.5.1 SystemArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.5.2 SystemPerformance . . . . . . . . . . . . . . . . . . . . . . . . . . 286
8.6 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
9 ComparativeStudyoftheH.261andH.263Codecs 295
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
9.2 TheH.263CodingAlgorithms . . . . . . . . . . . . . . . . . . . . . . . . . 297
9.2.1 SourceEncoder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
9.2.1.1 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 297
9.2.1.2 MotionCompensationandTransformCoding . . . . . . . 297
9.2.1.3 Quantization . . . . . . . . . . . . . . . . . . . . . . . . . 298
9.2.2 VideoMultiplexCoder . . . . . . . . . . . . . . . . . . . . . . . . . 298
9.2.2.1 PictureLayer . . . . . . . . . . . . . . . . . . . . . . . . 300
9.2.2.2 GroupofBlocksLayer . . . . . . . . . . . . . . . . . . . 300
9.2.2.3 H.261MacroblockLayer . . . . . . . . . . . . . . . . . . 301
9.2.2.4 H.263MacroblockLayer . . . . . . . . . . . . . . . . . . 302
9.2.2.5 BlockLayer . . . . . . . . . . . . . . . . . . . . . . . . . 305
9.2.3 MotionCompensation . . . . . . . . . . . . . . . . . . . . . . . . . 306
9.2.3.1 H.263MotionVectorPredictor . . . . . . . . . . . . . . . 307
9.2.3.2 H.263SubpixelInterpolation . . . . . . . . . . . . . . . . 308
9.2.4 H.263NegotiableOptions . . . . . . . . . . . . . . . . . . . . . . . 309
9.2.4.1 UnrestrictedMotionVectorMode . . . . . . . . . . . . . . 309
9.2.4.2 Syntax-basedArithmeticCodingMode . . . . . . . . . . . 310
CONTENTS xi
9.2.4.2.1 Arithmeticcoding . . . . . . . . . . . . . . . . . 311
9.2.4.3 AdvancedPredictionMode . . . . . . . . . . . . . . . . . 312
9.2.4.3.1 FourMotionVectorsperMacroblock. . . . . . . 313
9.2.4.3.2 OverlappedMotionCompensationfor
Luminance. . . . . . . . . . . . . . . . . . . . . 313
9.2.4.4 P-BFramesMode . . . . . . . . . . . . . . . . . . . . . . 315
9.3 PerformanceResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
9.3.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
9.3.2 H.261Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9.3.3 H.261/H.263PerformanceComparison . . . . . . . . . . . . . . . . 322
9.3.4 H.263CodecPerformance . . . . . . . . . . . . . . . . . . . . . . . 325
9.3.4.1 Gray-ScaleversusColorComparison . . . . . . . . . . . . 325
9.3.4.2 ComparisonofQCIFResolutionColorVideo . . . . . . . 328
9.3.4.3 CodingPerformanceatVariousResolutions . . . . . . . . 328
9.4 SummaryandConclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
10 H.263forHSDPA-styleWirelessVideoTelephony 339
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
10.2 H.263inaMobileEnvironment . . . . . . . . . . . . . . . . . . . . . . . . 339
10.2.1 ProblemsofUsingH.263inaMobileEnvironment . . . . . . . . . . 339
10.2.2 PossibleSolutionsforUsingH.263inaMobileEnvironment. . . . . 340
10.2.2.1 Coding Video Sequences Using Exclusively Intra-coded
Frames . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
10.2.2.2 AutomaticRepeatRequests . . . . . . . . . . . . . . . . . 341
10.2.2.3 MultimodeModulationSchemes . . . . . . . . . . . . . . 341
10.2.2.4 CombinedSource/ChannelCoding . . . . . . . . . . . . . 342
10.3 DesignofanError-resilientReconfigurableVideophoneSystem . . . . . . . 343
10.3.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
10.3.2 ControllingtheBitrate . . . . . . . . . . . . . . . . . . . . . . . . . 343
10.3.3 EmployingFECCodesintheVideophoneSystem . . . . . . . . . . 345
10.3.4 TransmissionPacketStructure . . . . . . . . . . . . . . . . . . . . . 346
10.3.5 CodingParameterHistoryList . . . . . . . . . . . . . . . . . . . . . 347
10.3.6 ThePacketizationAlgorithm . . . . . . . . . . . . . . . . . . . . . . 349
10.3.6.1 OperationalScenariosofthePacketizingAlgorithm . . . . 349
10.4 H.263-basedVideoSystemPerformance . . . . . . . . . . . . . . . . . . . 352
10.4.1 SystemEnvironment . . . . . . . . . . . . . . . . . . . . . . . . . . 352
10.4.2 PerformanceResults . . . . . . . . . . . . . . . . . . . . . . . . . . 354
10.4.2.1 Error-freeTransmissionResults . . . . . . . . . . . . . . . 354
10.4.2.2 EffectofPacketDroppingonImageQuality . . . . . . . . 354
10.4.2.3 ImageQualityversusChannelQualitywithoutARQ . . . . 356
10.4.2.4 ImageQualityversusChannelQualitywithARQ . . . . . 357
10.4.3 ComparisonofH.263andH.261-basedSystems . . . . . . . . . . . 359
10.4.3.1 PerformancewithAntennaDiversity . . . . . . . . . . . . 361
10.4.3.2 PerformanceoverDECTChannels . . . . . . . . . . . . . 362
10.5 TransmissionFeedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
10.5.1 ARQIssues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371