Digital Signal Processing - A Modern Introduction

519 Pages·3.255 MB·English

by  Ambardar A.

DIGITAL SIGNAL PROCESSING:
A MODERN INTRODUCTION
by
Ashok Ambardar
Michigan Technological University
CONTENTS
PREFACE xiii
1 OVERVIEW 2
1.0 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1 Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Digital Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 The z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 The Frequency Domain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.3 Filter Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Signal Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 Digital Processing of Analog Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 Filter Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.3 The Design of IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.4 The Design of FIR filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 The DFT and FFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 Advantages of DSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5.1 Applications of DSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 DISCRETE SIGNALS 8
2.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.1 Discrete Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.1.1 Signal Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Operations on Discrete Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.1 Symmetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.2 Even and Odd Parts of Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 Decimation and Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.1 Decimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.2 Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.3 Fractional Delays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4 Common Discrete Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.4.1 Properties of the Discrete Impulse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.2 Signal Representation by Impulses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
(cid:176)cAshokAmbardar, September1,2003 v
vi Contents
2.4.3 Discrete Pulse Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.4 The Discrete Sinc Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.5 Discrete Exponentials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 Discrete-Time Harmonics and Sinusoids . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5.1 Discrete-Time Harmonics Are Not Always Periodic in Time . . . . . . . . . . . . . . . 20
2.5.2 Discrete-Time Harmonics Are Always Periodic in Frequency . . . . . . . . . . . . . . . 21
2.6 The Sampling Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.6.1 Signal Reconstruction and Aliasing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.6.2 Reconstruction at Different Sampling Rates . . . . . . . . . . . . . . . . . . . . . . . . 25
2.7 An Introduction to Random Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7.1 Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.7.2 Measures for Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.7.3 The Chebyshev Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.7.4 Probability Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.5 The Uniform Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7.6 The Gaussian or Normal Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.7.7 Discrete Probability Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.7.8 Distributions for Deterministic Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.7.9 Stationary, Ergodic, and Pseudorandom Signals . . . . . . . . . . . . . . . . . . . . . . 34
2.7.10 Statistical Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.7.11 Random Signal Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3 TIME-DOMAIN ANALYSIS 47
3.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1 Discrete-Time Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.1 Linearity and Superposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.2 Time Invariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.1.3 LTI Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.1.4 Causality and Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Digital Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.1 Digital Filter Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.2 Digital Filter Realization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3 Response of Digital Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3.1 Response of Nonrecursive Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3.2 Response of Recursive Filters by Recursion . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4 The Natural and Forced Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.1 The Single-Input Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4.2 The Zero-Input Response and Zero-State Response . . . . . . . . . . . . . . . . . . . . 61
3.4.3 Solution of the General Difference Equation . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 The Impulse Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.1 Impulse Response of Nonrecursive Filters . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.2 Impulse Response by Recursion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.5.3 Impulse Response for the Single-Input Case . . . . . . . . . . . . . . . . . . . . . . . . 66
(cid:176)cAshokAmbardar, September1,2003
Contents vii
3.5.4 Impulse Response for the General Case . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.5.5 Recursive Forms for Nonrecursive Digital Filters . . . . . . . . . . . . . . . . . . . . . 68
3.5.6 The Response of Anti-Causal Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.6 System Representation in Various Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.6.1 Difference Equations from the Impulse Response . . . . . . . . . . . . . . . . . . . . . 70
3.6.2 Difference Equations from Input-Output Data. . . . . . . . . . . . . . . . . . . . . . . 70
3.7 Application-Oriented Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7.1 Moving Average Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7.2 Inverse Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.7.3 Echo and Reverb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.7.4 Periodic Sequences and Wave-Table Synthesis . . . . . . . . . . . . . . . . . . . . . . . 75
3.7.5 How Difference Equations Arise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.8 Discrete Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.8.1 Analytical Evaluation of Discrete Convolution. . . . . . . . . . . . . . . . . . . . . . . 77
3.9 Convolution Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.10 Convolution of Finite Sequences. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.10.1 The Sum-by-Column Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.10.2 The Fold, Shift, Multiply, and Sum Concept. . . . . . . . . . . . . . . . . . . . . . . . 82
3.10.3 Discrete Convolution, Multiplication, and Zero Insertion . . . . . . . . . . . . . . . . . 83
3.10.4 Impulse Response of LTI Systems in Cascade and Parallel . . . . . . . . . . . . . . . . 84
3.11 Stability and Causality of LTI Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.11.1 Stability of FIR Filters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.11.2 Stability of LTI Systems Described by Difference Equations . . . . . . . . . . . . . . . 86
3.11.3 Stability of LTI Systems Described by the Impulse Response . . . . . . . . . . . . . . 86
3.11.4 Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
3.12 System Response to Periodic Inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.13 Periodic Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
3.13.1 Periodic Convolution By the Cyclic Method . . . . . . . . . . . . . . . . . . . . . . . . 92
3.13.2 Periodic Convolution By the Circulant Matrix . . . . . . . . . . . . . . . . . . . . . . 92
3.13.3 Regular Convolution from Periodic Convolution. . . . . . . . . . . . . . . . . . . . . . 94
3.14 Deconvolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.14.1 Deconvolution By Recursion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.15 Discrete Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
3.15.1 Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
3.15.2 Periodic Discrete Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3.15.3 Matched Filtering and Target Ranging . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.16 Discrete Convolution and Transform Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.16.1 The z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.16.2 The Discrete-Time Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4 z-TRANSFORM ANALYSIS 124
4.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.1 The Two-Sided z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
(cid:176)cAshokAmbardar, September1,2003
viii Contents
4.1.1 What the z-Transform Reveals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.1.2 Some z-Transform Pairs Using the Defining Relation . . . . . . . . . . . . . . . . . . . 125
4.1.3 More on the ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.2 Properties of the Two-Sided z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
4.3 Poles, Zeros, and the z-Plane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
4.4 The Transfer Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.5 Interconnected Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
4.6 Transfer Function Realization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.6.1 Transposed Realization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4.6.2 Cascaded and Parallel Realization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.7 Causality and Stability of LTI Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
4.7.1 Stability and the ROC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
4.7.2 Inverse Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
4.8 The Inverse z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.8.1 Inverse z-Transform of Finite Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.8.2 Inverse z-Transform by Long Division . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.8.3 Inverse z-Transform from Partial Fractions . . . . . . . . . . . . . . . . . . . . . . . . 147
4.8.4 The ROC and Inversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
4.9 The One-Sided z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
4.9.1 The Right-Shift Property of the One-Sided z-Transform . . . . . . . . . . . . . . . . . 154
4.9.2 The Left-Shift Property of the One-Sided z-Transform . . . . . . . . . . . . . . . . . . 155
4.9.3 The Initial Value Theorem and Final Value Theorem . . . . . . . . . . . . . . . . . . . 156
4.9.4 The z-Transform of Switched Periodic Signals . . . . . . . . . . . . . . . . . . . . . . . 157
4.10 The z-Transform and System Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
4.10.1 Systems Described by Difference Equations . . . . . . . . . . . . . . . . . . . . . . . . 158
4.10.2 Systems Described by the Transfer Function. . . . . . . . . . . . . . . . . . . . . . . . 159
4.10.3 Forced and Steady-State Response from the Transfer Function . . . . . . . . . . . . . 161
5 FREQUENCY DOMAIN ANALYSIS 176
5.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
5.1 The DTFT from the z-Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
5.1.1 Symmetry of the Spectrum for a Real Signal . . . . . . . . . . . . . . . . . . . . . . . 177
5.1.2 Some DTFT Pairs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.1.3 Relating the z-Transform and DTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
5.2 Properties of the DTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
5.2.1 Folding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
5.2.2 Time Shift of x[n] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.2.3 Frequency Shift of X(F) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
5.2.4 Modulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
5.2.5 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
5.2.6 The times-n property: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.2.7 Parseval’s relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.2.8 Central ordinate theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
(cid:176)cAshokAmbardar, September1,2003
Contents ix
5.3 The DTFT of Discrete-Time Periodic Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
5.3.1 The DFS and DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
5.4 The Inverse DTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
5.5 The Frequency Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.6 System Analysis Using the DTFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
5.6.1 The Steady-State Response to Discrete-Time Harmonics . . . . . . . . . . . . . . . . . 195
5.7 Connections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
5.8 Ideal Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
5.8.1 Frequency Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
5.8.2 Truncation and Windowing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
5.8.3 The Rectangular Window and its Spectrum . . . . . . . . . . . . . . . . . . . . . . . . 202
5.8.4 The Triangular Window and its Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . 202
5.8.5 The Consequences of Windowing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
6 FILTER CONCEPTS 215
6.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
6.1 Frequency Response and Filter Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . 215
6.1.1 Phase Delay and Group Delay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
6.1.2 Minimum-Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
6.1.3 Minimum-Phase Filters from the Magnitude Spectrum . . . . . . . . . . . . . . . . . . 216
6.1.4 The Frequency Response: A Graphical View . . . . . . . . . . . . . . . . . . . . . . . 217
6.1.5 The Rubber Sheet Analogy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
6.2 FIR Filters and Linear-Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.2.1 Pole-Zero Patterns of Linear-Phase Filters . . . . . . . . . . . . . . . . . . . . . . . . . 220
6.2.2 Types of Linear-Phase Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
6.2.3 Averaging Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
6.2.4 Zeros of Averaging Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
6.2.5 FIR Comb Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
6.3 IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
6.3.1 First-Order Highpass Filters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
6.3.2 Pole-Zero Placement and Filter Design . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
6.3.3 Second-Order IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
6.3.4 Digital Resonators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
6.3.5 Periodic Notch Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
6.4 Allpass Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
6.4.1 Transfer Function of Allpass Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
6.4.2 Stabilization of Unstable Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
6.4.3 Minimum-Phase Filters Using Allpass Filters . . . . . . . . . . . . . . . . . . . . . . . 238
6.4.4 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
7 DIGITAL PROCESSING OF ANALOG SIGNALS 251
7.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.1 Ideal Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
7.1.1 Sampling of Sinusoids and Periodic Signals . . . . . . . . . . . . . . . . . . . . . . . . 254
(cid:176)cAshokAmbardar, September1,2003
x Contents
7.1.2 Application Example: The Sampling Oscilloscope . . . . . . . . . . . . . . . . . . . . . 256
7.1.3 Sampling of Bandpass Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
7.1.4 Natural Sampling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
7.1.5 Zero-Order-Hold Sampling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
7.2 Sampling, Interpolation, and Signal Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
7.2.1 Ideal Recovery and the Sinc Interpolating Function . . . . . . . . . . . . . . . . . . . . 262
7.2.2 Interpolating Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
7.2.3 Interpolation in Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
7.3 Sampling Rate Conversion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
7.3.1 Zero Interpolation and Spectrum Compression . . . . . . . . . . . . . . . . . . . . . . 266
7.3.2 Sampling Rate Increase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
7.3.3 Sampling Rate Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
7.4 Quantization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
7.4.1 Uniform Quantizers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
7.4.2 Quantization Error and Quantization Noise . . . . . . . . . . . . . . . . . . . . . . . . 271
7.4.3 Quantization and Oversampling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
7.5 Digital Processing of Analog Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
7.5.1 Multirate Signal Processing and Oversampling . . . . . . . . . . . . . . . . . . . . . . 276
7.5.2 Practical ADC Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
7.5.3 Anti-Aliasing Filter Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
7.5.4 Anti-Imaging Filter Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
7.6 Compact Disc Digital Audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
7.6.1 Recording . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
7.6.2 Playback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
7.7 Dynamic Range Processors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
7.7.1 Companders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
7.8 Audio Equalizers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
7.8.1 Shelving Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
7.8.2 Graphic Equalizers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
7.8.3 Parametric Equalizers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
7.9 Digital Audio Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
7.9.1 Gated Reverb and Reverse Reverb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
7.9.2 Chorusing, Flanging, and Phasing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
7.9.3 Plucked-String Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
7.10 Digital Oscillators and DTMF Receivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
7.10.1 DTMF Receivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
8 DESIGN OF FIR FILTERS 311
8.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
8.1.1 The Design Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
8.1.2 Techniques of Digital Filter Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
8.2 Symmetric Sequences and Linear Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
(cid:176)cAshokAmbardar, September1,2003
Contents xi
8.2.1 Classification of Linear-Phase Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . 313
8.2.2 Applications of Linear-Phase Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . 315
8.2.3 FIR Filter Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
8.3 Window-Based Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
8.3.1 Characteristics of Window Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
8.3.2 Some Other Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
8.3.3 What Windowing Means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
8.3.4 Some Design Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
8.3.5 Characteristics of the Windowed Spectrum . . . . . . . . . . . . . . . . . . . . . . . . 322
8.3.6 Selection of Window and Design Parameters . . . . . . . . . . . . . . . . . . . . . . . 323
8.3.7 Spectral Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
8.4 Half-Band FIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
8.5 FIR Filter Design by Frequency Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
8.5.1 Frequency Sampling and Windowing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
8.5.2 Implementing Frequency-Sampling FIR Filters . . . . . . . . . . . . . . . . . . . . . . 337
8.6 Design of Optimal Linear-Phase FIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
8.6.1 The Alternation Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
8.6.2 Optimal Half-Band Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
8.7 Application: Multistage Interpolation and Decimation . . . . . . . . . . . . . . . . . . . . . . 342
8.7.1 Multistage Decimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
8.8 Maximally Flat FIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
8.9 FIR Differentiators and Hilbert Transformers . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
8.9.1 Hilbert Transformers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
8.9.2 Design of FIR Differentiators and Hilbert Transformers . . . . . . . . . . . . . . . . . 348
8.10 Least Squares and Adaptive Signal Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
8.10.1 Adaptive Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
8.10.2 Applications of Adaptive Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
9 DESIGN OF IIR FILTERS 361
9.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
9.2 IIR Filter Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
9.2.1 Equivalence of Analog and Digital Systems . . . . . . . . . . . . . . . . . . . . . . . . 361
9.2.2 The Effects of Aliasing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
9.2.3 Practical Mappings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
9.3 Response Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
9.3.1 The Impulse-Invariant Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
9.3.2 Modifications to Impulse-Invariant Design . . . . . . . . . . . . . . . . . . . . . . . . . 368
9.4 The Matched z-Transform for Factored Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
9.4.1 Modifications to Matched z-Transform Design. . . . . . . . . . . . . . . . . . . . . . . 372
9.5 Mappings from Discrete Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
9.5.1 Mappings from Difference Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
9.5.2 Stability Properties of the Backward-Difference Algorithm . . . . . . . . . . . . . . . . 374
(cid:176)cAshokAmbardar, September1,2003
xii Contents
9.5.3 The Forward-Difference Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
9.5.4 Mappings from Integration Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
9.5.5 Stability Properties of Integration-Algorithm Mappings . . . . . . . . . . . . . . . . . 376
9.5.6 Frequency Response of Discrete Algorithms . . . . . . . . . . . . . . . . . . . . . . . . 378
9.5.7 Mappings from Rational Approximations . . . . . . . . . . . . . . . . . . . . . . . . . 381
9.6 The Bilinear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
9.6.1 Using the Bilinear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
9.7 Spectral Transformations for IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
9.7.1 Digital-to-Digital Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
9.7.2 Direct (A2D) Transformations for Bilinear Design . . . . . . . . . . . . . . . . . . . . 386
9.7.3 Bilinear Transformation for Peaking and Notch Filters . . . . . . . . . . . . . . . . . . 386
9.8 Design Recipe for IIR Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
9.8.1 Finite-Word-Length Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.8.2 Effects of Coefficient Quantization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.8.3 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
10 THE DISCRETE FOURIER TRANSFORM AND ITS APPLICATIONS 405
10.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
10.1.1 Connections Between Frequency-Domain Transforms . . . . . . . . . . . . . . . . . . . 405
10.2 The DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
10.3 Properties of the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
10.3.1 Symmetry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
10.3.2 Central Ordinates and Special DFT Values . . . . . . . . . . . . . . . . . . . . . . . . 409
10.3.3 Circular Shift and Circular Symmetry . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
10.3.4 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
10.3.5 The FFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
10.3.6 Signal Replication and Spectrum Zero Interpolation . . . . . . . . . . . . . . . . . . . 413
10.3.7 Some Useful DFT Pairs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
10.4 Some Practical Guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
10.5 Approximating the DTFT by the DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
10.6 The DFT of Periodic Signals and the DFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
10.6.1 The Inverse DFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
10.6.2 Understanding the DFS Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418
10.6.3 The DFS and DFT of Sinusoids. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
10.6.4 The DFT and DFS of Sampled Periodic Signals . . . . . . . . . . . . . . . . . . . . . . 420
10.6.5 The Effects of Leakage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
10.7 The DFT of Nonperiodic Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
10.7.1 Spectral Spacing and Zero-Padding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
10.8 Spectral Smoothing by Time Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
10.8.1 Performance Characteristics of Windows . . . . . . . . . . . . . . . . . . . . . . . . . . 426
10.8.2 The Spectrum of Windowed Sinusoids . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
10.8.3 Resolution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
(cid:176)cAshokAmbardar, September1,2003
Contents xiii
10.8.4 Detecting Hidden Periodicity Using the DFT . . . . . . . . . . . . . . . . . . . . . . . 432
10.9 Applications in Signal Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
10.9.1 Convolution of Long Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
10.9.2 Deconvolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
10.9.3 Band-Limited Signal Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
10.9.4 The Discrete Hilbert Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
10.10Spectrum Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
10.10.1The Periodogram Estimate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.10.2PSD Estimation by the Welch Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.10.3PSD Estimation by the Blackman-Tukey Method . . . . . . . . . . . . . . . . . . . . . 438
10.10.4Non-Parametric System Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
10.10.5Time-Frequency Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
10.11The Cepstrum and Homomorphic Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
10.11.1Homomorphic Filters and Deconvolution . . . . . . . . . . . . . . . . . . . . . . . . . . 441
10.11.2Echo Detection and Cancellation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
10.12Optimal Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
10.13Matrix Formulation of the DFT and IDFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
10.13.1The IDFT from the Matrix Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
10.13.2Using the DFT to Find the IDFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
10.14The FFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
10.14.1Some Fundamental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
10.14.2The Decimation-in-Frequency FFT Algorithm. . . . . . . . . . . . . . . . . . . . . . . 449
10.14.3The Decimation-in-Time FFT Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 451
10.14.4Computational Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
10.15Why Equal Lengths for the DFT and IDFT? . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
10.15.1The Inverse DFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
10.15.2How Unequal Lengths Affect the DFT Results . . . . . . . . . . . . . . . . . . . . . . 456
A USEFUL CONCEPTS FROM ANALOG THEORY 470
A.0 Scope and Objectives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
A.1 Signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
A.2 System Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
A.2.1 The Zero-State Response and Zero-Input Response . . . . . . . . . . . . . . . . . . . . 476
A.2.2 Step Response and Impulse Response . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
A.3 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
A.3.1 Useful Convolution Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
A.4 The Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
A.4.1 The Inverse Laplace Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
A.4.2 Interconnected Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
A.4.3 Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482
A.4.4 The Laplace Transform and System Analysis . . . . . . . . . . . . . . . . . . . . . . . 482
A.4.5 The Steady-State Response to Harmonic Inputs. . . . . . . . . . . . . . . . . . . . . . 483
A.5 Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
(cid:176)cAshokAmbardar, September1,2003