Table Of ContentComputational Methods for Bioinformatics
in Python 3.4
Jason M. Kinser, D.Sc.
George Mason University
' January 19, 2017
Copyright
Text and images (excepting those attributed to other sources) copyright '1st edition
2016, 2nd edition 2017 by Jason M. Kinser
Front cover copyright '2017 by Jason M. Kinser
This document is intended for educational and may not be freely distributed in
written or electronic form without the expressed, written consent of the author.
Python scripts are provided as an educational tool. They are offered without guar-
antee of effectiveness or accuracy. Python scripts composed by the author may not be
used for commercial uses without the author’s explicit written permission.
Feedback
This is an active document in that it will be updated as the sciences, algorithms and
Python scripting methods change. The author does appreciated kind notes that inform
him of alterations needed and errors detected. Please send comments, suggestions and
error reports to: [email protected]
Versions
Version 1.0 September 1, 2016
Version 2.0 January 20, 2017
i
Contents
Contents i
Preface 1
I Computing in Office Software 3
1 Mathematics Review 5
1.1 Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Power Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2 Calculator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.3 Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4 Quadratic Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Trigonometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1 Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.2 Triangles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.2 Length . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.3 Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.4 Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.5 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2 Scientific Writing 19
iii
2.1 Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.1 Presentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2 Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.3 Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.4 Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Word Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 MS - Word . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.2 LATEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.2.1 Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.2.2 Title. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2.3 Headings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2.4 Cross References . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.2.5 Figures and Captions . . . . . . . . . . . . . . . . . . . . . 26
2.2.2.6 Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.2.7 Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2.2.8 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.2.9 Final Comments . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.3 LibreOffice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.4 Others . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.4.1 Google Docs . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.4.2 ABI Word . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.4.3 Zoho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2.4.4 WPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3 Computing with a Spreadsheet 33
3.1 Creating Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Cell Referencing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2.1 Copying Formulas with References . . . . . . . . . . . . . . . . . . . 35
3.2.2 Absolute Reference . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.2.3 Cell Names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3 Introduction to Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
iv
3.3.1 The Sum Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.2 Statistical Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3.3 Comparison Functions . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4 Creating Basic Plots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5 Function Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.5.1 Trendline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.2 Solver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4 Gene Expression Arrays: Excel 53
4.1 Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3 Visualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5 Comparing Multiple Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
II Python Scripting Language 67
5 Python Installation 69
5.1 Repository. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.1.1 Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.1.2 MAC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.1.3 UNIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2 Setting up a Directory Structure . . . . . . . . . . . . . . . . . . . . . . . . 71
5.3 Online Python . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
6 Python Data and Computations 73
6.1 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.2 Numerical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.2.1 Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
6.2.2 Simple Computations . . . . . . . . . . . . . . . . . . . . . . . . . . 74
6.2.3 Algebraic Hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.2.4 The Math Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
v
6.3 Python Collections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.3.1 Tuple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.3.2 List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.3.3 Dictionary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.3.4 Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.3.5 Slicing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.4 Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
6.4.1 String Definition and Slicing . . . . . . . . . . . . . . . . . . . . . . 86
6.4.1.1 Special Characters . . . . . . . . . . . . . . . . . . . . . . . 87
6.4.1.2 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.4.1.3 Repeating Characters . . . . . . . . . . . . . . . . . . . . . 87
6.4.2 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.4.2.1 Replacing Characters . . . . . . . . . . . . . . . . . . . . . 89
6.4.2.2 Replacing Characters with a Table . . . . . . . . . . . . . . 90
6.5 Converting Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.6 Example: Romeo and Juliet . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7 Python Logic Control 95
7.1 The if Command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
7.1.1 The else Command . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
7.1.2 Complex Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.1.3 The elif Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7.2 Iterations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7.2.1 The while Loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.2.2 The for Loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.2.3 break and continue . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.2.4 The enumerate Function . . . . . . . . . . . . . . . . . . . . . . . . 102
7.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
7.3.1 Example: The Average of Random Numbers . . . . . . . . . . . . . 102
7.3.2 Example: Text Search . . . . . . . . . . . . . . . . . . . . . . . . . . 104
7.3.3 Example: Sliding Block . . . . . . . . . . . . . . . . . . . . . . . . . 105
vi
7.3.4 Example: Compute π . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7.3.5 Example: Summation Equations . . . . . . . . . . . . . . . . . . . . 108
7.4 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
8 Input and Output 111
8.1 Reading a File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
8.2 Storing Data in a File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
8.3 Moving the Position in the File . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.4 Pickle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
8.5.1 Sliding Window in DNA . . . . . . . . . . . . . . . . . . . . . . . . . 115
8.5.2 Example: Reading a Spreadsheet . . . . . . . . . . . . . . . . . . . . 116
9 Python and Excel 121
9.1 Text Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
9.2 The csv Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
9.3 xlrd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
9.4 Openpyxl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
10 Reading a Binary File 129
10.1 A Brief Overview of a Sequencer . . . . . . . . . . . . . . . . . . . . . . . . 129
10.2 Hexadecimal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10.3 The ABI File Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
10.3.1 ABI Records . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
10.3.2 Extracting the Records . . . . . . . . . . . . . . . . . . . . . . . . . 136
10.3.2.1 The Base Calls . . . . . . . . . . . . . . . . . . . . . . . . . 136
10.3.2.2 The Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
10.3.3 Cohesive Program . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
11 Python Arrays 141
11.1 Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
11.2 Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
vii
11.3 Slicing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
11.4 Mathematics and Some Functions . . . . . . . . . . . . . . . . . . . . . . . . 144
11.5 Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
11.6 Example: Extract Random Numbers Above a Threshold . . . . . . . . . . . 150
11.7 Indices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
11.8 Example: Simultaneous Equations . . . . . . . . . . . . . . . . . . . . . . . 155
12 Python Functions and Modules 159
12.1 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
12.1.1 Basic Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
12.1.2 Local and Global Variables . . . . . . . . . . . . . . . . . . . . . . . 160
12.1.3 Arguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
12.1.4 Default Argument . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
12.1.5 Help Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
12.1.6 Return . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
12.1.7 Designing a Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
12.2 Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
12.3 Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
13 Object Oriented Programming 173
13.1 Justification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
13.2 Basic Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
13.2.1 Class with a Function . . . . . . . . . . . . . . . . . . . . . . . . . . 174
13.2.2 Self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
13.2.3 Global and Local Variables . . . . . . . . . . . . . . . . . . . . . . . 176
13.2.4 Operator Overloading . . . . . . . . . . . . . . . . . . . . . . . . . . 177
13.2.5 Inheritance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
13.2.6 Actively Adding a Variable . . . . . . . . . . . . . . . . . . . . . . . 180
14 Random Numbers 183
14.1 Simple Random Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
14.2 Randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
viii
14.3 Gaussian Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
14.3.1 Gaussian Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
14.3.2 Gaussian Distributions in Excel . . . . . . . . . . . . . . . . . . . . . 187
14.3.3 Histogram in Python . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
14.3.4 Random Gaussian Numbers . . . . . . . . . . . . . . . . . . . . . . . 190
14.4 Multivariate Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
14.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
14.5.1 Dice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
14.5.2 Cards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
14.5.3 Random DNA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
15 Gene Expression Arrays: Python 199
15.1 Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
15.2 A Single File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
15.3 Multiple Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
III Computational Applications 207
16 DNA as Data 209
16.1 DNA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
16.2 Application: Checking Genes . . . . . . . . . . . . . . . . . . . . . . . . . . 213
16.2.1 Reading the DNA File . . . . . . . . . . . . . . . . . . . . . . . . . . 213
16.2.2 Reading the Bounds File. . . . . . . . . . . . . . . . . . . . . . . . . 214
16.2.3 Examining the Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
17 Application in GC Content 219
17.1 Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
17.2 Python Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
17.3 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
17.3.1 Non-Coding Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
17.3.2 Coding Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
17.3.3 Preceding Region . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
ix
17.3.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
18 DNA File Formats 227
18.1 FASTA Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
18.2 Genbank Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
18.2.1 File Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
18.2.2 Parsing the DNA String . . . . . . . . . . . . . . . . . . . . . . . . . 230
18.2.3 Keywords . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
18.2.4 Extracting Genes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
18.2.5 Coding DNA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
18.2.6 Extracting Translations . . . . . . . . . . . . . . . . . . . . . . . . . 234
18.3 ASN.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
18.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
19 Principle Component Analysis 241
19.1 The Purpose of PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
19.2 Covariance Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
19.2.1 Introduction to the Covariance Matrix . . . . . . . . . . . . . . . . . 242
19.2.2 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
19.3 Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
19.4 Principal Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . 247
19.4.1 Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
19.4.2 Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
19.4.3 Python Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
19.4.4 Distance Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
19.4.5 Organization in PCA. . . . . . . . . . . . . . . . . . . . . . . . . . . 252
19.4.6 RGB Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
19.5 Describing Systems with Eigenvectors . . . . . . . . . . . . . . . . . . . . . 260
19.6 First Order Nature of PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
19.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
20 Codon Frequencies in Genomes 265
x
