Design and Development of an Automatic Speech Recognition System for Urdu

211 Pages·2009·3.34 MB·English

by  Agha Ali Raza

Desiggn andd Deveelopment off an 
Automaatic Sppeech RRecoggnitionn Systeem for Urdu

by
Agha Alii Raza 
A thesis presented too  
FAST‐Nationall Universiity of Commputer annd Emergiing Sciencces 
In ppartial fullfillment oof the reqquirementts for the degree off 
Maaster of Science (Computer Science)
NUCCES‐FASTT, Lahore, Pakistan,, July 2009
ii
The undersigned hereby certify that they have read and recommend to the Faculty of 
Graduate  Studies  for  acceptance  a  thesis  entitled  Design and Development of an 
Automatic Speech Recognition System for Urdu by Agha Ali Raza in partial fulfillment of 
the requirements for the degree of Master of Science (Computer Science). 

                                    ____________________ 

Head  
(Department of Computer Science) 

Committee Members: 
Thesis Supervisor 
                                    _____________________ 
                                    Dr. Sarmad Hussain 
Professor 
FAST ‐ National University 
Thesis Co­Supervisor 

_____________________ 
                                    Mr. Awais Athar 
Lecturer 
FAST ‐ National University 

Dated: July 2009 
  iii
iv
AUTHOR'S DECLARATION
I hereby declare that I am the sole author of this thesis. This is a true copy of the thesis, 
including any required final revisions, as accepted by my supervisors. 
I understand that my thesis may be made electronically available to the public. 

______________________                                    ______________________ 
      Signatures                                           Date 

  v
vi
Abstract
Easy access to information is one of the key factors contributing to the economic and 
social growth of societies in the modern era. Most of the available means of information 
access like print media are useful only for the literate members of the society. Other 
modes like television and radio are non‐interactive and computers, although being 
interactive are not suitable for the major portion of the society that is either not familiar 
with its interface and usage or does not have access to it at all. One solution to this 
problem can be a telephone based speech interface for human‐computer interaction. As 
an Automatic Speech Recognition System (ASR) is a key component of such an interface, 
the prime impediment to the achievement of this goal in Pakistan is the lack of research 
and local language resources for Urdu that are required for the development of an Urdu 
ASR.  On  an  abstract  level  a  speaker  independent  automatic,  continuous1 and 
spontaneous2 speech recognition system for local languages and its further adaptation 
to telephone based interface is required as a first step towards achieving this goal. 
CRULP is currently working on a project entitled “Telephone‐based Speech Interfaces 
for Access to Information by Non‐literate Users” in collaboration with the Carnegie 
Mellon University. The goal of this project is to investigate the use of speech interfaces 
in a field‐deployed system by providing easy access to medical information to lady 
health workers in Pakistan. This will be achieved by developing a telephone based 
dialogue system consisting of an Urdu Speech Recognition system and a Text to Speech 
system that can interact with the health workers to answer their queries. 
One of the main components of this system is a core Urdu Speech Recognition system 
that can be trained with field specific data at a later stage. I have taken that to be the 
goal of my MS Thesis. This thesis presents the design and development of a medium 
vocabulary3 ASR  system  for  spontaneous  Urdu  speech.  The  targeted  domain  is  the 
accent spoken by literate speakers in the suburban areas of Lahore. The system is 
trained for continuous read as well as spontaneous speech and has been adapted to 
home and office level back ground noise. In this initial phase the system is speaker 
specific. This involves the design and development of speech corpora for read and 
spontaneous Urdu speech, and ASR system training for Urdu. CMU Sphinx system has 
been used as the primary training and recognition engine. 

1 Where words are not necessarily separated by silence i.e. a lexicon entry does not necessarily map onto an 
individual utterance 
2 As naturally spoken by speakers in everyday life where the processes of planning and speaking go side by 
side in contrast to reading out prepared data 
3 10,000 words, approximately 
  vii
Acknowledgements
Five years ago, a mere spark of curiosity led me to register in the course of Phonetics 
and Phonology. Little I anticipated that Dr. Sarmad will leave me with a burning flame of 
fascination for this field and it will become the nucleus of my graduate study. I am 
greatly  indebted  to  my  thesis  supervisor,  Dr.  Sarmad  Hussain,  for  his  help  and 
continuous support while I desperately kicked around in the unknown waters of Speech 
Processing and finally learned to enjoy the quest for knowledge. I am also very thankful 
to Sir Belal Mohammad Hashmi for his role resembling an oracle in my thesis. Towards 
him, I used to look whenever I lost my way in the tortuous alleys of computer hardware. 
And many thanks to my thesis co‐supervisor and colleague Mr. Awais Athar for keeping 
me on my toes throughout my thesis research through continual interrogation and 
constant criticism and for nudging me back to work whenever I slacked. 
I  wish  to express  my  gratitude towards the  team  of researchers of  the  Center for 
Research  in  Urdu  Language  Processing  (CRULP),  working  on  the  project  entitled 
Telephone­based Speech Interfaces for Access to Information by Non­literate Users, for 
their help and support, as many parts of my thesis overlapped with that project. I would 
like to thank Ms. Huda Sarfraz and our brilliant linguists Mr. Inam Ullah and Mr. Zahid 
Sarfraz for their eager support throughout the thesis. I found them to be the most 
difficult to convince persons in matters of Phonetics (with the exception of Dr. Sarmad), 
and this was precisely what used to trigger my search for answers based on solid 
arguments. I wish to thank my batch fellows Mr. Umer Khalid, Mr. Zeeshan Latif, Mr. 
Ahmad  Muaz,  Mr  Imtiaz  Ahmad  and  my  students  Mr.  Ameer  Sheikh,  Mr.  Atif,  Mr. 
Sayyam  Mehmood,  Mr.  Talha  Ahmad,  Ms.  Maria,  Ms.  Nida  Fatima  and  Ms.  Jweria 
Ghazanfar for gladly volunteering for the speech recordings and for their patience in 
uttering phrases and sounds which make the human tongue realize that there are yet 
unexplored regions in the oral cavity.  
Finally I am greatly thankful to the CRULP for generously providing me with valuable 
linguistic resources and an open access to the technical expertise of its researchers and 
linguists. I am grateful to FAST­National University of Computer and Emerging Sciences 
for supporting my thesis. 
Above all I want to thank my caring mother without whom I would have given up a long 
way back. She is still the only person who holds my finger and compels me to jump over 
yet another hurdle. All the praise and all the glory rightly belongs to my Almighty Allah, 
my dear and powerful companion whose hand supports me when my frail knees buckle 
under the weight of my responsibilities. 

  viii
I dedicate this work to my Lord Allah and my parents.
  ix
Table of Contents
Chapter 1 INTRODUCTION ........................................................................................................................................... 1 
1.1 Speech Recognition Architecture .................................................................................................................. 5 
1.2 The Acoustic Model ............................................................................................................................................. 8 
1.3 The Language Model ........................................................................................................................................ 16 
1.4 Smoothing ............................................................................................................................................................ 17 
1.4.1 Laplace Smoothing ................................................................................................................................... 17 
1.4.2 Good‐Turing Discounting ...................................................................................................................... 18 
1.4.3 Witten‐Bell Discounting ......................................................................................................................... 18 
1.4.4 Deleted Interpolation .............................................................................................................................. 19 
1.5 The Training Phase ........................................................................................................................................... 19 
1.5.1 Hand Phone Segmentation .................................................................................................................... 19 
1.5.2 Embedded Training ................................................................................................................................. 20 
1.6 The Decode Phase ............................................................................................................................................. 21 
1.7 Evaluation ............................................................................................................................................................. 22 
Chapter 2 The Sphinx Speech Recognition System ......................................................................................... 24 
2.1 Available Versions ............................................................................................................................................. 24 
2.2 Sphinx‐3 ................................................................................................................................................................ 26 
2.2.1 Sphinx‐3 Trainer ....................................................................................................................................... 27 
2.2.2 The Language Model Tool ..................................................................................................................... 28 
2.2.3 Sphinx‐3 Decoder...................................................................................................................................... 29 
Chapter 3 Urdu Acoustics and Letter to Sound Rules .................................................................................... 31 
3.1 Vowels .................................................................................................................................................................... 31 
  x