Table Of ContentA Computational
Theory of
Writing Systems
A Computational
Theory of
Writing Systems
Richard Sproat
AT&T Labs − Research
(cid:0)
cRichardSproat2000
ForLisa,whoislearningtoread
Contents
1 ReadingDevices 1
1.1 Text-to-SpeechConversion:aBriefIntroduction. . . . . . . . . . . . 2
1.2 TheTaskofPronouncingAloud: aModel . . . . . . . . . . . . . . . 5
1.2.1 AsimpleexamplefromRussian . . . . . . . . . . . . . . . . 6
1.2.2 Formaldefinitions . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2.1 AVM’sandAnnotationGraphs . . . . . . . . . . . 10
1.2.2.2 Definitions . . . . . . . . . . . . . . . . . . . . . . 12
1.2.2.3 Axioms . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.3 Centralclaimsofthetheory . . . . . . . . . . . . . . . . . . 14
1.2.3.1 Regularity . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3.2 Consistency . . . . . . . . . . . . . . . . . . . . . 17
1.2.4 Furtherissues . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.4.1 Whyaconstrainedtheoryofwritingsystems? . . . 19
1.2.4.2 Orthographyandthe“segmental”assumption . . . 21
1.3 TerminologyandConventions . . . . . . . . . . . . . . . . . . . . . 23
1.A OverviewofFSA’sandFST’s . . . . . . . . . . . . . . . . . . . . . 27
1.A.1 Regularlanguagesandfinite-stateautomata . . . . . . . . . . 27
1.A.2 Regularrelationsandfinite-statetransducers . . . . . . . . . 28
2 Regularity 33
2.1 PlanarRegularLanguages . . . . . . . . . . . . . . . . . . . . . . . 34
2.2 TheLocalityHypothesis . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3 PlanarArrangements: Examples . . . . . . . . . . . . . . . . . . . . 42
2.3.1 KoreanHankul . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3.2 Devanagari . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.3.3 PahawhHmong . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.3.4 Chinese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.3.5 AcounterexamplefromAncientEgyptian . . . . . . . . . . . 52
2.4 Cross-Writing-SystemVariationintheSLU . . . . . . . . . . . . . . 53
2.5 MacroscopicCatenation: TextDirection . . . . . . . . . . . . . . . . 56
2.A ChineseCharacters . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
v
vi CONTENTS
3 ORLDepthandConsistency 67
3.1 RussianandBelarusianOrthography . . . . . . . . . . . . . . . . . . 68
3.1.1 Vowelreduction . . . . . . . . . . . . . . . . . . . . . . . . 68
3.1.2 Regressivepalatalization . . . . . . . . . . . . . . . . . . . . 73
3.1.3 LexicalmarkinginRussian . . . . . . . . . . . . . . . . . . 75
3.1.4 SummaryofRussianandBelarusian . . . . . . . . . . . . . . 77
3.2 English . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.3 Serbo-CroatianDevoicing . . . . . . . . . . . . . . . . . . . . . . . 86
3.3.1 Methodsandmaterials . . . . . . . . . . . . . . . . . . . . . 87
3.3.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3.4 CyclicityinOrthography . . . . . . . . . . . . . . . . . . . . . . . . 91
3.5 SurfaceOrthographicConstraints. . . . . . . . . . . . . . . . . . . . 93
3.A EnglishDeepandShallowORL’s. . . . . . . . . . . . . . . . . . . . 96
3.A.1 Lexicalrepresentations . . . . . . . . . . . . . . . . . . . . . 96
3.A.2 RulesforthedeepORL . . . . . . . . . . . . . . . . . . . . 122
3.A.3 RulesfortheshallowORL . . . . . . . . . . . . . . . . . . . 125
4 LinguisticElements 127
4.1 Taxonomies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.1.1 Gelb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.1.2 Sampson . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.1.3 DeFrancis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.1.3.1 Nofullwritingsystemissemasiographic . . . . . . 131
4.1.3.2 Allfullwritingisphonographic . . . . . . . . . . . 131
4.1.3.3 Hankulisnotfeatural . . . . . . . . . . . . . . . . 132
4.1.4 Anewproposal . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.1.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.2 ChineseWriting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4.3 JapaneseWriting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.4 SomeFurtherExamples. . . . . . . . . . . . . . . . . . . . . . . . . 151
4.4.1 Syriacsyame . . . . . . . . . . . . . . . . . . . . . . . . . . 151
4.4.2 Reduplicationmarkers . . . . . . . . . . . . . . . . . . . . . 152
4.4.3 Cancellationsigns . . . . . . . . . . . . . . . . . . . . . . . 153
5 PsycholinguisticEvidence 157
5.1 OrthographicDepth . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
5.1.1 EvidencefortheOrthographicDepthHypothesis . . . . . . . 162
5.1.2 EvidenceagainsttheOrthographicDepthHypothesis . . . . . 163
5.2 “Shallow”Processingin“Deep”Orthographies . . . . . . . . . . . . 164
5.2.1 PhonologicalaccessinChinese . . . . . . . . . . . . . . . . 165
5.2.2 PhonologicalaccessinJapanese . . . . . . . . . . . . . . . . 166
5.2.3 EvidenceforthefunctionofphoneticcomponentsinChinese 168
5.2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5.3 ConnectionistApproaches . . . . . . . . . . . . . . . . . . . . . . . 170
5.3.1 Outlineofthemodel . . . . . . . . . . . . . . . . . . . . . . 171
CONTENTS vii
5.3.2 Whatiswrongwiththemodel . . . . . . . . . . . . . . . . . 174
5.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6 FurtherIssues 179
6.1 AdaptationofWritingSystems . . . . . . . . . . . . . . . . . . . . . 180
6.2 OrthographicReforms . . . . . . . . . . . . . . . . . . . . . . . . . 186
6.2.1 The1954spellingrules . . . . . . . . . . . . . . . . . . . . . 186
6.2.2 The1995spellingrules . . . . . . . . . . . . . . . . . . . . . 188
6.3 NumericalNotation . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
6.4 AbbreviatoryDevices . . . . . . . . . . . . . . . . . . . . . . . . . . 196
6.5 Non-BloomfieldianViewsonWriting . . . . . . . . . . . . . . . . . 201
6.6 Postscript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
viii CONTENTS
List of Figures
1.1 Apartiallinguisticrepresentationforthesentencein(1.1). Shownarea(cid:1) pho-
netic transcription, aprosodic analysis into two intonationalphrases ( ) and
one utterance(U),accentassignment(*), asetofpartofspeechtags, anda
simplephrase-structureanalysis. PhoneticsymbolsareIPA.Notethat‘MP’
means‘measurephrase’.. . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 A simple FST implementing the rewrite rules in (1.5). In this example the
machinehasasinglestate(0),whichisbothaninitialandafinalstate. The
labelsontheindividualarcsconsistofaninputlabel(totheleftofthecolon)
and an output label (to the right). Here, capital Roman letters are used to
representtheequivalentCyrillicletters.. . . . . . . . . . . . . . . . . . . 15
(cid:2)(cid:4)(cid:3)(cid:6)(cid:5)
1.3 Anacceptorfor .Theheavy-circledstate(0)is(conventionally)theinitial
state,andthedouble-circledstateisthefinalstate. . . . . . . . . . . . . . 28
(cid:5)
1.4 AnFSTthatacceptsa:c(b:d) . . . . . . . . . . . . . . . . . . . . . . . 30
(cid:7)(cid:9)(cid:8)(cid:11)(cid:10)(cid:12)(cid:7)(cid:14)(cid:13)(cid:16)(cid:15)(cid:17)(cid:7)(cid:19)(cid:18)
1.5 Threetransducers,where . . . . . . . . . . . . . . . . . . 31
(cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)(cid:27)(cid:26)(cid:29)(cid:28)(cid:30)(cid:20)(cid:14)(cid:21) (cid:31)(cid:14)(cid:24)(cid:14)!(cid:28)"(cid:20)(cid:14)(cid:21)$#%(cid:24)(cid:25)(cid:26)(cid:29)(cid:28)&(cid:20)(cid:14)(cid:21)(cid:23)’((cid:24)
2.1 . . . . . . . . . . . . . . . . . . . . . . . . 35
(cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)(cid:27)(cid:26))(cid:28)(cid:11)(cid:20)(cid:14)(cid:21) (cid:31)(cid:14)(cid:24) !(cid:28)"(cid:20)(cid:14)(cid:21)$#%(cid:24)(cid:25)(cid:26)(cid:29)(cid:28)(cid:11)(cid:20)*(cid:21)(cid:23)’+(cid:24)-,
2.2 Anotherfiguredescribedby . . . . . . . . . . 35
2.3 Thefiveplanarconcatenationoperations:
(cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)(cid:11)(cid:26)(cid:29)(cid:28).(cid:20)(cid:14)(cid:21) (cid:31)(cid:14)(cid:24) (cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)0/(cid:29)(cid:28)1(cid:20)*(cid:21) (cid:31)(cid:14)(cid:24) (cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)(cid:30)!(cid:28)(cid:14)(cid:20)(cid:14)(cid:21) (cid:31)(cid:14)(cid:24) (cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24)&2(cid:28)(cid:14)(cid:20)(cid:14)(cid:21) (cid:31)*(cid:24)
((cid:20)(cid:14)a(cid:21)(cid:23))(cid:22)(cid:25)(cid:24)435(cid:20)(cid:14)(cid:21) (cid:31)*(cid:24) ;(b) ;(c) ;(d) ;(e)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4 A2FSAthatrecognizesFigure2.2.Thelabels“R”and“D”onthearcsdenote
reading direction; “left” on state 0 (the initial state) denotes the position at
whichscanningbegins. . . . . . . . . . . . . . . . . . . . . . . . . . . 40
(cid:22)(cid:16)(cid:31)*#6’ (cid:20)(cid:14)(cid:21)(cid:23)(cid:22)(cid:25)(cid:24) (cid:26)(cid:28)87(cid:20)(cid:14)(cid:21) (cid:31)(cid:14)(cid:24)(cid:25)!(cid:28)*7(cid:20)(cid:14)(cid:21)$#+(cid:24) (cid:26)(cid:28)(cid:11)(cid:20)(cid:14)(cid:21)(cid:23)’((cid:24):9)9
2.5 A2FSTthatmapstheexpression to . . 41
; < ; <
2.6 Thesyllables mos /mo/‘cannot’,and cal /cˇal/‘well’inHankul. . . . 44
2.7 Atwo-wordMayanglyphrepresentingtheadjectivesequenceyaxch=?’u>(cid:30)l‘@gree(cid:26)(cid:29)n(cid:28)
sacred’, after (Macri, 1996, page 179), with the arrangement
7ACB4DFEG!(cid:28) H(cid:29)I$9
Per convention, the capitalized gloss represents a logographic ele-
ment,andthelowercaseglossesphonographicelements. . . . . . . . . . . 55
2.8 Threemethodsofwrappingthevirtualtape:(a)standardnon-boustrophedon;
(b)boustrophedon;(c)invertedboustrophedon. . . . . . . . . . . . . . . . 59
ix
x LISTOFFIGURES
3.1 Waveformandvoicingprofileforoneutteranceofgradski‘urban’. Theclo-
sureforthe/d/islabeledas“dcl”,thevoicingoffsetislabeledas“v”,andthe
startofthe/s/islabeledas“s”. Thevoicingprofileisthethirdplotfromthe
topinthesecondwindow,labeledasprob voice. . . . . . . . . . . . . . . 89
3.2 Barplotshowingtheproportionsofvoicingforallsamplesofunderlying/d/
(blackbars),versus/t/(shadedbars). . . . . . . . . . . . . . . . . . . . . 90
4.1 The taxonomyof Gelb(1963), alongwith examplesofwriting systemsthat
belongtoeachcase. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
4.2 ThetaxonomyofSampson(1985). . . . . . . . . . . . . . . . . . . . . . 130
4.3 FeaturalrepresentationofKoreanHankul,from(Sampson,1985,page124),
Figure19.(PresentedwithpermissionofRoutledge/StanfordUniversityPress.) 133
4.4 DeFrancis’classificationofwritingsystems. . . . . . . . . . . . . . . . . 134
4.5 Anon-arborealclassificationofwritingsystems.OnPerso-Aramaic,seeSec-
tion6.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.1 Amodelofreadingawordaloud,simplifiedfrom(BesnerandSmith,1992).. 160
5.2 TheSeidenbergandMcClellandmodeloflexicalprocessing,(Seidenbergand
McClelland,1989,page526),Figure1.UsedwithpermissionoftheAmerican
PsychologicalAssociation,Inc.. . . . . . . . . . . . . . . . . . . . . . . 172
5.3 The implemented portion of Seidenberg and McClelland’s model of lexical
processing, (Seidenberg and McClelland, 1989, page 527), Figure 2. Used
withpermissionofAmericanPsychologicalAssociation,Inc.. . . . . . . . . 173
5.4 Replication of the (Seidenberg, McRae, and Jared, 1988) experiment, from
(SeidenbergandMcClelland,1989,page545),Figure19. Usedwithpermis-
sionofAmericanPsychologicalAssociation,Inc.. . . . . . . . . . . . . . 176
6.1 Anumeralfactorizationtransducerfornumbersupto999. . . . . . . . . . 193
6.2 Two-dimensionallayoutinane-mailsignature . . . . . . . . . . . . . . . 203
