Unsupervised Language Acquisition

133 Pages·2002·0.88 MB·English

Unsupervised Language Acquisition
by
Carl G(cid:0) de Marcken
S(cid:0)B(cid:0) Electrical Engineering and Computer Science (cid:1)(cid:2)(cid:3)(cid:3)(cid:4)(cid:5)
Massachussetts Institute of Technology
S(cid:0)B(cid:0) Mathematics (cid:1)(cid:2)(cid:3)(cid:3)(cid:2)(cid:5)
Massachussetts Institute of Technology
S(cid:0)M(cid:0) Electrical Engineering and Computer Science (cid:1)(cid:2)(cid:3)(cid:3)(cid:6)(cid:5)
Massachussetts Institute of Technology
Submittedto the Department of
Electrical Engineering and Computer Science
in partial ful(cid:7)llmentof the requirements for the degree of
Doctor of Philosophy
at the
Massachusetts Institute of Technology
September(cid:8) (cid:2)(cid:3)(cid:3)(cid:9)
(cid:0)c(cid:2)(cid:3)(cid:3)(cid:9) Massachusetts Intstitute of Technology(cid:0) All Rights Reserved(cid:0)
Signature of Author
Department of Electrical Engineering and Computer Science
September (cid:9)(cid:8) (cid:2)(cid:3)(cid:3)(cid:9)
Certi(cid:7)ed by
Robert C(cid:0) Berwick
Professor of Computer Science and Engineering
Thesis Supervisor
Accepted by
F(cid:0) R(cid:0) Morgenthaler
Chair(cid:8)Department Committeeon Graduate Students

(cid:6)
Unsupervised Language Acquisition
by
Carl G(cid:0) de Marcken
Submitted to the Department of Electrical Engineering and Computer Science
on September (cid:9)th(cid:8) (cid:2)(cid:3)(cid:3)(cid:9)(cid:8) in partial ful(cid:7)llmentof the requirements for the degree of
Doctor of Philosophy
Abstract
Childrenareexposed tospeech andotherenvironmentalevidence(cid:8) fromwhichtheylearnlanguage(cid:0) How
do they do this(cid:10) More speci(cid:7)cally(cid:8) how do children map from complex(cid:8) physical signals to grammars
that enable them to generate and interpret new utterances fromtheir language(cid:10)
This thesis presents a computational theory of unsupervised language acquisition(cid:0) By computational
we mean that the theory precisely de(cid:7)nes procedures for learning language(cid:8) procedures that have been
implemented and tested in the form of computer programs(cid:0) By unsupervised we mean that the theory
explains how language learning can take place with no explicit help from a teacher(cid:8) but only exposure
to ordinary spoken or written utterances(cid:0) The theory requires very little of the learning environment(cid:0)
For example(cid:8)it predicts that muchknowledge of language can be acquired even in situations where the
learner has no access to the meaning of utterances(cid:0) In this way the theory is extremely conservative(cid:8)
makingfew or no assumptions that are not obviouslytrue of the situation children learn in(cid:0)
The theory is based heavily on concepts borrowed from machine learning and statistical estimation(cid:0)
In particular(cid:8) learning takes place by (cid:7)tting a stochastic(cid:8) generative modelof language to the evidence(cid:0)
Thus(cid:8)thegoalofthelearneristoacquireagrammarunderwhichtheevidenceis(cid:11)typical(cid:12)(cid:8)inastatistical
sense(cid:0) Much of the thesis is devoted to explaining conditions that must hold for this learning strategy
to arrive at the desired form of grammar(cid:0) The thesis introduces a variety of technical innovations(cid:8)
among them a common representation for evidence and grammars that has many linguistically and
statisticallydesirableproperties(cid:0) Inthisrepresentation(cid:8) bothutterances andparametersinthegrammar
are represented by composing parameters(cid:0) A second contribution is a learning strategy that separates
the (cid:11)content(cid:12) oflinguisticparameters fromtheir representation(cid:0) Algorithmsbased on itsu(cid:13)er fromfew
of the search problems that have plagued other computationalapproaches to language acquisition(cid:0)
Thetheoryhasbeentestedonproblemsoflearninglexicons(cid:1)vocabularies(cid:5)andstochasticgrammarsfrom
unsegmented text and continuous speech signals(cid:8) and mappings between sound and representations of
meaning(cid:0) It performs extremely wellon variousobjective criteria(cid:8) acquiring knowledge that causes it to
assignalmostexactlythesamelinguisticstructuretoutterancesashumansdo(cid:0) Thisworkhasapplication
to data compression(cid:8)language modeling(cid:8)speech recognition(cid:8) machinetranslation(cid:8)informationretrieval(cid:8)
and other tasks that rely on either structural or stochastic descriptions of language(cid:0)
Thesis Supervisor(cid:14) Robert C(cid:0) Berwick
Title(cid:14) Professor of Computer Science and Engineering
(cid:15)
Acknowledgments
The research presented here owes an enormous debt to Robert C(cid:0) Berwick(cid:8) who has supported and
taught me for every one of the ten years I have been at MIT(cid:0) Had I not too much respect for his work
and ideas(cid:8) the (cid:7)rst sentences of mythesis would have been borrowed fromhis(cid:0)
Members of the MIT linguistics department have kept my interest in language from (cid:16)agging(cid:8) by con(cid:17)
vincing and reconvincing me of its complexity and beauty(cid:0) I thank Ken Hale(cid:8) James Harris(cid:8) Michael
Kenstowicz(cid:8) Alec Marantz(cid:8) DavidPesetsky(cid:8) Ken Wexler(cid:8) and especially Morris Halle(cid:0)
David Baggett(cid:8) my favorite creative partner(cid:8) (cid:7)rst got me interested in problems of phonological and
lexical acquisition(cid:0) Had he remained at MIT for the completionof this work(cid:8) I have no doubt it would
have bene(cid:7)ted greatly fromhis in(cid:16)uence(cid:18) I very muchhope to work with himagain(cid:0)
MarinaMeil(cid:19)alistened carefully tomyideas(cid:8) read and (cid:7)xed mydocuments(cid:8)taught mecountless things I
should have known(cid:8) kept me up to date on happenings in other (cid:7)elds(cid:8) and provided emotionalsupport
without which this thesis would have been impossible(cid:0)
Thethesishasbene(cid:7)tedfromdiscussionswithmanyotherpeople(cid:8)includingRobertThomas(cid:8)EricRistad
and Paul Viola(cid:0) Early conversations with Je(cid:13) Siskind played a large role in my choice of thesis topic(cid:0)
Gina Levow(cid:8) Eric Miller(cid:8) Charles Isbell and Oded Maron all carefully read this document or other
presentations ofthe materialandprovidedvaluablefeedback(cid:18) anyqualitiesre(cid:16)ect their in(cid:16)uence andall
faults are myown(cid:0)
And last there are those who cannot be thanked tothe extent they deserve(cid:0) JimRees(cid:8) OlafBleck(cid:8) Greg
Galperin(cid:8) Gideon Stein(cid:0) Robin DeWitt(cid:0) Marina Meil(cid:19)a(cid:0) Mom(cid:8) Dad(cid:8) Paya and Natasha(cid:0) Finally(cid:8)David
Lennart Marcelius(cid:20) Grandpa(cid:20) whomI dedicate this thesis to(cid:0)
The work has been supported through the Center for Biological and Computational Learning at MIT(cid:8)
funded in part by NSF grant (cid:3)(cid:21)(cid:2)(cid:22)(cid:4)(cid:15)(cid:2)(cid:17)ASCand ARPA under the HPCC and AASERT programs(cid:0)
Contents
(cid:0) Introduction (cid:0)(cid:1)
(cid:2)(cid:0)(cid:2) Summary (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)
(cid:2)(cid:0)(cid:21) Outline (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:15)
(cid:2) The Problem of Language Acquisition (cid:0)(cid:3)
(cid:21)(cid:0)(cid:2) An Introduction to Language Acquisition (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:9)
(cid:21)(cid:0)(cid:2)(cid:0)(cid:2) The Parameters(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:9)
(cid:21)(cid:0)(cid:2)(cid:0)(cid:21) The Evidence (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:22)
(cid:21)(cid:0)(cid:2)(cid:0)(cid:6) The Learning Process (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:23)
(cid:21)(cid:0)(cid:2)(cid:0)(cid:15) Summary (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:23)
(cid:21)(cid:0)(cid:21) Theories of Language Acquisition (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:3)
(cid:21)(cid:0)(cid:21)(cid:0)(cid:2) Testabilityand Theories of Acquisition(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:4)
(cid:21)(cid:0)(cid:21)(cid:0)(cid:21) Conditions on Theories of Acquisition (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:2)
(cid:21)(cid:0)(cid:21)(cid:0)(cid:6) Assumptions and Modularityin Theories of Acquisition (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:21)
(cid:21)(cid:0)(cid:21)(cid:0)(cid:15) Speci(cid:7)cation of The Learning Mechanism (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:15)
(cid:21)(cid:0)(cid:6) The Nature of the Input (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:24)
(cid:21)(cid:0)(cid:6)(cid:0)(cid:2) Positive and Negative Examplesand Restricted Language Classes (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:9)
(cid:24)
(cid:9) CONTENTS
(cid:21)(cid:0)(cid:6)(cid:0)(cid:21) Side Information (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:22)
(cid:21)(cid:0)(cid:15) Conclusions (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:23)
(cid:21)(cid:0)(cid:15)(cid:0)(cid:2) The PhonologicalLexicon (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:23)
(cid:21)(cid:0)(cid:15)(cid:0)(cid:21) Underdetermined Parameters and Unsupervised Learning (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:21)(cid:3)
(cid:4) Stochastic Grammars(cid:5) Model Selection and Language Acquisition (cid:4)(cid:0)
(cid:6)(cid:0)(cid:2) Stochastic Language Models (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:21)
(cid:6)(cid:0)(cid:2)(cid:0)(cid:2) Typicalityand Linguistic Plausibility(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:6)
(cid:6)(cid:0)(cid:2)(cid:0)(cid:21) Linguistic and Extralinguistic Sources of Regularity (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:24)
(cid:6)(cid:0)(cid:21) Generalization(cid:8)Model Selection and the Prior (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:22)
(cid:6)(cid:0)(cid:21)(cid:0)(cid:2) Structural Risk Minimization (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:22)
(cid:6)(cid:0)(cid:21)(cid:0)(cid:21) The MinimumDescription Length Principle (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:6)(cid:23)
(cid:6)(cid:0)(cid:6) Example (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:4)
(cid:6)(cid:0)(cid:15) The Search Procedure (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:21)
(cid:6)(cid:0)(cid:24) Related Work (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:21)
(cid:6)(cid:0)(cid:9) Conclusions (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:21)
(cid:6) A Representation for Lexical Parameters (cid:6)(cid:6)
(cid:15)(cid:0)(cid:2) The Representational Framework (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:24)
(cid:15)(cid:0)(cid:2)(cid:0)(cid:2) Concatenative Example (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:22)
(cid:15)(cid:0)(cid:21) Motivations (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:3)
(cid:15)(cid:0)(cid:21)(cid:0)(cid:2) Learning(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:15)(cid:3)
(cid:15)(cid:0)(cid:21)(cid:0)(cid:21) Language (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:24)(cid:9)
(cid:15)(cid:0)(cid:6) Coding(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:24)(cid:23)
CONTENTS (cid:22)
(cid:15)(cid:0)(cid:15) Examples (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:24)(cid:3)
(cid:15)(cid:0)(cid:15)(cid:0)(cid:2) Compositionby Concatenation (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:9)(cid:4)
(cid:15)(cid:0)(cid:15)(cid:0)(cid:21) Compositionby Substitution (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:9)(cid:6)
(cid:15)(cid:0)(cid:15)(cid:0)(cid:6) Learning fromMultiple Input Streams (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:9)(cid:24)
(cid:15)(cid:0)(cid:15)(cid:0)(cid:15) Phonologyand Speech (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:9)(cid:3)
(cid:15)(cid:0)(cid:24) Related Work (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:4)
(cid:3) Learning Algorithms (cid:7)(cid:2)
(cid:24)(cid:0)(cid:2) General Architecture (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:6)
(cid:24)(cid:0)(cid:2)(cid:0)(cid:2) Stochastic Optimization (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:15)
(cid:24)(cid:0)(cid:2)(cid:0)(cid:21) Structural Re(cid:7)nement (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:9)
(cid:24)(cid:0)(cid:21) Concatenative Model (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:22)
(cid:24)(cid:0)(cid:21)(cid:0)(cid:2) Optimizationof Stochastic Parameters (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:22)(cid:23)
(cid:24)(cid:0)(cid:21)(cid:0)(cid:21) Re(cid:7)nement of Model Structure (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:23)(cid:21)
(cid:24)(cid:0)(cid:21)(cid:0)(cid:6) Convergence (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:23)(cid:24)
(cid:24)(cid:0)(cid:21)(cid:0)(cid:15) ComputationalComplexity (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:23)(cid:9)
(cid:24)(cid:0)(cid:6) Extensions for Meaning (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:23)(cid:22)
(cid:24)(cid:0)(cid:6)(cid:0)(cid:2) Optimizationof Stochastic Parameters (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:23)(cid:22)
(cid:24)(cid:0)(cid:6)(cid:0)(cid:21) Re(cid:7)nement of Model Structure (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:21)
(cid:24)(cid:0)(cid:15) Related Work (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:6)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:2) GrammaticalInference and Language Acquisition(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:15)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:21) Induction of Finite(cid:17)State Automata (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:24)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:6) Language Modeling (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:24)
(cid:23) CONTENTS
(cid:24)(cid:0)(cid:15)(cid:0)(cid:15) Text Compression (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:9)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:24) Orthographic Segmentation (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:23)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:9) Search Procedures (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:3)(cid:3)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:22) The Use of MDL (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:2)
(cid:24)(cid:0)(cid:15)(cid:0)(cid:23) Learning Meanings (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:2)
(cid:8) Results (cid:0)(cid:1)(cid:2)
(cid:9)(cid:0)(cid:2) Compression and Language Modeling(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:21)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:2) Input (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:6)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:21) Method (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:6)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:6) Brown Corpus Compression Results (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:15)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:15) Brown Corpus Language Modeling Results (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:24)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:24) CalgaryCorpus Compression Results(cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:24)
(cid:9)(cid:0)(cid:2)(cid:0)(cid:9) Discussion (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:22)
(cid:9)(cid:0)(cid:21) Segmentation (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:23)
(cid:9)(cid:0)(cid:21)(cid:0)(cid:2) Input (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:23)
(cid:9)(cid:0)(cid:21)(cid:0)(cid:21) Method (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:4)(cid:3)
(cid:9)(cid:0)(cid:21)(cid:0)(cid:6) SegmentationResults (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:2)
(cid:9)(cid:0)(cid:21)(cid:0)(cid:15) Discussion (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:2)
(cid:9)(cid:0)(cid:6) Learning from Raw Speech (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:15)
(cid:9)(cid:0)(cid:6)(cid:0)(cid:2) Input (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:24)
(cid:9)(cid:0)(cid:6)(cid:0)(cid:21) Method (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:24)
(cid:9)(cid:0)(cid:6)(cid:0)(cid:6) Results (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:23)
CONTENTS (cid:3)
(cid:9)(cid:0)(cid:6)(cid:0)(cid:15) Discussion (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:23)
(cid:9)(cid:0)(cid:15) Learning Meanings (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:3)
(cid:9)(cid:0)(cid:15)(cid:0)(cid:2) Input (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:2)(cid:3)
(cid:9)(cid:0)(cid:15)(cid:0)(cid:21) Method (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:21)(cid:4)
(cid:9)(cid:0)(cid:15)(cid:0)(cid:6) Results (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:21)(cid:2)
(cid:9)(cid:0)(cid:15)(cid:0)(cid:15) Discussion (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:0) (cid:2)(cid:21)(cid:2)
(cid:7) Conclusions (cid:0)(cid:2)(cid:2)
A Phonemes Used in Transcriptions (cid:0)(cid:2)(cid:6)
Chapter (cid:0)
Introduction
Childrenareexposed tospeech andotherenvironmentalevidence(cid:8) fromwhichtheylearnlanguage(cid:0) How
do they do this(cid:10) More speci(cid:7)cally(cid:8) how do children map from complex(cid:8) physical signals to grammars
that enable them to generate and interpret new utterances fromtheir language(cid:10)
This thesis presents a computational theory of unsupervised language acquisition(cid:0) By computational
we mean that the theory precisely de(cid:7)nes procedures for learning language(cid:8) procedures that have been
implemented and tested in the form of computer programs(cid:0) By unsupervised we mean that the theory
explains how language learning can take place with no explicit help from a teacher(cid:8) but only exposure
to ordinary spoken or written utterances(cid:0) The theory requires very little of the learning environment(cid:0)
For example(cid:8)it predicts that muchknowledge of language can be acquired even in situations where the
learner has no access to the meaning of utterances(cid:0) In this way the theory is extremely conservative(cid:8)
makingfew or no assumptions that are not obviouslytrue of the situation children learn in(cid:0)
The theory is based heavily on concepts borrowed from machine learning and statistical estimation(cid:0)
In particular(cid:8) learning takes place by (cid:7)tting a stochastic(cid:8) generative modelof language to the evidence(cid:0)
Thus(cid:8)thegoalofthelearneristoacquireagrammarunderwhichtheevidenceis(cid:11)typical(cid:12)(cid:8)inastatistical
sense(cid:0) Much of the thesis is devoted to explaining conditions that must hold for this learning strategy
to arrive at the desired form of grammar(cid:0) The thesis introduces a variety of technical innovations(cid:8)
among them a common representation for evidence and grammars that has many linguistically and
statisticallydesirableproperties(cid:0) Inthisrepresentation(cid:8) bothutterances andparametersinthegrammar
are represented by composing parameters(cid:0) A second contribution is a learning strategy that separates
the (cid:11)content(cid:12) oflinguisticparameters fromtheir representation(cid:0) Algorithmsbased on itsu(cid:13)er fromfew
of the search problems that have plagued other computationalapproaches to language acquisition(cid:0)
Thetheoryhasbeentestedonproblemsoflearninglexicons(cid:1)vocabularies(cid:5)andstochasticgrammarsfrom
unsegmented text and continuous speech signals(cid:8) and mappings between sound and representations of
meaning(cid:0) It performs extremely wellon variousobjective criteria(cid:8) acquiring knowledge that causes it to
assignalmostexactlythesamelinguisticstructuretoutterancesashumansdo(cid:0) Thisworkhasapplication
to data compression(cid:8)language modeling(cid:8)speech recognition(cid:8) machinetranslation(cid:8)informationretrieval(cid:8)
and other tasks that rely on either structural or stochastic descriptions of language(cid:0)
(cid:2)(cid:4)