UNIX-Werkzeuge zur Textmusterverarbeitung: Awk, Lex und Yacc

164 Pages·1989·4.484 MB·German

by  Gottfried Staubach M. A. (auth.)

Informationstechnik
und
Datenverarbeitung
ULRICH WENDL
Dipl.-Inform. (univ.)
BlucherstraBe 7 . 8000 Munchen 19
Telefon [phone]
Reihe "Informationstechnik nnd Datenverarbeitnng"
M.M. Botvinnik: Meine neuen Ideen zur Schachprogrammierung.
Ubersetzt aus dem Russischen von A. Zimmermann. X, 177 S., 42 Abb.
1982.
K. L. Bowles: Pascal flir Mikrocomputer. Ubersetzt aus dem Englischen
von A. Kleine. IX, 595 S., 107 Abb. 1982.
W Kilian: Personalinformationssysteme in deutschen GroBunterneh
men. Ausbaustand und Rechtsprobleme. Unter Mitarbeit von T. Heiss
ner, B. Maschmann-Schulz. xv, 352 S. 1982.
A.E. <;::akir (Hrsg.): Bildschimlarbeit. Konfliktfelder und L6sungen. XI,
256 S., 75 Abb. 1983.
W Duus, 1. Gulbins: CAD-Systeme. Hardwareaufbau und Einsatz. IX,
107 S., 41 Abb. 1983.
H. Niemann, D. Seitzer, H.W SchuBler (Hrsg.): Mikroelektronik - In
formation - Gesellschaft. XI, 213 S., 80 Abb. 1983.
1. Kwiatkowski, B. Arndt: Basic. 2., kOIT. Auflage. XI, 179 S., 1984.
E.E.E. Hoefer, H. Nielinger: SPICE. Analyseprogramm flir elektroni
sche Schaltungen. 223 S., 162 Abb., 36 Tab. 1985.
W Junginger: FORTRAN 77 - strukturiert. XIII, 451 S.,75 Abb.1988.
F.1. Heeg: Empirische Software-Ergonomie. Zur Gestaltung benutzer
gerechter Mensch-Computer-Dialoge. X, 227 S., 79 Abb. 1988.
H. Lochner: APL2-Handbuch. X, 331 S.,19 Abb. 1989.
G. Staubach: UNIX-Werkzeuge zur Textmusterverarbeitung. Awk,
Lex und Yacc. X, 157 S., 1989.
Gottfried Staubach
UNIX-Werkzeuge
zur Textmusterverarbeitung
Awk, Lex und Yacc
Springer-Verlag
Berlin Heidelberg New York
London Paris Tokyo
Hong Kong
Gottfried Staubach M. A.
Nixdorf Computer AG
Ftirstenallee 7
4790 Paderborn
UNIX ist ein eingetragenes Warenzeichen der
Firma AT & T Bell Laboratories
ISBN-13: 978-3-540-51232-5 e-ISBN-13: 978-3-642-95595-2
001: 10.1007/978-3-642-95595-2
Dieses Werk ist urheberrechtlich geschiitzt. Die dadurch begriindeten Rechte, insbeson
dere die der Ubersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen
und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfliltigung auf
anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur
auszugsweiser Verwertung, vorbehalten. Eine Vervielfaltigung dieses Werkes oder von
Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestim
mungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September
1965 in der Fassung vom 24. Juni 1985 zulassig. Sie ist grundsatzlich vergiitungspflichtig.
Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in
dies em Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, daB
so1che Namen im Sinne der Warenzeichen-und Markenschutz-Gesetzgebung als frei zu
betrachten waren und daher von jedermann benutzt werden diirften.
© Springer-Verlag Berlin Heidelberg 1989
2145/3140-543210 - Gedruckt auf saurefreiem Papier
Vorwort
Das Betriebssystem UNIX· hat seit seiner Entwicklung in den spaten siebzi
ger Jahren einen stetigen Aufschwung genommen. Dies ist nicht zuletzt der
Vielfalt der unter UNIX angebotenen Werkzeuge und ihrer Kombinierbarkeit
zu verdanken. So gibt es eine Reihe von Dienstprogrammen, die mit Hilfe so
genannter "regularer AusdrUcke" Such- und Anderungsoperationen auf Tex
ten durchfUhren kennen.
Auf der Basis gleicher oder ahnlicher Suchmuster bieten die "heheren" Pro
grammierwerkzeuge Awk, Lex und Yacc zusatzlich die Fahigkeit, program
mierbar und damit wesentlich leistungsfahiger zu sein. Viele Aufgaben las
sen sich mit ihnen in erstaunlich kurzer Zeit ohne groBen Programmierauf
wand in oft sehr kompakter Form lesen. In der einfUhrenden UNIX-Literatur
werden diese machtigen Werkzeuge aus PlatzgrUnden meist ausgespart oder
nur am Rande behandelt. Andere UNIX-Publikationen konzentrieren sich wie
derum auf spezielle Teilgebiete der Textmusterverarbeitung (z. B. die Ver
wendung von Lex und Yacc fUr den Compilerbau).
Das vorliegende Buch mechte dem fortgeschrittenen UNIX-Anwender einen
schnellen Einstieg in Awk, Lex und Yacc bieten. DarUber hinaus soli jedoch
auch das RUstzeug fUr komplexere Problemlesungen vermittelt werden. Je
des der drei Werkzeuge Awk, Lex und Yacc kann als abgeschlossene Pro
grammiersprache angesehen werden und wird fUr sich allein in einem sepa
raten Kapitelbehandelt. Der Leser kann sich damit auf das Werkzeug seiner
Wahl konzentrieren, ohne die anderen Kapitel lesen zu mUssen. In einem ein
leitenden Kapitel werden die fUr die Textmusterverarbeitung bei vielen UNIX
Kommandos wichtigen "regularen AusdrUcke" zusammenfassend beschrie
ben.
Marz 1989 Gottfried Staubach
In haltsverzeichnis
1 Einleitung............................................................................................................... 1
1.1 Anwendungsbereiche ...................................................................................... 1
1.2 UNIX-Dienstprogramme zur Textmusterverarbeitung....................... 2
1.3 Benutzungshinweise ........................................................................................ 3
1.4 Die Datensicht von UNiX................................................................................ 3
1.5 Regulare AusdrUcke......................................................................................... 4
1.5.1 Allgemeines .......................................................................................................... 4
1.5.2 Literale.................................................................................................................... 5
1.5.3 Zeichenklassen ................................................................................................... 5
1.5.4 Wiederholungsoperatoren ............................................................................. 6
1.5.5 Kontextoperatoren ............................................................................................ 7
1.5.6 Komplexe AusdrUcke....................................................................................... 8
1.5.7 Maskierung von Spezialzeichen ................................................................. 9
1.5.8 Zusammenfassender Uberblick................................................................. 10
1.6 Stichwortverzeichn is ....................................................................................... 10
2 Awk ................................ ,......................................................................................... 13
2.1 EinfUhrung............................................................................................................ 13
2.1.1 Kurzcharakteristik ............................................................................................ 13
2.1.2 Anwendungsbeispiele..................................................................................... 14
2.1.3 Der Awk-Interpreter ......................................................................................... 15
2.1.4 Programmstruktur ............................................................................................ 16
2.1.5 Verarbeitungsregeln ........................................................................................ 17
2.1.6 Datensicht............................................................................................................ 18
2.2 Grundlegende Sprachelemente ................................................................. 19
2.2.1 Datentypen und Variable .............................................................................. 19
2.2.2 Operationen und AusdrUcke ............................................... ,....................... 21
2.2.2.1 Automatische Typanpassung ..................................................................... 22
2.2.2.2 Adressierung von Array- und Feldelementen...................................... 23
2.2.3 Eingebaute Funktionen .................................................................................. 24
2.2.3.1 Textfunktionen ................................................................................................... 24
2.2.3.2 Numerische Funktionen................................................................................. 24
2.2.4 VergleichsausdrUcke....................................................................................... 25
viii Inhaltsverzeichnis
2.2.4.1 BasisausdrUcke................................................................................................. 25
2.2.4.2 VerknUpfungen von Vergleichsoperationen ......................................... 27
2.3 Bedlngungen....................................................................................................... 27
2.3.1 Regulare AusdrUcke........................................................................................ 28
2.3.2 VergleichsalJsdrUcke....................................................................................... 28
2.3.3 Bereiche von Bedingungen.......................................................................... 29
2.3.4 Spezielle Bedingungen .................................................................................. 30
2.4 Aktionen ............. ............ .......... ......... ..... ........ ....... ....... ... ....... ........ .............. ......... 31
2.4.1 Zuweisungen....................................................................................................... 31
2.4.2 Ausgabeanweisungen .................................................................................... 32
2.4.2.1 Die print-Anweisung........................................................................................ 32
2.4.2.2 Die printf-Anweisung ...................................................................................... 33
2.4.3 Kontrollanweisungen ...................................................................................... 35
2.4.3.1 Verbundanweisung .......................................................................................... 36
2.4.3.2 Verzweigung..................................... .................................................................. 36
2.4.3.3 Wiederholung...................................................................................................... 37
2.4.3.4 Schleifensteuerung .......................................................................................... 39
2.4.3.5 Gezielter Abbruch der BedingungsprUfung ......................................... 40
2.4.3.6 Gezielter Programmabbruch ....................................................................... 41
2.4.4 Kommentare........................................................................................................ 41
2.5 Hinweise zum praktischen Einsatz von Awk-Programmen .......... 42
2.5.1 Dialogprogrammierung .................................................................................. 42
2.5.2 Parametrisierung............................................................................................... 42
2.5.3 Ausnutzung des UNIX-Datenaustauschformats ................................ 43
2.5.4 Textsubstitution................................................................................................. 45
2.6 Stichwortverzeichnis ....................................................................................... 47
3 Lex........................................................................................................................... 53
3.1 EinfUhrung............................................................................................................ 53
3.1.1 Kurzcharakteristik ............................................................................................ 53
3.1.2 Beispiele: Zeichenkettenersetzung mit Lex ......................................... 54
3.1.2.1 Das Format der Lex-Quelldatei ................................................................. 55
3.1.2.2 Lex-Aufruf und Erzeugung des Analyseprogramms........................ 56
3.1.2.3 Aufruf des Analyseprogramms .................................................................. 57
3.1.3 Standardaktionen des Analyseprogramms.......................................... 57
3.1.3.1 Implizite und explizite Programmausgabe ........................................... 57
3.1.3.2 Mehrdeutige Spezifikationen....................................................................... 58
3.1.4 Benutzerspezifizierte Aktionen................................................................... 59
3.1.5 Interne Lex-Variable........................................................................................ 60
3.1.6 Syntaxerweiterungen bei regularen AusdrUcken .............................. 61
3.1.6.1 Zeichenvorrat.................................. ................................................................ .... 61
3.1.6.2 Quotingmechanismus..................................................................................... 61
3.1.6.3 Wiederholungsoperator, Textsubstitution ............................................. 62
3.2 WeiterfUhrende Themen ................................................................................ 64
3.2.1 Beeinflussung des Erkennungsalgorithmus ........................................ 64
Inhaltsverzeichnis ix
3.2.1.1 Fortsetzung der Texterkennung mit yymore........................................ 64
3.2.1.2 RUcksetzen der Texterkennung mit yyless .......................................... 65
3.2.1.3 ZurUckweisen der Texterkennung mit REJECT.................................. 66
3.2.2 Kontextsensitivitat............................................................................................ 68
3.2.2.1 Sensitivitat fUr den rechts stehenden Kontext.... ............................... 68
3.2.2.2 Sensitivitat fUr den links stehenden Kontext...................................... 69
3.2.3 E/ A-Routinen ............... ............ ............ .......... ......................... .......... .................. 71
3.2.3.1 Basis-E/ A-Routinen ......................................................................................... 72
3.2.3.2 Endebehandlung ............................................................................................... 74
3.2.3.3 Zeichensatz......................................................................................................... 75
3.2.4 SyntaxUbersicht von Lex-Quellprogrammen ....................................... 76
3.2.4.1 Definitionen ......................................................................................................... 76
3.2.4.2 Regeln.................................................................................................................... 78
3.2.4.3 Funktionen ........................................................................................................... 79
3.2.5 Die Lex-Sprachumgebung............................................................................ 80
3.2.5.1 Lex-Aufruf und Programmerzeugung....................................................... 80
3.2.5.2 Struktur des Ausgabeprogramms ............................................................ 81
3.2.5.3 Erzeugung des Analyseprogramms ......................................................... 86
3.2.5.4 Programrnablauf ............................................................................................... 87
3.2.6 Die Arbeitsweise des Erkennungsalgorithmus ................................... 88
3.2.6.1 Endliche Automaten ........................................................................................ 88
3.2.6.2 Programmbeispiel ............................................................................................ 88
3.2.6.3 Vorgriff, Backup und Rescanning............................................................. 91
3.2.7 Lex und Yacc...................................................................................................... 93
3.2.7.1 Lexikalische und grammatische Analyse ............................................. 93
3.2.7.2 Interface zwischen Lex und Yacc
(Scanner und Parser) ..................................................................................... 93
3.3 Stichwortverzeichnis ....................................................................................... 94
4 yacc........................................................................................................................ 99
4.1 EinfUhrung............................................................................................................ 99
4.1.1 Kurzcharakteristik ............................................................................................ 99
4.1.2 Die syntaktische Beschreibung von Sprachen ................................. 100
4.1.2.1 Formale Grammatiken................................................................................... 100
4.1.2.2 Satzerzeugung und Satzerkennung........................................................ 102
4.1.3 Syntaktische Analyse mit Yacc: ein Beispiel..................................... 104
4.1.3.1 Das Format des Yacc-Quellprogramms ............................................... 104
4.1.3.2 Die Erzeugung des Parsers ........................................................................ 106
4.1.3.3 Programmaufruf des Parsers .................................................................... 107
4.1.4 Aktionen............... .......... ........................ ........ ......... .......... .......... ....... ........ .......... 108
4.2 WeiterfUhrende Themen ............................................................................... 110
4.2.1 Die Arbeitsweise von Yacc-Parsern ....................................................... 110
4.2.2.1 Anforderungen an die Grammatik........................................................... 118
4.2.2.2 Mehrdeutigkeiten und Konfl ikte ............................................................... 118
4.2.2.3 Rangfolge von Operatoren .......................................................................... '122
4.2.3 Fehlerbehandlung............................................................................................ 126
x Inhaltsverzeichnis
4.2.4 Das Verhaltnis von lexikalischer und syntaktischer Analyse..... 134
4.2.4.1 Die Token-Definition ...................................................................................... 134
4.2.4.2 Die Aufgabenverteilung zwischen Scanner und Parser................ 135
4.2.4.3 lex und Yacc .................................................................................................... 138
4.2.4.4 Alternative WertUbergabe vom Scanner an den Parser ............... 141
4.2.5 SyntaxUbersicht von Yacc-Quellprogrammen ................................... 146
4.2.5.1 Sprachelemente ............................................................................................... 146
4.2.5.2 Struktur des Yacc-Quellprogramms....................................................... 147
4.2.6 Die Yacc-Sprachumgebung........................................................................ 150
4.2.6.1 Die Ausgabe des Yacc-Programmgenerators ................................... 150
4.2.6.2 Programmablauf, Einbettung in die UNiX-Umgebung.................... 152
4.3 Stichwortverzeichn is ...................... ........................ ........................................ 154
1 Einleitung
1.1 Anwendungsbereiche
Die Erkennung von Textmustern und ihre Verarbeitung ist eine haufig vor
kommende Problemstellung in der Datenverarbeitung.
Typische Anwendungen bei der Textmustererkennung sind z. B. (die entspre
chenden UNIX-Tools sind in Klammern hinzugefUgt):
1. Informationswiedergewinnung und -verarbeitung
Die gezielte Auffindung von einmal gespeicherten Informationen in ei
ner groBeren, relativ unstrukturierten Datenmenge (grep-Familie: grep,
egrep, fgrep).
Die direkte Ersetzung der gefundenen Daten durch benutzerspezifizier
te Daten (Editoren ed, sed).
Die Weiterverarbeitung der gefundenen Daten durch programmierspra
chenahnliche Kontrollstrukturen (Awk).
2. Lexikalische Analyse
Die Segmentierung eines Eingabedatenstroms in lexikalische Einheiten
durch regulare AusdrUcke (Lex).
3. Grammatische Analyse
Die Segmentierung von Eingabedaten in syntaktische Einheiten gemaB ei
ner spezifizierten Grammatik (Yacc).
Wenn der Leser an einem der drei aufgefUhrten Anwendungsbereiche interes
siert ist, findet er in den folgenden Abschnitten nahere Informationen Uber
die Eigenschaften der zugehorigen UNIX-Werkzeuge und Uber den Umgang
mit diesem Handbuch.