Table Of ContentTEUBNER-TEXTE zur Informatik Band 5
R. Zhao
Handsketch-Based Diagram Editing
TEUBNER-TEXTE zur Informatik
Herausgegeben von
Prof. Dr. Johannes Buchmann, Saarbrücken
Prof. Dr. Udo Lipeck, Hannover
Prof. Dr. Franz J. Rammig, Paderborn
Prof. Dr. Gerd Wechsung, Jena
Als relativ junge Wissenschaft lebt die Informatik ganz wesentlich von aktuellen Bei
trägen. Viele Ideen und Konzepte werden in Originalarbeiten, Vorlesungsskripten und
Konferenzberichten behandelt und sind damit nur einem eingeschränkten Leserkreis
zugänglich. Lehrbücher stehen zwar zur Verfügung, können aber wegen der schnellen
Entwicklung der Wissenschaft oft nicht den neuesten Stand wiedergeben.
Die Reihe "TEUBNER-TEXTE zur Informatik" soll ein Forum für Einzel- und Sammel
beiträge zu aktuellen Themen aus dem gesamten Bereich der Informatik sein. Gedacht ist
dabei insbesondere an herausragende Dissertationen und Habilitationsschriften, spezielle
Vorlesungsskripten sowie wissenschaftlich aufbereitete Abschlußberichte bedeutender
Forschungsprojekte. Auf eine verständliche Darstellung der theoretischen Fundierung und
der Perspektiven für Anwendungen wird besonderer Wert gelegt. Das Programm der
Reihe reicht von klassischen Themen aus neuen Blickwinkeln bis hin zur Beschreibung
neuartiger, noch nicht etablierter Verfahrensansätze. Dabei werden bewußt eine gewisse
Vorläufigkeit und Unvollständigkeit der Stoffauswahl und Darstellung in Kauf genommen,
weil so die Lebendigkeit und Originalität von Vorlesungen und Forschungsseminaren bei
behalten und weitergehende Studien angeregt und erleichtert werden können.
TEUBNER-TEXTE erscheinen in deutscher oder englischer Sprache.
Handsketch-Based
Diagram Editing
Von Rui Zhao
Universität-Gesamthochschule-Paderborn
B. G. Teubner Verlagsgesellschaft
Stuttgart . Leipzig 1993
Dr. rar. nal Rui Zhao
Rui Zhao is born in 1962 at Shandong, China. Ha studied computer seience and electrical
engineering at University of Dortmund from 1982 to 1988. Since 1988 he is a computer selen
tist at Cadlab, a joint venture University of Paderborn and Siemens Nixdorf Informationssy
steme AG. He received his Dr. rer. nat. in 1992 from the University of Paderborn. He Is inter
ested in user interface technology, computer-aided design, graphical editor, and pen-based
computers.
Dissertation an der Universität-Gesamthochschule-Paderborn im Fachbereich Mathematik/Informatik
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Zhao, Rul:
Handsketch-based diagram editing / von Rui Zhao. -
Stuttgart; Leipzig: Teubner, 1993
(Teubner-Texte zur Informatik; Bd. 5)
Zug!.: PaderbOrn, Univ., Diss., 1992
ISBN 978-3-322-95369-8 ISBN 978-3-322-95368-1 (eBook)
DOI 10.1007/978-3-322-95368-1
NE:GT
Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der
engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar.
Das gilt besonders für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung
und Verarbeitung in elektronischen Systemen.
© B. G. Teubner Verlagsgesellschaft Leipzig 1993
Umschlaggestaltung : E. Kretschmer, Leipzig
Preface
This thesis concerns concepts and techniques of handsketch-based diagram editors.
Diagram editing is an attractive application of gestural interfaces and pen-based
computers which promise a new input paradigm where users communicate with
computers in diagram languages by using gestures. Though recent advances of
pen-based computer technology and pattern recognition methodology, developing
gesture-based diagram editors is difficult. The key problem is the on-line gest ure
recognition which can be classified into two levels: one considers to recognize on-line
sketched gest ures formed by x-y coordinates into symbols and the other transforms
these symbols into editing commands.
In the thesis, I discuss the key ideas of the incremental and the cooperative
recognition, the gest ure specification and the structure recognition, as well as de
coupling the recognition interface from the command interface. For reducing the
development efforts of handsketch-based diagram editors, an editor framework and
two experimental applications are designed, implemented, and evaluated. The re
sults indicate that the implementation efforts of such editors is drastically reduced
by using the editor framework Handi. The Handi-based editors follows the so-called
WYDIWYG input principle, they are easy to use and appropriate for conceptual
sketching.
This dissertation has been carried out during my research activities in Cadlab, a
cooperation University of Paderborn and Siemens Nixdorf Informationssysteme AG.
While a dissertation is an individual effort, its magnitude and duration ensure that
many others have assisted in its production.
There is much for which I have to thank my two advisors, Franz Rammig and
Gerd Szwillus. Franz was the first to suggest me that pen-based user interface
might be an interesting problem. I thank hirn to inspire me ancl to show me to do
6 PREFACE
this research. I was lucky that Gerd came to University of Paderborn while I was
beginning with this research. The elose relationships and common research interest
enabled many fruitful discussions. Gerd helped me to concentrate on the structure
recognition and structure editing aspects.
I thank Jürgen Strauß for many discussions about a better structure of this
thesis, Deelan Mulcahy, Frank Buijs, and Peter Hennige for review the dissertation
as weIl as Bernd Steinmüller, Hermann-Josef Kaufmann, Thomas Kern, Wolfgang
Müller and other "Cadlabers" for their supports to this research. Further, I would
like to thank Michael Tauber for introducing me into the domain of visuallanguages
with many useful references.
Finally, I want to thank my wife Linfang for the support I needed to persevere,
for her love and encouragement. I dedicate this work to her and our daughter Anja.
Paderborn, April 1993 Rui Zhao
Contents
1 Introduction 17
1.1 Basic Concepts ...... 18
1.2 Results and Contributions 23
2 Related Work 25
2.1 Gestural Interfaces ..... 25
2.1.1 Notepad Computers 26
2.1.2 Applications . 26
2.2 Pattern Recognition 29
2.2.1 Character Recognition Systems 29
2.2.2 Handsketched Figure Recognition Systems 30
2.2.3 Gesture Recognition Systems 31
2.3 Visual Languages ......... 32
2.3.1 Specification and Parsing . 32
2.3.2 Visual Programming Systems 34
2.4 Graphical Structure Editors ..... 35
3 Low-Level Recognition 38
3.1 Problem Analysis . . 38
3.1.1 Requirements 38
8 CONTENTS
3.1.2 Input of Handsketches ..... . 39
3.1.3 Specific Properties and Problems 41
3.2 Related Problems 43
3.2.1 Overview 43
3.2.2 Character Recognition 45
3.2.3 Irregular Gesture Recognition 47
3.3 Fundamental Concepts . . . . . . 48
3.3.1 Hierarchical Classification 48
3.3.2 Object-Oriented Design 50
3.3.3 Incremental Recognition 53
3.4 System Design. . 54
3.4.1 Overview 54
3.4.2 Symbol Database 57
3.4.3 Single-Stroke Analyzer 58
3.4.4 Incremental Updater 68
3.4.5 Selective Matcher 73
3.5 Summary ...... . 75
4 High-Level Recognition 76
4.1 Formal Basis ..... 76
4.1.1 HiNet Diagrams . 76
4.1.2 Handsketch-based Editing 87
4.2 Fundamental Concepts ..... 92
4.2.1 Compound Specification 92
4.2.2 Object-Oriented System Design 97
4.3 Structure Recognition 99
4.3.1 Hierarchy ... 100
CONTENTS 9
4.3.2 Connectivity. . . . · 102
4.4 Command Interpretation . · 103
4.4.1 Constructions · 104
4.4.2 Destructions . · 107
4.5 Summary .... · 109
5 Handi Architecture 110
5.1 Introduction . . . ........... · 110
5.1.1 Motivation and Design Goals · 110
5.1.2 Overview .. · 112
5.2 Sketching Subsystem · 117
5.2.1 Sketching Area · 118
5.2.2 Pen. · 119
5.2.3 Ink . · 119
5.2.4 Stroke · 120
5.3 Recognizing Subsystem . · 121
5.3.1 Symbol .. · 121
5.3.2 SymbolTree · 122
5.3.3 Single-Stroke Recognizer · 123
5.3.4 Gesture .. · 124
5.3.5 GestureSet . · 125
5.4 Editing Subsystem · 126
5.4.1 Hierarchy Component · 126
5.4.2 Hierarchy View ... · 128
5.4.3 Diagram Component · 130
5.4.4 Connector · 133
5.5 Summary .... · 134
10 CONTENTS
6 Implementation 135
6.1 Overview ... ...... · 135
6.2 Recognizing Subsystem. · 137
6.3 Sketching and Editing Subsystem · 143
6.4 Summary ............. · 151
7 Applications 152
7.1 Statecharts Editor ........ · 152
7.1.1 The Statecharts Language · 152
7.1.2 Gestural Interface . .154
7.1.3 Implementation · 155
7.2 Petri Nets Editor ... · 159
7.2.1 The Petri Nets Language . · 159
7.2.2 Gestural Interface . · 162
7.2.3 Implementation · 162
7.3 Summary ....... · 167
8 Evaluation 168
8.1 Building Handi Applications · 168
8.1.1 New Applications .. · 169
8.1.2 Adding and Changing Gestures · 170
8.1.3 Extensibility. . . . . · 172
8.2 Partial Utilization of Handi · 172
8.3 Performance of Handi-based Editors. · 174
8.3.1 Gesture Recognition · 175
8.3.2 Human Factors · 178
9 Conclusion 183
