Table Of ContentDiss. ETH No. 18838
Visual Body Pose Analysis for
Human-Computer Interaction
A dissertation submitted to the
SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH
for the degree of
Doctor of Sciences ETH
presented by
MICHAEL VAN DEN BERGH
M.Sc. in Electrical Engineering
th
born 26 December 1981
citizen of Belgium
accepted on the recommendation of
Prof. Dr. Luc Van Gool, ETH Zurich and KU Leuven, examiner
Prof. Dr. Fernando De la Torre, Carnegie Mellon University,
co-examiner
2010
Abstract
Human-Computer Interaction (HCI) is the study of interaction
between people (users) and computers. The recent advances in
computing technology push the interest in human-computer in-
teraction in other ways than the traditional keyboard, mouse or
keypad devices. The work presented in this thesis uses computer
vision to enhance the HCI, by introducing novel real-time and
marker-less gesture and body movement-based systems.
Real-time systems have a high refresh rate and minimal latency,
providing the user with smooth and instantaneous interaction
with the system. Marker-less systems allow a natural interaction
without wearing special markers or special tracking suits, which
are generally required in modern day tracking systems. The sys-
tems described in this thesis aim to achieve this real-time marker-
less HCI. They are based on vision and built with standard com-
puters equipped with standard color cameras. The goal set for
this work is hand gesture-based interaction with large displays, as
well as full body pose recognition for interaction where the user
is immersed in a virtual environment.
The systems described in this thesis can be divided into three com-
ponents: (1) preparing the input for detection and recognition,
which includes segmentation and reconstruction; (2) detecting of
body parts and recognition of body poses and hand gestures; (3)
using the detection/recognition to steer the application. These
three components are reflected in chapters 2 to 4 of this thesis.
Segmentation and Reconstruction. The first part of the thesis
provides a brief summary of foreground-background segmentation,
skin color segmentation and 3D hull reconstruction. Skin color
4
segmentation usually suffers from changes in lighting and of the
user. Therefore, a novel and improved skin color segmentation
algorithm is introduced, which combines an offline and an online
model. The online skin color model is updated at run-time based
on color information taken from the face region of the user.
Detection and Recognition. The second part of the thesis starts
with a summary of how the face, eye, hand and finger locations
can be detected in a camera image. Then, a novel body pose
recognition system is introduced based on Linear Discriminant
Analysis (LDA) and Average Neighborhood Margin Maximiza-
tion (ANMM). This system is able to classify poses based either
on 2D silhouettes or 3D hulls. Using a similar technique, a novel
hand gesture recognition system is introduced. Both the body
pose and hand gesture recognition systems are improved for speed
with the help of Haarlets. A novel Haarlet training algorithm is in-
troduced, which aims to approximate the ANMM transformation
using Haarlets. Furthermore, 3D Haarlets are introduced, which
are trained with the same ANMM approximation algorithm, and
can be used to classify 3D hulls in real-time.
Applications. The algorithms are demonstrated with four appli-
cations. The first application is a perceptive user interface, where
the user can point at objects on a large screen, and move them
around on the screen. The emphasis of this application is on de-
tecting the body parts and determining the 3D pointing direction.
The second application is the CyberCarpet, a prototype platform
which allows unconstrained locomotion of a walker in a virtual
world. As this system is a prototype, the walker is replaced by
a miniature robot. The vision part of this system consists of an
overhead tracker which tracks the body position and orientation
of the walker in real-time. The third application is the full-scale
omni-directional treadmill, which accomodates for human walkers
CyberWalk. Beside the position and orientation tracker, the vision
part is completed with a full body pose recognition system. Key
poses are detected to enable interaction with the virtual world
he is immersed in. The fourth application is a hand gesture in-
teraction system. It detects hand gestures and movements for
manipulating 3D objects or navigating through 3D models.
Zusammenfassung
Das Forschungsgebiet der Human-Computer Interaction (HCI)
befasst sich mit der Interaktion zwischen Menschen und Comput-
ern. Die Fortschritte in der Computertechnologie verlangen nach
neuen Eingabemo¨glichkeiten, die sich von traditionellen Gera¨te
wie Tastatur, Maus oder Joystick unterscheiden. Diese Disserta-
tion untersucht neuartige Wege basierend auf Bildverarbeitung,
um mit dem Computer zu interagieren. Das Ziel ist es, Anwen-
dungen mittels Gestik und Ko¨rperbewegungen markerlos und in
Echtzeit zu steuern.
Echtzeitsysteme zeichnen sich durch eine hohe Wiederholrate und
minimale Verzo¨gerung aus, wodurch eine reibungslose und unmit-
telbare Interaktion ermo¨glicht wird. Markerlose Systeme erlauben
eine natu¨rliche Interaktion ohne zusa¨tzliche Markierungszeichen
oder aufwendige Trackinganzu¨ge.
Die in dieser Dissertation entwickelten Systeme ermo¨glichen de-
rartige markerlose HCI in Echtzeit. Die verwendeten Techniken
basieren auf Bildverarbeitung und erfordern ausschliesslich han-
delsu¨bliche Computer mit gewo¨hnlichen Farbkameras (z.B. We-
bcams). Das Ziel dieser Doktorarbeit ist sowohl das Steuern
von grossen Bildschirmen mittels Gestik als auch das Erkennen
der Ko¨rpersprache, um den Benutzer in eine virtuelle Umgebung
einzubetten. Die vorgestellten Systeme ko¨nnen in drei Kompo-
nenten unterteilt werden: (1) Vorbereitung des Bildes fu¨r De-
tektion und Erkennung, was Segmentierung und Rekonstruktion
beinhaltet; (2) Detektion der Ko¨rperteile und Erkennung von
Ko¨rper- und Handposen; (3) Verwendung der Detektion/ Erken-
nung um Anwendungen zu steuern. Diese drei Komponenten sind
in den Kapiteln 2 bis 4 beschrieben.
6
Segmentierung und Rekonstruktion. Der erste Teil dieser Ar-
¨
beit gibt einen kurzen Uberblick der Techniken, die bei Vorder-
/Hintergrund Segmentierung, Segmentierung der Hautfarbe und
der Rekonstruktion der 3D-Hu¨llen verwendet werden. Das Erken-
nen der Hautfarbe wird durch vera¨nderliche Lichtverha¨ltnisse und
unterschiedliche Benutzer erschwert. Deshalb wurde ein neuer,
verbesserter Segmentierungsalgorithmus fu¨r Hautfarben entwick-
elt, welcher die Vorteile eines offline- und eines online-Systems
kombiniert. Das online Hautfarbenmodell wird in Echtzeit mit
Farbinformationen der Gesichtsregion aktualisiert.
Detektion und Erkennung. Der zweite Teil dieser Arbeit beginnt
¨
mit einem Uberblick der Gesichts-, Augen-, Hand- und Fingerde-
tektion. Danach wird ein neuartiges Ko¨rperposenerkennungssystem
basierend auf Linear Discriminant Analysis (LDA) und Average
Neighborhood Margin Maximization (ANMM) vorgestellt. Dieses
System ist fa¨hig, Ko¨rperposen anhand von 2D Silhouetten oder 3D
Hu¨llen zu klassfizieren. Mit einer a¨hnlichen Methode werden auch
Handgestiken erkannt. Beide Systeme sind effizient mit Haarlets
implementiert. Ein neuer Trainingsalgorithmus approximiert die
ANMM Transformationen mit Haarlets. Des Weiteren werden 3D
Haarlets vorgestellt, um 3D Hu¨llen in Echtzeit zu klassifizieren.
Anwendungen. Die beschriebenen Methoden werden mit einigen
Anwendungen demonstriert. Die erste Anwendung ist eine perzep-
tive Benutzerschnittstelle, bei der der Benutzer Objekte auf einem
grossen Bildschirm auswa¨hlen und verschieben kann. Die Schw-
erpunkte dieses Systems sind die Detektion von Ko¨rperteilen und
die Ermittelung der 3D-Zeigerichtung. Die zweite Anwendung ist
der CyberCarpet, eine Laufbu¨hne fu¨r uneingeschra¨nkte Fortbewe-
gung eines Benutzers in einer virtuellen Welt. In dem vergestell-
ten Prototyp ist der Benutzer durch einen kleinen Roboter er-
setzt. Die Bildverarbeitung besteht aus einem Overhead-Tracker,
welcher die Position und Orientierung des Benutzers in Echtzeit
verfolgt. Die dritte Anwendung ist ein ungerichtetes Laufband
(CyberWalk), welches auch fu¨r Menschen begehbar ist. Neben
dem Positions- und Orientierungstracker wird fu¨r die Bildverar-
beitung ein Ko¨rperposenerkennungssystem verwendet. Wichtige
Posen werden erkannt, um die Interaktion mit der virtuellen Welt
7
zu ermo¨glichen. Die vierte Anwendung ist ein System fu¨r die In-
teraktion mittels Handgesten. Das System erkennt Handgesten
und Handbewegungen der Benutzer, um 3D Objekte zu manip-
ulieren oder 3D Modelle zu navigieren.
Contents
List of Figures v
1 Introduction 1
1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Motivation . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Related Work . . . . . . . . . . . . . . . . . . . . . 2
1.4 Contributions . . . . . . . . . . . . . . . . . . . . . 5
1.5 Organization of the thesis . . . . . . . . . . . . . . 6
2 Segmentation 9
2.1 Foreground-background Segmentation . . . . . . . 10
2.1.1 Colinearity Criterion . . . . . . . . . . . . . 10
2.1.2 Adaptive Threshold . . . . . . . . . . . . . 11
2.1.3 Darkness Compensation . . . . . . . . . . . 13
2.2 Skin Color Segmentation . . . . . . . . . . . . . . . 14
2.2.1 Color Spaces . . . . . . . . . . . . . . . . . 14
2.2.2 Histogram Based Approach . . . . . . . . . 16
2.2.3 Gaussian Mixture Model Based Approach . 20
2.2.4 Post Processing . . . . . . . . . . . . . . . . 22
2.2.5 Speed Optimizations . . . . . . . . . . . . . 25
2.2.6 Discussion . . . . . . . . . . . . . . . . . . . 26
2.3 3D Hull Reconstruction . . . . . . . . . . . . . . . 27
3 Detection and Recognition 33
3.1 Face and Hand Detection . . . . . . . . . . . . . . 35
3.1.1 Face Detection . . . . . . . . . . . . . . . . 35
3.1.2 Eye Detection . . . . . . . . . . . . . . . . . 38
3.1.3 Hand Detection . . . . . . . . . . . . . . . . 41
3.1.4 Finger Detection . . . . . . . . . . . . . . . 43
ii Contents
3.1.5 Discussion . . . . . . . . . . . . . . . . . . . 43
3.2 2D Body Pose Recognition . . . . . . . . . . . . . 46
3.2.1 Background . . . . . . . . . . . . . . . . . . 47
3.2.2 Classifier Overview . . . . . . . . . . . . . . 51
3.2.3 Linear Discriminant Analysis (LDA) . . . . 52
3.2.4 Average Neighborhood Margin Maximiza-
tion (ANMM) . . . . . . . . . . . . . . . . . 53
3.2.5 Rotation Invariance . . . . . . . . . . . . . 55
3.2.6 Discussion . . . . . . . . . . . . . . . . . . . 56
3.3 3D Body Pose Recognition . . . . . . . . . . . . . 58
3.3.1 Classifier Overview . . . . . . . . . . . . . . 59
3.3.2 Average Neighborhood Margin Maximiza-
tion (ANMM) . . . . . . . . . . . . . . . . . 60
3.3.3 Orientation Estimation . . . . . . . . . . . 62
3.3.4 Discussion . . . . . . . . . . . . . . . . . . . 69
3.4 Hand Gesture Recogntion . . . . . . . . . . . . . . 72
3.4.1 Background . . . . . . . . . . . . . . . . . . 72
3.4.2 Inputs . . . . . . . . . . . . . . . . . . . . . 73
3.4.3 Hausdorff Distance . . . . . . . . . . . . . . 74
3.4.4 Average Neighborhood Margin Maximiza-
tion (ANMM) . . . . . . . . . . . . . . . . . 76
3.4.5 Discussion . . . . . . . . . . . . . . . . . . . 77
3.5 Haarlet Approximation . . . . . . . . . . . . . . . . 79
3.5.1 2D Haarlets . . . . . . . . . . . . . . . . . . 79
3.5.2 Training . . . . . . . . . . . . . . . . . . . . 81
3.5.3 Classification . . . . . . . . . . . . . . . . . 82
3.5.4 3D Haarlets . . . . . . . . . . . . . . . . . . 84
3.5.5 Discussion . . . . . . . . . . . . . . . . . . . 86
3.6 Experiments . . . . . . . . . . . . . . . . . . . . . . 88
3.6.1 Body Pose Recognition: without rotation . 88
3.6.2 Body Pose Recognition: with rotation . . . 93
3.6.3 Hand Gesture Recognition . . . . . . . . . . 100
4 Applications 105
4.1 Perceptive User Interface (BlueC 2 project) . . . . 106
4.1.1 Introduction . . . . . . . . . . . . . . . . . 107
4.1.2 System Overview . . . . . . . . . . . . . . . 108
4.1.3 Calibration and 3D Extraction . . . . . . . 113
Contents iii
4.1.4 User Interface . . . . . . . . . . . . . . . . . 116
4.1.5 Integrated Setup . . . . . . . . . . . . . . . 118
4.1.6 Discussion . . . . . . . . . . . . . . . . . . . 119
4.2 CyberCarpet (CyberWalk project) . . . . . . . . . 121
4.2.1 Background . . . . . . . . . . . . . . . . . . 121
4.2.2 System Overview . . . . . . . . . . . . . . . 122
4.2.3 Experiments . . . . . . . . . . . . . . . . . 129
4.2.4 Discussion . . . . . . . . . . . . . . . . . . . 141
4.3 Omni-directional Treadmill (CyberWalk project) . 143
4.3.1 Design of the Omnidirectional Treadmill . . 144
4.3.2 Visual Localization . . . . . . . . . . . . . . 147
4.3.3 Control Design . . . . . . . . . . . . . . . . 147
4.3.4 Visualization . . . . . . . . . . . . . . . . . 149
4.3.5 Body Pose Recognition . . . . . . . . . . . 153
4.3.6 Discussion . . . . . . . . . . . . . . . . . . . 156
4.4 Hand Gesture Interaction (Value Lab) . . . . . . . 157
4.4.1 The Value Lab . . . . . . . . . . . . . . . . 158
4.4.2 System Overview . . . . . . . . . . . . . . . 158
4.4.3 Object Manipulation: One Object . . . . . 164
4.4.4 Object Manipulation: Two Objects . . . . . 166
4.4.5 Model Navigation . . . . . . . . . . . . . . 169
4.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . 171
5 Summary 175
5.1 Future Work . . . . . . . . . . . . . . . . . . . . . 177
A Calibration 179
A.1 Camera Calibration: 2 cameras . . . . . . . . . . . 179
A.2 Camera Calibration: n cameras . . . . . . . . . . . 181
A.3 Screen Calibration . . . . . . . . . . . . . . . . . . 182
B Notation 187
