Recognizing Complex Human Activities based on Activity Spotting

174 Pages·2011·24.05 MB·English

by  Ulf Mario Blanke

Recognizing Complex Human Activity
Based on Activity Spotting
A dissertation submitted to
¨
TECHNISCHE UNIVERSITAT DARMSTADT
Fachbereich Informatik
for the degree of
Doktor-Ingenieur (Dr.-Ing.)
presented by
ULF MARIO BLANKE
Dipl.-Inform.
born in Bremen, Germany
Prof. Stefan Roth, PhD, examiner
Prof. Dr.-Ing. Hans-Werner Gellersen, co-examiner
Prof. Dr. Bernt Schiele, co-examiner
Date of Submission: 03rd of November, 2010
Date of Defense: 21th of December, 2010
Darmstadt, 2010
D17

ABSTRACT
Human activity is a pivotal ingredient for context-aware systems. Systems can profit
from context, in particular from the user’s activity by understanding what the user
is currently doing and what goal he is aiming at.
With advances in activity recognition a variety of potential applications become
available. Monitoring elderly in the healthcare sector, supporting maintenance
tasks in the industrial domain, or controlling games with physical gestures in the
entertainment sector are just a few examples.
This thesis investigates methods for recognizing physical activities from wearable
sensors and focuses on three main challenges for activity recognition. First, we
explore methods for spotting sporadically appearing atomic activities from a con-
tinuous data stream, for example, drilling or screwing during a construction task.
Large quantities of irrelevant data, the variability in execution between users and
the diversity of activities render activity spotting a difficult task.
Second, we investigate the recognition of composite activities, that can be decom-
posed into several sub-activities as, for instance, fixing two parts is composed by
drilling and screwing. Composite activities impose new challenges, as they usually
contain more variability. Different durations in execution, interruptions or changing
order are just a few characteristics of the variability. Thus, standard recognition
methods cannot be applied as they demand a prohibitive amount of training data.
Third, we address the reduction of training effort. One of the predominant
problems is that activity recognition systems are trained from scratch for each single
activity. Reusing acquired knowledge by transferring knowledge to related recognition
tasks has been identified as promising method to minimize the learning effort and
to use time-consuming annotations more efficiently.
This thesis starts with investigating the role of features and sensor modalities
for activity spotting. We systematically analyze the benefits of body-model features
in different sensor settings. Furthermore, a body-model based on accelerometers
is presented that reduces sensor requirements significantly. Several scenarios are
considered that provide a diverse set of activities. Our studies reveal that orientation
information outperforms widely employed acceleration sensors.
Addressingcompositeactivities,weapplystandardmachinerecognitionalgorithms
used for atomic activities to recognize longer lasting and complex daily routines
from low level sensors. In a subsequent study we analyze the distinctiveness of
similar daily routines. It turns out that a small fraction of observed data suffices to
distinguish these routines.
Finally, we present a composite model based on activity spotting and conditional
random fields that combine atomic activities to a composite task. Besides perfor-
mance benefits, a hierarchical approach enables knowledge transfer of atomic activities
across related recognition tasks and allows for scalable activity recognition.
i

ZUSAMMENFASSUNG
Menschliche Aktivita¨t ist ein wichtiger Bestandteil von Kontext-bewussten Syste-
men. Computer ko¨nnen von Kontext, d.h. im Wesentlichen den Aktivita¨ten eines
Benutzers, profitieren. Diese Information kann genutzt werden, um zu verstehen
welchen Aufgaben er nachgeht und welche Ziele er verfolgt.
Der Fortschritt in der Aktivita¨tenerkennung ermo¨glicht eine Reihe von Anwen-
dungen. Die U¨berwachung von Hilfsbedu¨rftigen im medizinischen Sektor, die
Unterstu¨tzung von Instandhaltungsprozessen im industriellen Bereich oder das
Steuern von Computerspielen mit physikalischen Gesten sind Beispiele dafu¨r.
Diese Arbeit untersucht verschiedene Methoden zur Erkennung physischer Ak-
tivita¨ten mit dem Einsatz tragbarer Sensoren. Wir konzentrieren uns auf drei
wichtige Herausforderungen der Aktivita¨tenerkennung. Zuna¨chst untersuchen wir
Methoden zur Erkennung von sporadisch auftretenden und atomaren Aktivita¨ten in
einem kontinuierlichen Datenstrom. Beispiele fu¨r solche Aktivita¨ten sind bohren
oder schrauben. Eine hohe Quantita¨t irrelevanter Daten, die Variabilita¨t in der
Ausfu¨hrung verschiedener Nutzer und die Vielfalt an Aktivita¨ten erschwert das
EntdeckenvonAktivita¨tenundmachtActivitySpottingzueinerschwierigenAufgabe.
Zweitens untersuchen wir die Erkennung zusammengesetzter Aktivita¨ten, d.h. Ak-
tivita¨ten, die aus mehreren Subaktivita¨ten bestehen, wie zum Beispiel ein Teil zu
befestigen aus bohren und schrauben besteht. Solche Aktivita¨ten stellen weitere
Herausforderungen, da sie eine gesteigerte Variabilita¨t zulassen. Unterschiedliche
Ausfu¨hrungszeiten, Unterbrechungen oder eine sich a¨nderne Reihenfolge sind nur
einige Charakteristika der Variabilita¨t. Daher ko¨nnen Methoden des Activity Spot-
tings nicht direkt angewendet werden, da diese eine untragbare Menge an Trainings-
daten beno¨tigen wu¨rden.
Die dritte Herausforderung stellt die Reduktion der Trainingsdaten. Ein Prob-
lem der Aktivita¨tserkennung ist, dass Systeme fu¨r jede Aktivita¨t von Grund auf
neu trainiert werden mu¨ssen. Die Wiederverwendung von vorhandenem Wissen
fu¨r a¨hnliche Erkennungsaufgaben und das Transferieren dieses Wissens wurde als
vielversprechende Methode identifiziert, um den Lernaufwand zu minimieren und
vorhandene zeitaufwendige Annotationen effizienter zu nutzen.
Die Arbeit beginnt mit der Untersuchung von Sensormodalita¨ten und charak-
teristischen Signal-Merkmalen fu¨r Activity Spotting. Wir analysieren systematisch
die Vorteile von Ko¨rpermodell-basierten Merkmalen und untersuchen verschiedene
Sensor-Konfigurationen. Daru¨ber hinaus wird ein Ko¨rpermodell basierend auf
Beschleunigungssensoren vorgestellt, das die Sensoranforderung signifikant senkt
und den Stromverbrauch damit drastisch senken kann. Dabei fu¨hren wir die Unter-
suchung fu¨r mehrere Szenarien durch. Unsere Studien zeigen, dass Orientierungsin-
formation die sonst fu¨r Aktivita¨tenerkennung u¨blichen Beschleunigungssensoren
iii
iv
in der Erkennung u¨bertreffen. Desweiteren adressieren wir zusammengesetzte Ak-
tivita¨ten. Wir nutzen zuna¨chst Standardmethoden des maschinellen Lernens, die
fu¨r die Erkennung atomarer Aktivita¨ten genutzt werden und wenden diese direkt
auf Sensordaten an. In einer Folgestudie analysieren wir die Unterscheidbarkeit
von ta¨glichen Routinen. Es zeigt sich, dass nur ein Bruchteil der beobachteten
Daten ausreicht, um diese Routinen zu unterscheiden. Zuletzt pra¨sentieren wir
ein hierarchisches Modell, welches auf Activity Spotting basiert und Conditional
Random Fields nutzt, um atomare Aktivita¨ten zu zusammengesetzten Aufgaben
zu kombinieren. Neben Vorteilen in der Erkennungsleistung ermo¨glicht ein hierar-
chischer Ansatz den Wissenstransfer von atomaren Aktivita¨ten zwischen a¨hnlichen
Erkennungsaufgaben und erlaubt eine skalierbare Aktivita¨tenerkenung.
ACKNOWLEDGEMENTS
A dissertation takes a few ingredients: one computer, several servers, a pinch of
sensors and a dash of machine learning books. Put the servers in a refrigerator and
spicetheremainingingredientswithpatience, excitement, pain, reliefandproudness,
then bake the mixture for several years until you get this. However, as the “haute
cuisine” teaches, cooking is not a matter of ingredients only. Similarly this holds
for ”baking“ a thesis, too. What contributes to the success of a thesis is the priceless
support of people who are enduring the cook and tasting the dish presented to them.
First, I’d like to thank my supervisor Professor Bernt Schiele for giving me the
opportunity to join a great research team. He showed me through various inspiring
and motivating discussions how to stir well and when to put the right ingredient.
Likewise, I thank Prof. Stefan Roth for constructive comments during retreats and
for agreeing to serve as an examiner. Apart from that, I would also like to thank
Professor Hans-Werner Gellersen for agreeing to be the co-examiner of this thesis.
I would like to thank my colleagues, Micha Andriluka, Eugen Berlin, Marko
Borazio, Gyuri Dorko, Sandra Ebert, Mario Fritz, Diane Larlus, Nikodem Majer,
Michael Stark, Marcus Rohrbach, Edgar Seemann, Ulrich Steinhoff, Maja Stikic and
Stefan Walk. I especially thank Tam Huynh for preparing me for research, Andreas
Zinnen for the inspiring collaboration, Kristof Van Laerhoven for teaching me how to
bake things the right way, and Christian Wojek and Paul Schnitzspan for answering
patiently questions related to my receipts. Without them this thesis would have a
few chapters less. Special thanks goes to Ursula Paeckel. She is the soft net that
catches you, if you get lost in any aspects. Altogether you formed the best research
environment one can wish for.
I also like to thank the head of my graduate school Petra Gehring and Mikael
Hardt for giving me the opportunity to discuss matters of my thesis within an
interdisciplinary group of excellent scientists. They supported me greatly in thinking
beyond the geek’s box trying variations of my recipe.
1343
I acknowledge the financial support from the research training group GRK
and the DFG-project “Methods for Activity Spotting With On-Body Sensors” that
allowed me to get some ingredients.
Finally and most of all I would like to thank my family and friends for their
help and support. Especially Tejshree Tiwari supported me greatly by teaching me
to hang in when all confidence vanished. My deepest gratitude goes to my mom,
Maria do C¸eu Amaral Carreira, for her unconditional love and patience and for
reminding me which things really matter. I thank my dad, Heiner Blanke, for giving
me a childhood full of experiences and the possibility to go to university, though he
never got the chance to see me finishing school. I wish you could be here.
Shall we? Yeah, we should.
v

CONTENTS
1 Introduction 1
11 3
. Recognizing activities from sensors . . . . . . . . . . . . . . . . . . . . .
12 5
. Challenges for activity recognition . . . . . . . . . . . . . . . . . . . . .
13 7
. Challenges beyond this thesis . . . . . . . . . . . . . . . . . . . . . . . .
14 8
. Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
141 8
. . Activity spotting . . . . . . . . . . . . . . . . . . . . . . . . . . .
142 9
. . Composite activities . . . . . . . . . . . . . . . . . . . . . . . . .
15 12
. Thesis outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Related work 15
21 16
. Activity theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
211 16
. . Principles of activity theory . . . . . . . . . . . . . . . . . . . . .
212 18
. . What can activity theory do for us? . . . . . . . . . . . . . . . .
22 18
. The past and the present of activity recognition . . . . . . . . . . . . .
23 20
. Applications for activity recognition . . . . . . . . . . . . . . . . . . . .
231 20
. . Healthcare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
232 22
. . Industrial applications . . . . . . . . . . . . . . . . . . . . . . . .
233 23
. . Sports and entertainment applications . . . . . . . . . . . . . . .
24 24
. Recognizing physical activity . . . . . . . . . . . . . . . . . . . . . . . .
241 25
. . Multimodal sensor approaches . . . . . . . . . . . . . . . . . . .
242 28
. . Segmentation methods . . . . . . . . . . . . . . . . . . . . . . . .
243 29
. . Features for activity recognition . . . . . . . . . . . . . . . . . .
25 30
. Atomic and composite activities . . . . . . . . . . . . . . . . . . . . . .
26 32
. Knowledge transfer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 Sensor types and features for activity spotting 35
31 36
. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32 37
. Segmentation, body-model and features . . . . . . . . . . . . . . . . . .
321 37
. . Body-model by IMUs (BM–IMU) . . . . . . . . . . . . . . . . . .
322 39
. . Body-model by acceleration (BM–ACC) . . . . . . . . . . . . .
323 42
. . Location features . . . . . . . . . . . . . . . . . . . . . . . . . . .
324 42
. . Signal features . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33 43
. Multi-activity recognition using Joint Boosting . . . . . . . . . . . . . .
331 43
. . Joint boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
332 44
. . Spotting activities . . . . . . . . . . . . . . . . . . . . . . . . . . .
34 45
. Dataset and evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35 46
. Experimental results . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36 50
. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
vii
contents
viii
4 Heterogeneous features for activity spotting 53
41 53
. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42 55
. Features for activity recognition . . . . . . . . . . . . . . . . . . . . . . .
421 55
. . Signal oriented features . . . . . . . . . . . . . . . . . . . . . . .
422 55
. . Body-model derived features . . . . . . . . . . . . . . . . . . . .
423 55
. . Novel features describing trends in time series . . . . . . . . . .
43 58
. Segmentation procedure . . . . . . . . . . . . . . . . . . . . . . . . . . .
44 58
. Spotting activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45 59
. Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
451 59
. . Drink and work . . . . . . . . . . . . . . . . . . . . . . . . . . . .
452 60
. . Woodshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
453 61
. . Car quality inspection . . . . . . . . . . . . . . . . . . . . . . . .
46 62
. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47 63
. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
471 63
. . Drink and work . . . . . . . . . . . . . . . . . . . . . . . . . . . .
472 63
. . Woodshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
473 66
. . Car quality inspection . . . . . . . . . . . . . . . . . . . . . . . .
48 67
. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5 Body-model by gyroless orientation estimation 69
51 69
. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
52 70
. Orientation estimation of limbs . . . . . . . . . . . . . . . . . . . . . . .
53 71
. Experimental Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
54 72
. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55 75
. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6 Calibrating inertial sensing based on body motion 77
61 77
. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
62 79
. Algorithm sketch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63 82
. Experimental setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64 83
. Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
65 85
. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7 Single-layered recognition of complex activities 87
71 87
. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
72 88
. Experimental setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73 92
. Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
74 94
. Low-level activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
741 97
. . Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
75 99
. High-level activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
751 102
. . Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
76 104
. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .