Table Of ContentFrank Beekmann
Stichprobenbasierte Assoziationsanalyse im Rahmen
des Knowledge Discovery in Databases
Frank Beekmann
Stichprobenbasierte
Assoziationsanalyse im
Rahmen des Knowledge
Discovery in Databases
Mit einem Geleitwort von Prof. Dr. Peter Chamoni
Deutscher
Universit~jts-Verlag
Bibliografische Information Der Deutschen Bibliothek
Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;
detaillierte bibliografische Daten sind im Internet Uber <http://dnb.ddb.de> abrufbar.
Dissertation Universitat Duisburg-Essen, 2003
1. Auflage Mai 2003
Aile Rechte vorbehalten
© Deutscher Universitats-Verlag/GWV Fachverlage GmbH, Wiesbaden, 2003
Lektorat: Ute Wrasmann / Anita Wilke
Der Deutsche Universitats-Verlag ist ein Unternehmen der
Fa chverlagsgruppe BertelsmannSpringer.
www.duv.de
Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschiitzt.
Jede Verwertung auBerhalb der engen Grenzen des Urheberrechtsgesetzes
ist ohne Zustimmung des Verlags unzulassig und strafbar. Das gilt insbe
sondere fUr Vervielfaltigungen, Ubersetzungen, Mikroverfilmungen und die
Einspeicherung und Verarbeitung in elektronischen System en.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem
Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche
Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten
waren und daher von jedermann benutzt werden dUrften.
Umschlaggestaltung: Regine Zimmer, Dipl.-Designerin, Frankfurt/Main
ISBN-13: 978-3-8244-2168-8 e-ISBN-13: 978-3-322-81227-8
001: 10.1007/978-3-322-81227-8
Geleitwort
Die Entdeckung von Wissen in groBen Datenbestanden ist in den letzten Jahren zu einem
wesentlichen Forschungsgebiet der betriebswirtschaftlich begriindeten Informatik geworden.
Die Mischung von klassischen statistischen Verfahren und neueren Algorithmen aus der
KUnstlichen Intelligenz haben dazu geflihrt, dass unter dem Begriff "Knowledge Discovery in
Databases" effiziente Verfahren und Vorgehensweisen zur Mustererkennung in umfang
reichen Datenbestanden entwickelt wurden, die eine verbesserte Qualitat der Informations
aufbereitung flir betriebswirtschaftliche Entscheidungssituationen versprechen.
Herr Beekmann untersucht in seiner Dissertationsschrift in diesem Zusamrnenhang die Ein
satzmoglichkeiten der stichprobenbasierten Assoziationsanalyse, die eine beschleunigte Ent
deckung von Regeln aus einer Vielzahl von Merkmalskombinationen erOffnen solI. Das For
schungsvorhaben von Herm Beekmann leitet den wissenschaftlichen Anspruch aus der mathe
matischen Fundierung von Konfidenzaussagen bei der Bildung von Stichproben zur Gene
rierung von Regelzusammenhangen abo An einer praxisbezogenen Umsetzung eines von ihm
modifizierten KDD-Prozesses in der Telekommunikationsbranche wird die Vorteilhaftigkeit
der Vorgehensweise erlautert. Neben der theoretischen Herausforderung, bewiesene und sta
tistisch begriindete Handlungsempfehlungen fUr eine Datenanalyse zu geben, stehen hinter
dem Forschungsprojekt konkrete Anforderungen der Unternehmenspraxis (ffiM Deutschland
GmbH), die projektbegleitend entscheidende Impulse flir einen pragmatisch und analytisch
nachgewiesenen Uisungsansatz geben. Dariiber hinaus zeigt Herr Beekmann die Moglich
keiten des Einsatzes von Filtertechniken auf, urn bei wiederholten Analysen bereits bekannte
Regeln auszublenden, damit die Regelanzahl verringert wird.
Dem Autor ist es gelungen, ein eigenstiindiges Konzept der Assoziationsanalyse zu ent
wickeln, das den bestehenden Verfahren Uberlegen ist. Die erfolgte Patentanmeldung fUr eine
diesbezUgliche Erweiterung des ffiM Intelligent Miner ist ein sicheres Indiz fUr diese heraus
ragende Leistung. Es bleibt zu hoffen, dass die empirisch gestUtzten und theoretisch fundier
ten Vorschliige zur Wissensentdeckung in groBen Datenbestanden von Herrn Beekmann Uber
die durchgefUhrten Projektarbeiten hinaus verstarkt Einsatz in der unternehmerischen Praxis
finden und die Befunde der vorliegenden Forschungsarbeit die Analyse von Transaktionsdaten
erleichtern werden.
Prof. Dr. Peter Chamoni
Vorwort
Die hier vorliegende Dissertationsschrift entstand wahrend meiner Tlitigkeit als wissenschaft
licher Mitarbeiter am Lehrstuhl flir Wirtschaftsinformatik und Operations Research der
Gerhard-Mercator-Universitlit Duisburg. Wesentliche Impulse, gerade flir die Anwendbarkeit
meiner Forschungsideen, entstarnmen einer Kooperation mit der IBM Deutschland GmbH.
Meinem Doktorvater, Herrn Prof. Dr. Peter Chamoni, miichte ich an dieser Stelle flir seine
stets wohlwollende und umsichtige Fiirderung meines Forschungsprojektes danken. Weiterhin
gilt mein Dank Herrn Prof. Dr. Rainer Leisten flir die Obernahme des Zweitgutachtens sowie
Herrn Prof. Dr. Klaus Barth und Herm Prof. Dr. Werner Pasch a flir ihre Mitwirkung in der
Priifungskommission.
Danken miichte ich auch meinen IBM-Projektpartnern Herrn Prof. Dr. Andreas Rudolph und
Herrn Dr. Roland Grund flir die vielen fachlichen Diskussionen liber die theoretischen
Anslitze und die vielfaltige Unterstlitzung bei der Durchflihrung der Analysen. Der IBM
Deutschland GmbH danke ich flir die Miiglichkeit der Zusarnmenarbeit, die Bereitstellung des
Analysewerkzeugs IBM Intelligent Miner und von Testdaten sowie flir das Vertrauen in mein
Forschungsprojekt, das sich durch eine Patentanmeldung ausdriickt.
Mein ganz besonderer Dank gilt meinen Kollegen Herrn Dr. Roland Dlising und Herrn Dr.
Steffen Stock flir die konstruktive Kritik und die vielen intensiven und fruchtbaren Diskus
sionen. Deren stetes Interesse und Verbesserungsvorschllige haben viel zum Gelingen der
Arbeit beigetragen. Herrn Dipl.-Math. Thomas Grosner danke ich flir das Korrekturlesen
besonders im theoretischen Teil. SchlieBlich miichte ich mich bei Herrn Dipl.-bk. Stefan
Krebs und Frau IlIa Frigge insbesondere flir ihre vielen aufmunternden Worte bedanken.
Frank Beekmann
Inhaltsverzeichnis
Abbildungsverzeichnis xv
Tabellenverzeichnis XVII
Abkiirzungsverzeichnis XXI
Einleitung
1.1 Motivation
1.2 Zielsetzung 2
1.3 Gang der Untersuchung 3
2 Knowledge Discovery in Databases 5
2.1 Begriffsdefinition 5
2.2 Einordnung des Forschungsgebietes 9
2.3 Vorgehensmodell 13
2.3.1 Zielsetzung und Aufgabenstellung 15
2.3.1.1 Erstellung eines Klassifikationsmodells 16
2.3.1.2 Erstellung eines Regressionsmodells 17
2.3.1.3 Bildung von Clustem 18
2.3.1.4 Entdeckung von Abhangigkeiten 19
2.3.2 Datenvorbereitung 20
2.3.2.1 Datenauswahl und Datenintegration 21
2.3.2.2 Datenbereinigung 23
2.3.2.3 Attributsmanipulation 27
2.3.2.4 Datentransformation 28
2.3.2.5 Aufteilung des Datenbestandes 29
2.3.3 Data Mining 30
2.3.3.1 Ausgewilhlte Verfahren 31
2.3.3.1.1 Entscheidungsbaumverfahren 33
x
Inhaltsverzeichnis
2.3.3.1.2 Kiinstliche Neuronale Netze 37
2.3.3.1.3 Clusterverfahren 41
2.3.3.2 Abgrenzung zu anderen Analyseansatzen 44
2.3.3.2.1 Data Access 46
2.3.3.2.2 On-Line Analytical Processing 47
2.3.4 Ergebnisinterpretation 49
3 Assoziationsanalyse 51
3.1 Anwendungsgebiete 52
3.2 Einfache Assoziationsregeln und KenngriiBen 53
3.3 Algorithmen zur Bestimmung von einfachen Assoziationsregeln 58
3.3.1 Apriori-Algorithmus 58
3.3.2 Weitere Algorithmen 66
3.4 Erweiterungen der Assoziationsregeln 70
3.4.1 Item-Restriktionen 71
3.4.2 Taxonomien 72
3.4.3 Quantitative Merkmale 78
3.4.4 Sequenzielle Assoziationsregeln 80
3.5 Bewertung von Assoziationsregeln 82
3.5.1 Kritik am Support-und am KonfidenzmaB 82
3.5.2 InteressantheitsmaBe 85
3.5.2.1 Lift 85
3.5.2.2 Conviction 87
3.5.2.3 Chi-Quadrat-Wert 90
3.5.2.4 Relatives Risiko 91
3.5.3 Filtertechnik 92
Inhaltsverzeichnis XI
4 Konzepte zur Bildung und Anwendung von Stichproben 95
4.1 Definitionen 95
4.2 Verfahren zur Stichprobenbildung 97
4.2.1 Bernoulli-Sampling 97
4.2.2 Ztifallsauswahl mit festem Umfang 99
4.2.3 Systematische Zufallsauswahl 101
4.2.4 Geschichtete Zufallsauswahl 102
4.3 KenngrtiBen eines Datenbestandes 103
4.3.1 Univariate KenngriiBen 103
4.3.2 Multivariate KenngriiBen 105
4.4 Stichproben im Rahmen des statistischen Schlitzens 107
4.4.1 Univariate Schlitzer 109
4.4.1.1 Punktschlitzer 109
4.4.1.2 Bereichsschlitzer 114
4.4.1.3 Stichprobenumfangsbestimmung 118
4.4.1.3.1 Konfidenzintervalle 119
4.4.1.3.2 Chernoff-Schranken 123
4.4.2 Multivariate Schlitzer 127
4.4.2.1 Punktschlitzer 127
4.4.2.2 Bereichsschlitzer 128
4.4.2.3 Stichprobenumfangsbestimrnung 132
4.5 Stichproben im Rahmen des statistischen Testens 136
XII Inhaltsverzeichnis
5 Stichprobenbasierte Assoziationsanalyse 139
5.1 Grundprinzip 139
5.2 Erstellung der Konzepte 141
5.2.1 Genauigkeit bei vorliegender Stich probe 141
5.2:1.1 Univariater Ansatz 142
5.2.1.2 Multivariater Ansatz 144
5.2.2 Stichprobenumfangsbestimmung 145
5.2.2.1 Univariater Ansatz 146
5.2.2.1.1 Absolute Abweichung 146
5.2.2.1.1.1 Ansatz tiber Konfidenzintervalle 147
5.2.2.1.1.2 Ansatz tiber Chemoff-Schranken 148
5.2.2.1.1.3 Vergleich 149
5.2.2.1.2 Relative Abweichung 151
5.2.2.1.2.1 Ansatz tiber KonfidenzintervaIIe 151
5.2.2.1.2.2 Ansatz tiber Chemoff-Schranken 153
5.2.2.1.2.3 Vergleich 154
5.2.2.2 Multivariater Ansatz 155
5.2.3 Regelentdeckung 157
5.2.3.1 Ansatz tiber Konfidenzintervalle 158
5.2.3.2 Ansatz tiber Testtheorie 161
5.2.4 Handlungsempfehlung 163
5.3 Anwendung der ersteIIten Konzepte 164
Inhaltsverzeichnis XIII
6 Anwendung der stichprobenbasierten Assoziationsanalyse fur
Problemstellungen aus der Telekommunikationsbranche 171
6.1 Umfeld der Anwendung 171
6.1.1 Struktur des festnetzgebundenen Fernsprechnetzes 172
6.1.2 Einbindung der Interconnectionspartner 174
6.1.2.1 Netzstruktur der Interconnectionspartner 175
6.1.2.2 Abrechnung von Interconnectionsverrnittlungen 179
6.1.2.3 Verkehrsstrtime 183
6.2 Problembeschreibung und Aufgabenstellung 185
6.2.1 Problembeschreibung 185
6.2.1.1 Fehlrouting 185
6.2.1.2 Bundelvertauschung 187
6.2.1.3 Zusammenhang zwischen Fehlrouting und Bundelvertauschung 190
6.2.2 Aufgabenstellung 190
6.3 Durchftihrung der stichprobenbasierten Assoziationsanalyse 192
6.3.1 Datenvorbereitung 193
6.3.2 Analyse 197
6.3.3 Ergebnisinterpretation 199
6.3.3.1 Regelauswahl 199
6.3.3.2 Regelbewertung 204
6.4 Beurteilung der durchgeftihrten stichprobenbasierten Assoziationsanalyse 206
6.4.1 Zeitbetrachtung 207
6.4.2 Genauigkeitsbetrachtung 216
7 Zusammenfassung und AusbIick 225
Literaturverzeichnis 231
Anhang 261
