Table Of ContentAndrea Schenker-Wicki
Moderne Prüfverfahren für komplexe Probleme
Andrea Schenker-Wicki
Moderne
Prüfverfahren für
komplexe Probleme
Evaluation und Performance Audits im Vergleich
r[)fll.\n DeutscherUniversitätsVerlag
~ GABlER·VIEWEG·WESTDEUTSCHERVERlAG
Die Deutsche Bibliothek - ClP-Einheitsoufnahme
Schenker-Wicki, Andrea:
Moderne Prüfverfahren für komplexe Probleme: Evaluation und Performance Audits im
Vergleich / Andrea Schenker-Wicki. - Wiesbaden: DUV, Dt. Univ.-Verl., 1999
(DUV : Wirtschaftswissenschafti
Alle Rechte vorbehalten
© Deutscher Universitäts-Verlag GmbH, Wiesbaden, 1999
Lektorat: Claudia Splittgerber / Monika Mülhausen
Der Deutsche Universitäts-Verlag ist ein Unternehmen der
Bertelsmann Fachinformation GmbH.
Das Werk einschließlich aller seiner Teile ist urheberrechtlich
geschützt. Jede Verwertung außerhalb der engen Grenzen des
Urheberrechtsgesetzes ist ohne Zustimmung des Verlages un
zulässi9 und strafbar. Das gilt insbesondere für Vervielfältigun
gen, Ubersetzungen, Mikroverfilmungen und die Einspeiche
rung und Verarbeitung in elektronischen Systemen.
http://www.duv.de
Höchste inhaltliche und technische Qualität unserer Produkte ist unser Ziel. Bei der
Produktion und Verbreitung unserer Bücher wollen wir die Umwelt schonen. Dieses
Buch ist deshalb auf säurefreiem und chlorfrei gebleichtem Papier gedruckt. Die Ein
schweißfolie besteht aus Polyäthylen und damit aus organischen Grundstoffen, die
weder bei der Herstellung noch bei der Verbrennung Schadstoffe freisetzen.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen
usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der
Annahme, daß solche Namen im Sinne der Warenzeichen- und Markenschutz-Ge
setzgebung als frei zu betrachten wären und daher von jedermann benutzt werden
dürften.
ISBN 978-3-8244-0454-4 ISBN 978-3-322-93491-8 (eBook)
DOI 10.1007/978-3-322-93491-8
Für meine drei Patenkinder Tini, Fiorina und Zacheli, die mit ihrer Liebe und Anhäng
lichkeit viel Sonnenschein in mein Leben bringen.
"De toutes les illusions, la plus
perilleuse consiste a penser qu'il
existe qu' une seule realite. En
fait, ce qui existe, ce ne sont que
differentes versions de celle-ci
dont certaines peuvent etre con
tradictoires et qui sont toutes des
effets de la communication, non
le reflet de verites objectives et
eternelIes."
Watzlawick, P.: La realite de la
realite, Editions du Seuil, 1976
Vonvort
Um in einer zunehmend vernetzten und globalisierten Welt zu bestehen, müssen
Chancen und Risiken beurteilt werden können. Da herkömmliche PrüfVerfahren und
die in der klassischen Betriebswirtschaft dafür vorgesehenen Instrumente wie Be
triebs- und Erfolgsrechnung nicht ausreichen, müssen PrüfVerfahren und Systeme
entwickelt werden, welche eher geeignet sind, die tatsächlichen Leistungen zu erfas
sen.
Dazu werden in diesem Buch neben den bekannten Prüfungsarten wie Revision, Con
trolling oder Benchmarking, die Verfahren der klassischen Evaluation und als Evalua
tion im weiteren Sinne die Leistungsprüfungen vorgestellt. Diese Leistungsprüfun
gen oder Performance Audits basieren ihrerseits auf Leistungsindikatoren, die sich
aus einem entsprechenden Sachverhalt -häufig aus den Zielsetzungen -ableiten las
sen. Um Performance Audits durchführen und einen bestimmten Sachverhalt nach
den Kriterien der Effizienz, Effektivität und Wirtschaftlichkeit überprüfen zu können,
müssen die Leistungsindikatoren allerdings gewissen Voraussetzungen genügen, die
ebenfalls in diesem Buch vorgestellt werden. Sie sollten, insbesondere für komplexe
Problemstellungen, einen dualen Charakter aufweisen. Dies bedeutet konkret, dass
neben einer Komponente der Quantität auch eine Komponente, welche die Qualität
beschreibt, vorhanden sein muss. Erst dadurch wird es möglich, komplexe Problem
stellungen zu bewerten, ohne sich den Vorwurf der Simplifizierung gefallen lassen zu
müssen oder problematische Anreize zu schaffen. Ein weiterer Punkt, dem in diesem
Buch ein besonderes Interesse gilt, ist die Aggregation von Informationen. In einer
Zeit, in der wir uns täglich einer Flut von Informationen ausgesetzt sehen, ist es
wichtig, die wesentlichen Informationen so aggregieren zu können, dass basierend
auf dieser Informationbasis keine falschen Entscheidungen getroffen werden.
Leistungsprüfungen und Leistungsindikatoren werden nicht nur im staatlichen Be
reich zunehmend gefordert, sondern gewinnen auch in der Privatwirtschaft zuneh
mend an Bedeutung, Dies ist immer dann der Fall, wenn einfache Kennzahlensysteme
versagen oder die Beziehung zum monetären Kreislauf für die Bewertung eines Sach
verhaltes oder eines Problems nicht ausreicht.
Dieses Buch soll den Studentinnen und Studenten eine Hilfe bei der Bewertung
VIII
komplexer Sachverhalte geben und sie gleichzeitig ermuntern, in die Leistungsrech
nung einzusteigen. Nach Lektüre diese Buches sollten sie fähig sein, selbständig
qualitativ einwandfreie Bewertungen komplexer Situationen vorzunehmen und Inter
pretationsmängel oder Widersprüche bestehender Beurteilungen und Bewertungen
zu erkennen und zu erklären.
Ohne die Hilfe und den Beitrag vieler Persönlichkeiten wäre das vorliegende Buch
kaum Realität geworden.
Ein spezieller Dank gilt Herrn Prof. J. Kohlas, der mir verschiedene Vorlagen rur Bei
spiele im spieltheoretischen Teil überlassen hat. Bedanken möchte ich mich auch bei
meinem Chef, Herrn Direktor Gerhard Schuwey, der mir ein Teilzeitpensum zugestan
den hat, damit ich diese Arbeit beenden konnte.
Last but not least geht ein grosser Dank an meinen Ehemann, Dr. Christoph Schen
ker. Er hat mich immer wieder ermuntert, dieses Buch fertigzuschreiben, obwohl es
krankheitsbedingt, mehr als ein Jahr in der Schublade liegenblieb. Ohne seine tatkräf
tige Unterstützung, seine wertvollen Inputs, seine grossen Formatierungskünste und
seine Toleranz gegenüber einer Ehefrau, die jede freie Minute am Computer verbringt,
hätte diese Arbeit nicht fertiggestellt werden können.
PD Dr. Andrea Schenker-Wicki
Inhaltsverzeichnis
1. Umfang und Abgrenzung der Arbeit ............................................................................... 1
1.1. Veränderte Kontrollmechanismen und Konzepte ............................................ 1
1.1.1. Materielle Prüfungen anstelle von reinen Ordnungsmässig-
keitsprüfungen .................................................................................... 3
1.2. Umfang der Arbeit ................................................................................................ 5
2. Komplexe Situationen ....................................................................................................... 10
2.1. Unterschiedliche Komplexitätsgrade in Privatwirtschaft und Staat... ........ 10
2.2. Besonderheiten der öffentlichen Verwaltung ................................................. 11
2.3. Die Notwendigkeit von Leistungsrechnungen und Leistungsprü-
fungen basierend auf Leistungsindikatoren .................................................. 14
3. Bewertungs-und PrüfVerfahren ...................................................................................... 18
3.1. Allgemeines ......................................................................................................... 18
3.2. Klassifizierung von Prüfungen ......................................................................... 19
3.2.1. Das Prüfungssystem ......................................................................... 19
3.2.2. Der Prüfungsprozess ........................................................................ 20
3.2.3. Allgemeine Prüfungskriterien .......................................................... 22
3.3. Prüfungsprozesse als kybernetische Regelkreise .......................................... 25
3.4. Die wichtigsten PrüfVerfahren im Überblick: Revision, Controlling,
Evaluation und Benchmarking ......................................................................... 27
3.4.1. RevisioniAuditing ............................................................................. 29
3.4.1.1. Externe Revision ............................................................ 31
3.4.1.2. Interne Revision ............................................................. 34
3.4.1.3. Die staatliche Revision ................................................. 38
3 .4.2. Controlling .......................................................................................... 40
3.4.3. Benchmarking .................................................................................... 48
4. Evaluation ........................................................................................................................... 52
4.1. Allgemeines ......................................................................................................... 52
4.2. Evaluation: Prüfen und Bewerten von politischen Programmen ................. 53
4.2.1. Defmition ............................................................................................ 53
4.2.2. Entwicklung der Evaluationswissenschaft .................................... 55
4.2.2.1. Die erste und zweite Phase ........................................... 56
4.2.2.2. Die dritte Phase: Bewerten ........................................... 59
4.2.2.3. Die vierte Phase: Wertpluralismus .............................. 59
4.2.2.4. Die Integration unterschiedlicher Wertsysteme:
Mediation ....................................................................... 60
4.2.3. Evaluationen im internationalen Vergleich .................................... 63
4.3. Evaluationstypen ................................................................................................ 65
4.4. Voraussetzung fiir die Durchfiihrung einer Evaluation: Standards ............ 67
4.5. Die Phasen einer Evaluationsstudie ................................................................ 74
4.6. Die Wirkungskette .............................................................................................. 76
4.6.1. Das Wirkungsmodell ........................................................................ 76
4.6.2. Die Interessensgruppen ................................................................... 80
x
4.6.2.1. Die Zielgruppen ............................................................. 81
4.7. Untersuchungsdesign ....................................................................................... 83
4.7.1. Einzelfalluntersuchungen und vergleichende Studien ................ 84
4.7.2. Quer- und Längsschnittvergleiche ................................................. 85
4.7.2.1. Querschnittanalysen ..................................................... 85
4.7.2.2. Längsschnittanalysen ................................................... 86
4.7.3. Stichproben oder Vollerhebung ...................................................... 87
4.7.4. Echte Experimente mit Randomisierung und Quasi-Experi-
mente .................................................................................................. 91
4.8. Datenerhebungsverfahren ................................................................................ 93
4.8.1. Standardisierte Befragungen ........................................................... 94
5. Quantitative Auswertungsverfahren .............................................................................. 97
5.1. Allgemeines ......................................................................................................... 97
5.2. Univariate Methoden ......................................................................................... 97
5.2.1. Arithmetisches Mittel, Median oder Modalwert .......................... 97
5.2.2. Streuungen und Abweichungen ..................................................... 99
5.3. Bivariate Methoden: Regressions- und Korrelationsanalyse .................... l00
5.3.1. Allgemeines ...................................................................................... 100
5.3.2. Kausalität und Regression ............................................................. 108
5.4. Triangulation ..................................................................................................... 109
6. Qualitative Evaluationen ................................................................................................. 111
6.1. Allgemeines ....................................................................................................... 111
6.2. Datenerhebung ................................................................................................. 112
6.2.1. Allgemeines ...................................................................................... 112
6.2.2. Interviews ......................................................................................... 112
6.2.2.1. Interviewtypen ............................................................. 112
6.2.2.2. Fragestellungen und Fragebögen ............................. 115
6.2.3. Der individuelle Input.. ................................................................... 117
6.2.3.1. Allgemeines .................................................................. 117
6.2.3.2. Das persönliche Interview und die Person des
Interviewers ................................................................. 118
6.2.4. Der kollektive Input.. ....................................................................... 119
6.2.4.1. Techniken zur Erzeugung eines kollektiven Inputs 119
6.2.4.2. Verzerrungen des kollektiven Inputs ........................ 122
6.3. Datenauswertung ............................................................................................. 123
6.4. Bezeichnung und Auswahl von Experten oder Peers ................................. 124
6.5. Der Evaluationsbericht .................................................................................... 127
6.6. Planung und Durchführung einer Evaluationsstudie ................................. 129
7. Qualitätssicherung von Evaluationsstudien ................................................................ 131
7.1. Metaevaluation ................................................................................................. 131
7.2. Mängel ............................................................................................................... 132
7.2.1. Mängel bei den Evaluationsverfahren ......................................... 133
7.2.2. Manipulation .................................................................................... 135
7.2.3. Endogener und exogener Wandel ................................................ 135
XI
7.2.4. Mangelhafte Implementation ......................................................... 136
8. Leistungsindikatoren und Leistungsprüfungen .......................................................... 137
8.1. Anforderungen an Leistungsindikatoren ..................................................... 137
8.2. Voraussetzung für die Evaluation von Leistungsindikatoren ................... 137
8.3. Methoden zur Generierung von möglichen Indikatoren ............................. 138
8.3.1. Die Stimulation von Kreativität... .................................................. 140
8.3.1.1. Definition ...................................................................... 140
8.3.1.2. Methoden zur Stimulation der Kreativität... ............. I40
8.4. Von den möglichen zu den geeigneten Indikatoren .................................... 145
8.4.1. Ein System zur Leistungsbewertung ............................................ 145
8.4.2. Die Suche nach geeigneten Indikatoren: Abgrenzung von
Indikator und Attribut ................................................................... 147
8.4.3. Präferenzsystem und Leistungsniveau ........................................ 148
8.4.4. Die Skalierung von Präferenzen .................................................... 149
8.4.5. Die Kodierung von Präferenzskaien ............................................. 151
8.4.6. Dispersionsindex ............................................................................. 152
8.4.7. Definition eines Leistungsindikators: Quantität und Qualität
als duales Konzept ........................................................................ 154
8.4.8. Kohärenz von Leistungsindikatoren ............................................ 157
8.5. Leistungsprüfungen oder Performance Audits ........................................... 159
8.5.1. Ausgangslage .................................................................................. 159
8.5.2. Definition von Leistungsprüfungen und das 3E-Konzept... ..... I60
8.6. Die Klassierung von Leistungsindikatoren im Public Management... ...... 164
8.7. Die Aggregation von dualen Leistungsindikatoren und Effektivitäts-
prüfungen anhand eines konkreten Beispiels .............................................. 166
8.7.1. Ausgangsdaten ............................................................................... 166
8.7.2. Aggregation mittels Zuordnungsmatrix ....................................... 167
8.7.3. Aggregation mittels Qualitätsindex .............................................. 168
8.7.4. Aggregation unter Berücksichtigung einer dominanten quali-
tativen Dimension .......................................................................... 169
9. Aggregation von Leistungsindikatoren ....................................................................... 171
9.1. Allgemeines ....................................................................................................... 171
9.2. Lineare Bewertungsregeln ............................................................................... 173
9.3. Outranking Methoden ..................................................................................... 176
9.3.1. Allgemeines ...................................................................................... 176
9.3.2. PROMETIffiE ................................................................................... 183
9.3.2.1. PROMETIffiE I ............................................................ 189
9.3.2.2. PROMETIffiE H. ........................................................... 192
9.4. Ordinale Methoden .......................................................................................... 197
9.4.1. Ein konkretes Beispiel für ein Ordinales Ranking ....................... 197
9.5. Entscheidung bei Ungewissheit... .................................................................. 200
9.5.1. Allgemeines ...................................................................................... 200
9.5.2. Risikosituationen und die Verwendung von Entschei-
dungsbäumen ................................................................................. 201
XII
9.5.3. Entscheidungsstrategien bei Ungewissheit... ............................. 204
9.5.4. Entscheiden in Konkurrenzsituationen ........................................ 208
9.5.5. Klassische Spieltheorie .................................................................. 208
9.5.5.1. Beispiel für ein Nullsummenspiel .............................. 209
9.5.5.2. Nicht-Nullsummenspiele ............................................. 212
10. Die Zukunft antizipieren: Ex ante Evaluationen ........................................................ .214
10.1. Allgemeines ..................................................................................................... 214
10.2. Ex ante Evaluationen ...................................................................................... 215
10.3. Szenariotechnik ............................................................................................... 216
10.3.1. Generieren von Szenarien ............................................................. 217
10.3.2. Trendextrapolation ........................................................................ 219
10.3.3. Der Einbezug von Unsicherheiten .............................................. 223
10.3.4. Falsche Voraussagen .................................................................... 227
11. Visualisierung ................................................................................................................ 229
11.1. Allgemeines ..................................................................................................... 229
11.2. Stellenwert von schriftlichen Informationen .............................................. 230
11.3. Mögliche Visualisierungen -eine AuswahL ............................................. 231
11.4. Teilprozesse des Lemverhaltens und der Informationsaufuahme .......... 235
11.4.1. Informationsaufuahme .................................................................. 235
11.4.2. Informationsverarbeitung ............................................................ 238
11.5. Regeln zur Visualisierung .............................................................................. 239
11.6. Manipulation durch Visualisierung ............................................................. 241
12. Literaturverzeichnis ....................................................................................................... 243
