Table Of ContentHeinrich Wottawa
Heike Thierau
n
o Lehrbuch
i
t
Evaluation
a
u
l
a
v
E
u
a
r
e
i
h
Das Lehrbuch vermittelt ein fundiertes T
Verständnis für die Möglichkeiten und .
H
Grenzen sozialwissenschaftlich gestützter
Evaluation bei den Betroffenen,den /
Entscheidungsträgern und den potentiel- 2.,vollständig a 2.,vollständig
len Evaluatoren. In der zweiten Auflage
w
werden ergänzend dazu auch die Grund- überarbeitete überarbeitete
sätze des Qualitätsmanagements nach a
Auflage Auflage
DIN ISO 9000 dargestellt. t
t
o
W
.
H
2. Aufl.
Verlag Hans Huber
Verlag
Bern•Göttingen•Toronto•Seattle
Hans Huber
5
Inhaltsverzeichnis
Vorwort zur zweiten Auflage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Vorwort zur ersten Auflage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1. Wissenschaft, Moral und die Grenzen der Planbarkeit . . . . . . . . . . . . . 13
1.1 Definitionsversuche von «Evaluation» . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Wissenschaft und moralische Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 Handlungsoptimierung durch Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2. Grundlagen sozialwissenschaftlich gestützer Evaluation . . . . . . . . . . . . . . . . 23
2.1 Zielsetzungen bei Evaluationsvorhaben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.1 Grundlagen für die Akzeptanz von Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.2 Nutzenerwartung des Auftraggebers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.1.3 Schwerpunkte konkreter Evaluationsprojekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2. Wissenschaft als mögliche Grundlage von Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.1 Evaluation als wissenschaftsgestütztes Handeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.2 Nutzen der Wissenschafts-Beiträge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2.3 Alternativen zur wissenschaftsgestützten Evaluation . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2.4 Qualitätsmanagement nach DIN-EN-ISO-9000ff. . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.3 Verfügbarkeit von Evaluatoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.3.1 Rollenvielfalt des Evaluators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.3.2 Rechtliche Rahmenbedingungen von evaluatorischer Tätigkeit . . . . . . . . . . . . . . . . 46
2.3.3 Persönliche Voraussetzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3. Einsatzgebiete psychologischer Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1 Gestaltungsaspekte von Evaluationsstudien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1.1 Evaluationsziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1.2 Evaluationsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.1.3 Evaluationsobjekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.1.4 Ort der Evaluierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.5 Evaluationsmodell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.1.6 Evaluationsnutzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6 Inhaltsverzeichnis
3.2 Evaluation als interdisziplinäres Feld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2.1 Notwendigkeit einer einzelne Evaluationsbereiche
überschreitenden Vorgehensweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2.2 Vergleich BRD/USA: Stand der Evaluationsforschung . . . . . . . . . . . . . . . . . . . . . . . . 67
3.2.3 Strukturelle Gemeinsamkeiten «idealer» Evaluationsstudien . . . . . . . . . . . . . . . . . . 68
3.3 Grundlagen und Probleme der Evaluationsforschung
dargestellt am Beispiel konkreter Evaluationsprojekte . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.3.1 Evaluation in der Wirtschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.3.2 Evaluation im Schul- und Bildungswesen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
3.3.3 Evaluation im forensischen Bereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4. Zielexplikation und Bewertungskriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.1 Zielexplikation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.1.1 Zielgruppenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.1.2 Konkretisierung des Evaluationsobjektes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.1.3 Antizipatorische Ergebnisverwertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2 Bewertungsprozeß . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.2.1 Auswahl der Bewertungskriterien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 Nebenfolgenabschätzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.2.3 Operationalisierungfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.3 Bewertungs- und Entscheidungshilfen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3.1 Explizite Verfahren der Nutzenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.3.2 Expertengestützte Entscheidungsfindung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.3.3 Entscheidungsfindung durch Betroffene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
4.3.4 Grenzen objektiver Nutzenbewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
5. Planung von Evaluationsprojekten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1 Projektmanagement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 Informationen zu Projektdetails und Rahmenbedingungen . . . . . . . . . . . . . . . . . . . 114
5.1.2 Vorläufiger Arbeitsplan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.3 Zeit- und Kostenabschätzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 Designfragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.2.1 Fehlerquellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.2.2 Untersuchungspläne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.2.3 Datenerhebungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.3 Auswertungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.3.1 Beurteilung der Effektstärke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.3.2 Auswertungsverfahren auf der Basis allgemeiner linearer Modellansätze . . . . . . . . . 138
5.3.3 Qualitative Auswertungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7
Inhaltsverzeichnis
6. Durchführung von Evaluationsstudien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.1 Organisatorische Fragen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.1.1 Fragen der Personalführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.1.2 Kontrolltechniken des Projektverlaufes und des Konfliktmanagements . . . . . . . . . . 148
6.1.3 Unerwartete Störfälle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2 Auswertungsarbeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.2.1 Kontrolle der Datenqualität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.2.2 Datenschutz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6.2.3 Auswertungspläne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.3 Berichtlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.3.1 Zielgruppenanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
6.3.2 Informationsverdichtung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.3.3 Mündliche Präsentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
7. Ausblick: Bewertung sozialwissenschaftlicher
Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.1 Bewertungskriterien einzelner Evaluationsvorhaben . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.2 Evaluation als gesellschaftliches Gestaltungsprinzip . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.3 Zukunftsperspektiven . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
8. Literaturverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
9. Stichwortverzeichnis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Aus dem Programm Huber: Psychologie Lehrbuch
Wissenschaftlicher Beirat:
Prof. Dr. Dieter Frey, München
Prof. Dr. Kurt Pawlik, Hamburg
Prof. Dr. Meinrad Perrez, Freiburg (Schweiz)
Prof. Dr. Hans Spada, Freiburg i.Br.
Heinrich Wottawa
Heike Thierau
Lehrbuch Evaluation
Zweite, vollständig überarbeitete Auflage
Verlag Hans Huber
Bern · Göttingen · Toronto · Seattle
Umschlagbild: Ausschnitt aus dem Triptychon «Das jüngste Gericht» (1443) von Roger van der
Weyden (Musée Hôtel-Dieu, Beaune, Burgund). Der Erzengel Michael bei der Durchführung der
«ultimativen Evaluation».
Adresse des Erstautors:
Prof. Dr. Heinrich Wottawa
Ruhr-Universität Bochum
Fakultät für Psychologie/Methodenlehre, Diagnostik und Evaluation
D-44780 Bochum
E-mail: [email protected]
Die Deutsche Bibliothek – CIP-Einheitsaufnahme
Wottawa, Heinrich:
Lehrbuch Evaluation/Heinrich Wottawa und Heike Thierau. –
2., vollst. überarb. Aufl. – Bern ; Göttingen ; Toronto ; Seattle: Huber, 1998
(Aus dem Programm Huber: Psychologie-Lehrbuch)
ISBN 3-456-82989-2
2., vollständig überarbeitete Auflage 1998
© Verlag Hans Huber, Bern 1998
Satz und Druck: Konkordia Druck GmbH, Bühl
Printed in Germany
145
6. Durchführung von Evaluationsstudien
Je sorgfältiger die Planungsarbeiten durchge- führen kann), und die vor allem im wirtschafts-
führt wurden, um so weniger prinzipielle Pro- nahen Bereich sehr elaborierten Darstellungs-
bleme wird die Durchführung des konkreten hilfen (Medien bei Vorträgen, optische Auflok-
Projektes machen. Trotzdem wäre es eine Illu- kerung) werden an der Universität nur selten
sion, außerhalb von sehr kleinen und über- in vergleichbar intensiver Weise gepflegt. Hin-
schaubaren Projekten von einer reibungslosen weise zu solchen Fragen gibt Abschnitt 6.3.
Durchführung auszugehen. Zumindest bei län-
gerfristigen Vorhaben sind Schwierigkeiten im
6.1 Organisatorische Fragen
Bereich der Organisation zu erwarten, typische
Beispiele und Maßnahmen für deren partielle
Behebung werden im Abschnitt 6.1 diskutiert. Die wichtigsten Organisationsprobleme finden
Weniger mit Unsicherheiten behaftet ist die sich im Bereich des Personals – sowohl bei den
sachgerechte Durchführung der Auswertungs- Projektmitarbeitern, als auch bei Auftraggebern
arbeiten, doch muß man auch dort auf eine oder anderen für die Durchführung erforderli-
sorgfältige Fehlerkontrolle und die Einhaltung chen Kontaktpersonen (zum Beispiel Lehrer,
der Vertraulichkeits- bzw. Datenschutzbestim- Verwaltungsbeamte etc.). Zumindest für die ei-
mungen achten. Bei aller Mühe aber nicht ver- genen Mitarbeiter kann man einige Schwierig-
meidbar ist das prinzipielle Problem, daß von keiten vermeiden, wenn man rechtzeitig auch
der unübersehbaren Vielzahl der denkbaren deren Einschulungsbedürfnisse und ihre per-
Auswertungen nur ein kleiner Teil erfolgen sönlichen Interessen, zum Beispiel im Hinblick
kann und diese Auswahl stets mit dem Vorwurf auf ihre weitere berufliche Entwicklung, bei der
von «Manipulation» rechnen muß. Fragen die- Projektplanung und der Personalführung be-
ser Art werden im zweiten Abschnitt dieses Ka- achtet (6.1.1). Darüber hinaus muß man sich
pitels besprochen (6.2). im klaren sein, daß größere Vorhaben nicht
ohne explizite Kontrolltechniken durchgeführt
Am Schluß des Evaluationsprojektes steht meist werden können, wenn man vermeiden will,
eine schriftliche, oft durch eine mündliche Prä- daß sich am Ende einer zum Beispiel zweijähri-
sentation ergänzte Berichtlegung an den Auf- gen Arbeitsphase nicht mehr behebbare Pro-
traggeber, ggf. auch an andere Instanzen (zum bleme auftürmen und u.U. das ganze Projekt
Beispiel Öffentlichkeit, Schulleiter). Die damit ergebnislos abgebrochen werden muß. Einige
verbundenen Darstellungs- und Kommunika- Hinweise, die eine entsprechend sorgfältige Ein-
tionsprobleme werden von Akademikern ohne arbeitung natürlich nicht ersetzen können, fin-
einschlägige Erfahrung oft unterschätzt. Man den sich im Abschnitt 6.1.2.
lebt innerhalb einer universitären Bezugs- Nahezu alle Organisationsprobleme lassen
gruppe in einem für Außenstehende schwer sich lösen, wenn man rechtzeitig an ihr Auftre-
nachvollziehbaren Abstraktionsniveau, einer ten denkt, also eine (in den Evaluations-Begrif-
fachspezifischen Begriffsbildung (die leider fen gemäß Diagramm II/2) «antizipatorische In-
nicht nur manchmal unverständlich ist, son- put-Evaluation» für das eigene Projekt mit
dern auch zu Mißverständnissen bei «Laien» ausreichender Aussagekraft anstellt.
